Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
В НИУ ВШЭ пройдет международная конференция об обучении служением и искусственном интеллекте
21–23 октября 2026 года в НИУ ВШЭ пройдет Международная научно-практическая конференция «Обучение служением и искусственный интеллект: человекоцентричная социальная миссия университета». Конференция объединит представителей российских и зарубежных университетов, органов власти, некоммерческих организаций и бизнеса. Регистрация уже открыта.
Исследователи НИУ ВШЭ оценили вклад стран БРИКС в ведущие конференции по машинному обучению
Наукометрический центр НИУ ВШЭ проанализировал более 104 тысяч работ за 2020–2025 годы, которые были представлены на десяти конференциях высшего уровня A* по рейтингу ICORE 2026. Исследователи изучили вклад Бразилии, России, Индии, Китая и ЮАР: на эти страны пришлось около 40,8 тысячи публикаций — 39,2% от всего массива. Однако распределение крайне неравномерно, и единого исследовательского пространства БРИКС пока нет.
Лаборатория будущих сетей: в НИИТ ВШЭ создали стенд для исследований 5G/6G
Стенд 5G/6G в НИИТ ВШЭ становится исследовательской площадкой, образовательной лабораторией и основой для разработки новых программных компонентов сетей будущего. Он позволяет не просто наблюдать за работой мобильной сети, а менять условия ее работы и измерять результат: скорость передачи данных, задержки, ошибки, использование радиоресурсов и другие параметры. На его основе исследователи планируют развивать технологии MIMO, O-RAN, xApp и IAB, а также экспериментировать с искусственным интеллектом.
Ученые НИУ ВШЭ научили нейросеть превращать 3D-модели в готовые технологические карты
Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали систему CAD2TechSpec, которая автоматически превращает 3D-модели деталей в готовые технологические карты — пошаговые инструкции для станков. Разработка направлена на сокращение времени подготовки технической документации в машиностроении, авиастроении и других высокотехнологичных отраслях. Результаты исследованияо публикованы в журнале PeerJ Computer Science.
В НИУ ВШЭ запущен реестр ИИ-сервисов и моделей
Институт искусственного интеллекта и цифровых наук ФКН разработал сервис для регистрации и учета достижений в области искусственного интеллекта (ИИ). Платформа уже доступна для сотрудников и студентов университета.
Исследователи НИУ ВШЭ и Сбера научили нейросети лучше угадывать предпочтения пользователей
Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ и Сбер представили новую архитектуру для рекомендательных систем: благодаря объединению двух классов моделей алгоритмы лучше угадывают интересы и потребности пользователей. Препринт работы опубликован на сайте arxiv.org и представлен на летнем фестивале «Урбан ML».
Исследователи ВШЭ показали, как создавать регуляторную ДНК напрямую
Исследователи НИУ ВШЭ разработали модель для генерации промоторов и энхансеров — участков ДНК, регулирующих работу генов. Модель работает с нуклеотидами ДНК напрямую, без промежуточного преобразования в непрерывное числовое пространство. Разработка может быть полезна в синтетической биологии и генной терапии. Результаты исследования представлены на воркшопе конференции ICLR 2026.
ФКН ВШЭ и ЧГУ реализовали три отраслевых образовательных модуля по искусственному интеллекту
В 2025/26 учебном году факультет компьютерных наук (ФКН) ВШЭ совместно с Череповецким государственным университетом реализовал три отраслевых образовательных модуля по искусственному интеллекту. Инициатива была представлена в рамках проекта «Топ-ИИ» Минцифры России при участии АНО «Аналитический центр при Правительстве Российской Федерации». Эксперты НИУ ВШЭ совместно с индустриальными партнерами разработали линейку отраслевых образовательных модулей в области искусственного интеллекта.
ИИ для врачей: ФКН ВШЭ провел курс для студентов Российского университета медицины
В июне завершился курс, посвященный использованию искусственного интеллекта в медицине, который факультет компьютерных наук НИУ ВШЭ провел для студентов первого курса направления «Педиатрия» Российского университета медицины. Курс реализован при поддержке гранта, полученного НИУ ВШЭ в соответствии с мероприятиями федерального проекта «Искусственный интеллект» национального проекта «Экономика данных и цифровая трансформация государства».
Новый метод НИУ ВШЭ и Т-Технологий повышает качество работы ИИ
Ученые из лаборатории научных исследований «Т-Технологий» и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ разработали новый метод семплирования для моделей маскированной диффузии — G-Star+. Он помогает быстрее и качественнее исправлять ошибки во время генерации текста и кода за небольшое число шагов. Метод показал эффективность в задачах генерации текста и кода и может применяться там, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах.