Новый метод кластеризации упрощает анализ больших массивов информации
Исследователи из ВШЭ и Института проблем управления РАН предложили новый метод анализа данных — туннельную кластеризацию. Он помогает быстро находить группы похожих объектов и требует меньше вычислительных ресурсов, чем традиционные методы. В зависимости от конфигурации данных алгоритм может работать в десятки раз быстрее аналогов. Исследование опубликовано в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления».
С каждым годом объем информации, которую нужно обработать, становится все больше. Данные поступают из разных источников: научных исследований, финансовых отчетов, медицинских обследований и множества других. Для поиска закономерностей и структурирования информации в таких массивах применяют методы кластеризации — группировки данных по схожим характеристикам. Группы, полученные таким способом, называют кластерами.
Один из самых популярных методов кластеризации — метод k-средних. Он делит данные на заданное количество кластеров, предварительно выбирая их центры (центроиды). Однако у этого метода есть ограничение: перед началом работы необходимо знать, сколько кластеров должно получиться, что не всегда возможно при анализе сложных данных.Ученые из НИУ ВШЭ и Института проблем управления имени В.А. Трапезникова РАН предложили новый подход, который упрощает этот процесс, — туннельную кластеризацию. В отличие от метода k-средних, этот алгоритм не требует заранее задавать число кластеров: он сам определяет, сколько кластеров необходимо, анализируя структуру данных.
Фуад Алескеров
«Алгоритм формирует “туннели” данных — области в многомерном пространстве, в которых группируются объекты с похожими характеристиками, — объясняет руководитель департамента математики факультета экономических наук НИУ ВШЭ Фуад Алескеров. — Пользователь может выбрать один из трех вариантов работы алгоритма: с фиксированными границами кластеров, с адаптивными границами, которые подстраиваются под структуру данных, или комбинированный подход. Это делает метод гибким и подходящим для разных типов задач».
Метод протестировали на синтетическом (сгенерированном) наборе данных из 100 000 объектов, а также на реальных задачах в области государственного управления и банковского сектора.
Главное преимущество нового метода — скорость. В отличие от классических алгоритмов, требующих больших вычислительных ресурсов, туннельная кластеризация в зависимости от конфигурации данных может справляться с анализом в десятки раз быстрее.
Кроме того, ученые ввели понятие «степень перехода» — параметр, который показывает, сколько характеристик объекта нужно изменить, чтобы он оказался в другом кластере. Это помогает оценить четкость границ кластеров и выявлять объекты, находящиеся на стыке групп.
Алексей Мячин
«Люди создают все больше данных, и этот процесс только ускоряется. Согласно последнему отчету “Digital 2025: Global Overview Report”, в начале 2025 года в интернете насчитывалось 5,56 миллиарда пользователей — это почти 68% населения планеты. Взрослые проводят в Cети в среднем по 6 часов 38 минут в день, общаясь, работая, смотря видео и потребляя контент, — рассказывает старший научный сотрудник Международного центра анализа и выбора решений НИУ ВШЭ Алексей Мячин. — Компании, которые игнорируют анализ данных, теряют большие деньги».
Авторы продолжают работать над усовершенствованием алгоритма, включая исследования по снижению размерности данных, что позволит еще больше сократить временные затраты при поиске закономерностей в данных.
Работа выполнена при частичной поддержке РНФ.
Вам также может быть интересно:
«Нам бы хотелось, чтоб наши корпуса использовались больше»
Созданные в Международной лаборатории языковой конвергенции и Школе лингвистики НИУ ВШЭ корпуса абхазо-адыгских языков, на которых говорят народы Западного Кавказа, позволяют изучить их особенности, показывают возможности современного использования. Создание корпусов стало возможным благодаря серии экспедиций ученых и студентов Вышки на Кавказ, современным методам лингвистической обработки и взаимодействию с коллегами из региональных университетов. О работе лингвистов новостной службе «Вышка.Главное» рассказал ведущий научный сотрудник Международной лаборатории языковой конвергенции, доцент Школы лингвистики Юрий Ландер.
«Наука всемирна, она не знает границ»
Разработанные ординарным профессором, директором Международного центра анализа и выбора решений НИУ ВШЭ Фуадом Алескеровым и его коллегами методы сетевого анализа в библиометрии позволили определить особенности появления, взаимного влияния и цитирования публикаций в научных журналах. Частое цитирование разными изданиями одного или нескольких исследований означает высокое качество работы, а перекрестные ссылки внутри ограниченного круга журналов повышают вероятность формирования сети хищнических изданий.
Ученые НИУ ВШЭ доказали, что машинное обучение может тратить меньше ресурсов
Международная группа исследователей, в которой участвовали математики из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, теоретически обосновала простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска (SGD). Работа опубликована на сервере научных препринтов arXiv.org и была представлена на AISTATS 2026.
В НИУ ВШЭ разработали приложение для диагностики фонологической обработки у детей
Специалисты Центра языка и мозга НИУ ВШЭ представили новый цифровой инструмент для оценки навыков фонологической обработки у детей — батарею тестов «ЗАРЯ» («Звуковой анализ русского языка»). Это первое в России стандартизированное приложение, позволяющее быстро и надежно выявлять нарушения способности различать звуки речи, удерживать их в оперативной памяти и проводить фонематический анализ. Программа работает на планшетах и смартфонах с операционной системой Android, доступна для скачивания в RuStore. Детали валидации теста опубликованы в Journal of Speech, Language, and Hearing Research.
Время жизни популяций определяется законами математики
Исследователи НИУ ВШЭ и МГУ доказали универсальный закон, описывающий время исчезновения популяций в случайной среде. Анализ эволюции ветвящихся процессов — сложных вероятностных систем — показал, что вне зависимости от изначального числа особей процесс вымирания подчиняется строгим математическим закономерностям. Результаты опубликованы в Journal of Applied Probability.
Ученые ВШЭ объяснили, как эмоции человека влияют на отношение к цифровому государству
Сегодня взаимодействие человека с государством все чаще происходит через цифровые платформы: порталы госуслуг, электронные сервисы, системы на основе искусственного интеллекта и алгоритмы принятия решений. Однако до сих пор такие технологии в основном рассматривались как технические инструменты, эффективность которых оценивают по скорости работы и удобству интерфейсов. Авторы нового исследования предлагают смотреть на цифровое управление шире — как на эмоциональный опыт, который напрямую влияет на доверие граждан к государству.
Биологи ВШЭ получили «молекулярный отпечаток» преэклампсии
Исследователи НИУ ВШЭ использовали новый способ моделирования состояния гипоксии в клетках плаценты при беременности, осложненной преэклампсией, и обнаружили молекулярные маркеры кислородного голодания тканей. Гипоксия — один из ключевых механизмов преэклампсии, полученные результаты важны для более точной и своевременной диагностики заболевания, а также для разработки эффективных методов лечения. Работа опубликована в журнале Placenta.
«Еж» против «родственника»: ученые измерили, как мозг реагирует на неожиданные слова в живой речи
Российские нейрофизиологи с участием исследователей из НИУ ВШЭ показали, что изучать восприятие живой речи можно с помощью вызванных потенциалов. Они доказали, что метод применим не только к отдельным словам, но и к непрерывной речи. Оказалось, что слова, сильно отличающиеся по смыслу от предыдущего контекста, мозг обрабатывает дольше, а служебные слова анализирует в два этапа: сначала определяет их грамматическую роль, а затем на этой основе предсказывает следующее слово. Исследование опубликовано в журнале Frontiers in Human Neuroscience.
Творческая работа как лекарство от выгорания
Творческая и доброжелательная атмосфера, новые методы в Международной лаборатории (впоследствии центре) социокультурных исследований привлекают молодых исследователей. За годы работы в Вышке они становятся учеными и преподавателями, известными в России и за рубежом. О своем пути в центре и в Вышке, исследованиях и роли наставников в научных успехах рассказали главный научный сотрудник ЦСКИ Зарина Лепшокова и ведущий научный сотрудник Екатерина Бушина.
Физики НИУ ВШЭ выяснили, что происходит внутри устойчивого вихря
В атмосфере и в океане часто наблюдаются крупные вихри с характерными спиральными рукавами. Физики из НИУ ВШЭ объяснили, как они формируются и почему сохраняют свою структуру. Оказалось, что скорости в точках, расположенных вдоль одной дуги вихря, остаются связанными даже на больших расстояниях. При этом в направлении от центра вихря эта связь быстро ослабевает. Такие различия помогают объяснить образование рукавов и могут улучшить модели атмосферных и океанических течений. Результаты опубликованы в Physical Review Fluids.