Лаборатория «Многомасштабная нейродинамика для интеллектуальных систем»

Планируемые результаты проекта:

• Будут решены задачи, связанные с установлением связи между адаптивными нейродинамическими системами, искусственными нейронными сетями и нейронными обыкновенными дифференциальными уравнениями и их приложениями к широкому спектру задач обучения как с учителем, так и без учителя;
  
• Будет рассмотрен ряд важных практических направлений, включая робототехнику и робастное управление, суррогатные модели и обратные инженерные задачи, а также оптимизацию архитектуры искусственных нейронных сетей.

Научные результаты:

Разработаны новые фундаментальные подходы для решения проблемы глобальной оптимизации и обучения интеллектуальных систем на основе коллаборативных нейродинамических систем (КНС), искусственных нейронных сетей (ИНС) и нейронных обыкновенных дифференциальных уравнений (ОДУ-сети):

Разработаны КНС для задач глобальной оптимизации, в том числе рассмотрены перспективы применения многомасштабных КНС для оптимизации бивыпуклых функций, разреженной неотрицательной матричной факторизации, смешанного программирования, оптимизации портфеля и распределения заданий между транспортными средствами.

Построены ИНС для оптимизации многокритериальных целевых функций в прикладных задачах предсказания землетрясений, определения характеристик киберспортсменов, распознавания сгенерированного текста, оптимизации параметров априорного распределения моделей вариационных автокодировщиков, оптимизации целевых функций предиктивных моделей и их применения для прогнозирования в нефтегазовой области.

Разработаны КНС для задач комбинаторной оптимизации, в частности рассмотрены применения КНС к задаче реконструкции разреженного сигнала и кластеризации.

Исследованы методы многомерной крестовой аппроксимации для восстановления многомерных массивов и оптимизации функций многих переменных с использованием малоранговых тензорных аппроксимаций.

Построены новые метрики для сравнения многообразий на примере задачи оценки качества глубоких генеративных моделей.

Исследованы коллективные эффекты в задачах оптимизации крупных ИНС с одним внутренним слоем и разработаны новые методы, позволяющие прогнозировать результаты работы оптимизационных алгоритмов.

Изучена связь между КНС, ИНС и ОДУ-сетями, включая исследование выразительности ОДУ-сетей и оптимального выбора функции правой части системы. В том числе, разработаны методы ансамблирования, приводящие к большей устойчивости ОДУ-сети, методы автоматического построения локально оптимальных предобуславливателей, и методы идентификации ОДУ на основе КНС.

Разработаны методы аппроксимации градиентных потоков Вассерштейна, и исследована оценка качества аппроксимаций на основе ИНС, используемых при решении задачи оптимального транспорта.

Создан новый метод устранения шумов на полигональной сетке, описывающей форму 3D объекта, с сохранением характеристик особых кривых, основанный на графовых нейронных сетях. Разработанный метод позволяет достичь результатов мирового уровня при работе с данными различной зашумленности (в том числе, при обработке данных САПР моделей).

Разработан новый подход к тестированию алгоритмов поиска эффективных рекуррентных нейросетевых архитектур, используемых для моделирования естественного языка. С помощью разработанной системы тестирования и специально сгенерированных тестовых данных было выявлено, что эффективность рекуррентных нейросетевых архитектур значимо коррелирует с различными статистиками, которые были предложены для прогнозирования эффективности и протестированы на различных наборах тестовых данных. Созданный алгоритм будет стимулировать развитие методов поиска рекуррентных нейросетевых архитектур, используемых для обработки естественного языка, и будет полезен для различных практических приложений.

Исследована производительность подхода на основе коллаборативных нейродинамических систем (CNO-SBL) для решения задач многоуровневой оптимизации при идентификации динамических моделей. Исследование проведено на широком спектре динамических систем, включая хаотические системы, быстро-медленные системы, системы с первым интегралом и многомерные системы.

Разработаны новые нейродинамические подходы для оптимизации портфеля финансовых инструментов на основании исторических данных рынка ценных бумаг, которые учитывают возможное резкое изменение статистических свойств финансовых показателей. Предложенные подходы показали превосходство в эффективности оптимизации портфеля на основных данных мирового рынка.

Разработаны новые методы восстановления разреженных сигналов в рамках смешанно-целочисленной задачи. Соответствующая задача была переформулирована как глобальная задача оптимизации с суррогатной целевой функцией, а ее решение произведено с использованием нейродинамической оптимизации, набора рекуррентных нейронных сетей и метода роя частиц.

Разработан набор алгоритмов для решения практически значимой задачи восстановления информации о структуре трехмерных пористых материалов по их двумерным срезам на основе глубокой нейронной сети с модулями кодировщика, генератора и дискриминатора с автоматическим подбором распределения для всех возможных трехмерных структур определенного типа. Предложенный подход может применяться в различных приложениях, включая изучение горных пород на микроуровне.

Внедрение результатов исследования:

Фундаментальные научные результаты лаборатории развиваются непрерывно, уже в настоящее время оказывая существенное влияние на развитие данной научной тематики в Российской Федерации и за ее пределами. Прикладные результаты, основанные на созданных научных разработках, будут реализованы в среднесрочной и долгосрочной перспективе – конкретная практическая реализация предложенных научных подходов связана с непосредственной деятельностью потенциальных бенефициаров: научных и научно-образовательных организаций, специализирующихся на проведении фундаментальных и прикладных исследований в области искусственного интеллекта и нейродинамических систем, а также организаций, занимающихся разработкой интеллектуальных систем в задачах оптимизации, робототехники, моделирования физических систем и компьютерного зрения.

Образование и переподготовка кадров:

Разработано две новые образовательные программы.

Сотрудничество:

Члены научного коллектива сотрудничают с крупнейшими международными технологическими компаниями, а также лидерами российской экономики: Сбербанк, Газпромнефть.