Лаборатория «Тензорные сети и глубинное обучение для интеллектуального анализа данных»

Научные результаты:

• Рассмотрены актуальные задачи тензоризованных алгоритмов машинного обучения и получен ряд новых решений задачи тензоризации и распределенного представления структурированных данных. Доказано, что тензорные сети дают возможность выполнять эффективные распределенные вычисления при сверхбольших объемах данных и параметров, тем самым снижая или даже устраняя эффект «проклятия размерности». Разработаны тензоризованные алгоритмы для ряда прикладных задач.

• Изучены возможные способы практического использования малоранговых тензорных аппроксимаций для решения широкого класса задач масштабного линейного/полилинейного понижения размерности и связанных с ними проблем оптимизации на тензорных многообразиях, которые крайне сложно решать классическими методами машинного обучения.
• Исследованы методы обучения генеративных моделей с использованием приближенного байесовского вывода. Предложен устойчивый к шуму метод обучения вариационного автокодировщика с использованием взвешенных K-выборочных оценок на устойчивое правдоподобие. Метод основывается на замене целевого функционала вариационного автокодировщика, маргинального правдоподобия, на его устойчивую к шуму модификацию. Также для эффективной максимизации устойчивого к шуму правдоподобия предложен и исследован ряд нижних оценок, обобщающих взвешенные K-выборочные оценки.
• Предложен новый метод построения множества несовпадающих околооптимальных конфигураций генеративных искусственных нейронных сетей, поскольку для вариационного приближения хранение K независимых генеративных сетей затратно с точки зрения памяти, предложен эффективный метод ансамблирования, требующий хранения лишь трех искусственных нейронных сетей.
• Впервые в литературе был предложен многомодальный метод оценки качества многомерных данных, сгенерированных глубокими генеративными моделями, в том числе генеративными состязательными сетями. Данный метод раскрывает важные свойства нейронных сетей и прокладывает путь к разработке еще более эффективных методов, основанных на геометрических представлениях. Также предложен простой метод без параметров для оценки размера генеративной модели. Получена метрика для определения степени неравномерности генеративного распределения.
• Представлен новый подход генерации видео последовательностей на основе глубоких нейронных сетей и с малым количеством примеров. Разработана структура для мета-обучения состязательных генеративных моделей, которая способна выучить очень реалистичные виртуальные говорящие головы при помощи генеративно-состязательных сетей.
• Разработаны модели на основе искусственных нейронных сетей (в том числе рекуррентных сетей) для оптимизации функционалов в многомерных пространствах и предложен способ обучения, существенно снижающий эффект переобучения. Также разработана новая вероятностная модель группового разреживания и доказана ее применимость к современным глубоким архитектурам компьютерного зрения типа VGG и ResNet. Результаты численных экспериментов продемонстрировали высокий уровень сжатия и ускорения без потери предсказательной способности при использовании предложенной модели. Также предложен новый метод ускорения глубоких нейронных сетей, основанный на малоранговой аппроксимации и не требующий повторного обучения модели на основе обыкновенных дифференциальных уравнений.
• Создана база данных размеченных рентгеновских снимков, позволяющая тестировать алгоритмы машинного обучения для сегментации, очистки от шумов, автоматического определения положения объектов на изображениях и интеллектуальной классификации данных. Данная база может быть использована для разработки автоматизированных систем поддержки принятия решений в медицинских приложениях.
• Реализован новый слой, использующий ряд классических методов компьютерного зрения, для различных архитектур сверточных искусственных нейронных сетей, позволяющий существенно ускорить процесс автоматической сегментации изображений и поиска объектов на изображениях при сохранении точности результата, что делает данный подход перспективным для использования в системах реального времени, в том числе работающих на маломощных мобильных платформах. Предложенная модель искусственной нейронной сети на основе нового слоя по качеству не уступает одной из самых быстрых современных моделей ENet.
• Разработаны новые модели на основе глубинных искусственных нейронных сетей для задач фотореалистичного синтеза изображений, включая такие направления, как изменение атрибутов изображений лиц людей, нейросетевой перенос стиля на примере генерации предметов одежды, семантическая сегментация предметов одежды и альфа-маттинг волос, суммаризация текстур и биологических изображений.
• С помощью механизма обобщенных тензорных разложений показана универсальность и существование эффективности глубины в рекуррентных нейронных сетях, а также предложен предиктор, моделирующий все двумерные взаимодействия многомерных данных путем представления экспоненциально большого тензора параметров в компактном формате тензорного поезда (TT), разработан стохастический алгоритм обучения на основе Римановой оптимизации. Приведены доказательства ряда теорем об универсальности порождающих и рекуррентных нейронных сетей. Результаты показывают существование нейронных сетей, аппроксимирующих произвольные многообразия, но не указывают, как можно оценить требуемый размер нейронной сети.
• Получены теоретические результаты для локальной линейной сходимости алгоритмов чередующейся оптимизации для мультилинейной и малоранговой оптимизации, в частности, для алгоритма чередующихся наименьших квадратов, не зависящего от представления тензоров низкого ранга.
• Разработан новый метод изучения скрытых Марковских цепей, использующий тензорные сети, и предложен эффективный итеративный подход для компрессии и ускорения нейросетевых моделей, позволяющий достигать значительную степень сжатия, сохраняя предсказательную способность модели.
• Предложен алгоритм построения биомаркеров медицинских растений методами машинного обучения с использованием тензорных разложений на основе данных хромато-масс-спектрометрии в задаче видовой идентификации.
• Разработан метод построения вложенных графов, который может использоваться в любом алгоритме машинного обучения как вектор признаков, описывающий граф, и предложена и исследована негладкая неотрицательная матричная факторизация, показана ее связь со специальным видом глубоких нейронных сетей и ее эффективность в применении к кластерному анализу.
• Проведено экспериментальное исследование свойств функций потерь глубинных нейронных сетей и показано, что получаемые на практике локальные оптимумы в пространстве весов не являются изолированными и могут быть соединены кривыми, вдоль которых функция потерь и ошибка классификации сохраняют низкие значения.
• Показано, что для восстановления изображения высокого разрешения из изображения более низкого разрешения с помощью нейронной сети важна именно архитектура нейронной сети, а не количество данных, используемых для обучения ее параметров, предложены обучаемые латентные сверточные многообразия, свое для каждого изображения обучаемой выборки, которое представляет собой сверточную нейронную сеть, а также общий для всех изображений генератор, который также является сверточной нейронной сетью и оптимизируется во время обучения совместно с латентными сверточными многообразиями, что позволяет получить оптимальное латентное представление для любого набора данных и эффективно устранять любые размытости и искажения на изображениях.
• Предложена новая архитектура нейронных сетей, которая позволяет распознавать объекты на изображении с высокой точностью, используя легковесную сверточную сеть, которая может быть запущена на маломощных устройствах и мобильных телефонах, не требуя наличия графических процессоров.
• Разработана новая архитектура нейронной сети для решения задачи получения плотного представления карты глубины из 3D-данных лазерного дальнометра. Предложенная модель извлекает локальные ядра из соответствующего вспомогательного RGB-изображения, локальные ядра оценивают направления диффузии для каждого пикселя, что позволяет распространять информацию через предложенную архитектуру в соответствии со всей сценой и достичь точности, превосходящей современные опубликованные методы.
• Были предложены глубинные априорные распределения - подход к определению априорных распределений байесовских сверточных сетей, позволяющий учесть пространственные корреляции весов сети. Экспериментально показано, что предложенный подход позволяет ускорить обучение сверточных архитектур, а также улучшить качество их работы в случае ограниченных обучающих выборок.
• Разработан новый жадный метод обучения специальных глубоких нейронных сетей для аппроксимации функций. Экспериментально показано, что жадное обучение может быть очень эффективным для изучения архитектуры нейронных сетей по сравнению со стандартными подходами глубокого обучения. Показана возможность достичь экспериментально экспоненциальный спад ошибки, который предсказывается теорией, но довольно сложно проверить на практике.
• Предложен новый слой TT-вложения, для сжатия огромных таблиц поиска, используемых для кодирования категориальных признаков. Новый слой TT-вложений позволяет существенно сократить объем по памяти специальных нейросетевых моделей.
• Разработана концепция, позволяющая определить значения контролируемых параметров, которые повышают эффективность прорастания семян в разных условиях. Использование данного метода позволило увеличить эффективность прорастания семян. Используя новый подход, основанный на байесовских методах, было показано увеличение эффективности прорастания семян.
• Был разработан алгоритм, позволяющий устранять различные искажения на изображении (например, зашумления) за несколько минут на центральном процессоре и не требующий никаких других данных, кроме исходного размытого изображения, в то время как для обучения стандартных методов повышения качества с помощью нейронных сетей необходима большая выборка из пар низкокачественное-высокочастотное изображение, а процесс обучения параметров занимает от нескольких часов до нескольких суток.
• Разработан алгоритм, использующий глубокие нейронные сети, для определения объектов на изображении. Отличительной особенностью данного алгоритма является способность эффективно работать в условиях малого количества данных для обучения, что является слабым местом глубоких нейросетевых архитектур.
• Создан набор данных для обнаружения объектов в ухудшенных погодных условиях. Данная выборка не имеет аналогов в своем роде, т.к. все данные собраны в условиях максимально приближенных к условиям работы беспилотных автомобилей и включает в себя наибольший спектр погодных условий среди подобных наборов данных.
• Предложена новая модель Block Hankel Tensor - ARIMA для прогнозирования множественных временных рядов. BHT-ARIMA может улучшить точность прогнозов и скорость вычислений, особенно для нескольких коротких временных рядов. Эмпирически изучена устойчивость к различным параметрам. Эксперименты, проведенные на пяти реальных наборах данных временных рядов, демонстрируют, что BHT-ARIMA превосходит методы SOTA со значительным улучшением.
• Предложен новый алгоритм построения малорангового приближения тензора в формате тензорного поезда по части его элементов с использованием удобной эвристики выбора начального приближения на основе регрессионных Гауссовских процессов. Кроме того, TT-ранг исходного тензора автоматически корректируется методом многомерной крестовой аппроксимации в TT-формате и определяет результирующий ранг тензора. В совокупности данные методы позволяют осуществлять автоматический выбор TT-рангов при построении TT-аппроксимации. Экспериментальные исследования подтверждают, что предлагаемая инициализация обеспечивает меньшие ошибки восстановления для многих процедур оптимизации. Кроме того, предложен модифицированный алгоритм для итерации функции ценности для задач стохастического оптимального управления в формате малорангового тензорного поезда обладающий меньшей вычислительной сложностью.
• Разработаны новые алгоритмы TT-разложения, которые способны одновременно корректировать ряды двух- или трехъядерных тензоров с сохранением остальных ядер. При использовании прогрессивного вычисления сжатых тензоров и предварительного сжатия предлагаемые алгоритмы показали низкую вычислительную сложность. Предложенные алгоритмы естественным образом распространяются на TT-разложение с ограничениями на неотрицательность или разложение неполных данных. Предложенные алгоритмы реализованы в пакете MATLAB TENSORBOX.
• Представлено новое приложение декомпозиции тензорного поезда для вычисления канонической полиадической декомпозиции (CPD) тензоров более высокого порядка. Было показано, что предлагаемый метод обеспечивает общую структуру и включает точное преобразование из TT-разложения в CPD и итерационный алгоритм для оценки CPD из TT-представления. Исследования с использованием моделирования подтвердили возможности предлагаемого подхода как к точной оценке тензорного ранга, так и к эффективному вычислению CPD тензоров более высокого порядка.
• Показана возможность значительного сжатия и ускорения модели (уменьшение размера модели в 17 раз и улучшение задержки в 2 раза) для задачи оценки DensePose.
• Предложен новый подход к тензорному завершению с использованием декомпозиции тензорного кольца во вложенном пространстве. Результаты моделирования показывают эффективность предложенного подхода по сравнению с современными алгоритмами завершения.
• Показано как эффективно применять метод поиска прямоугольной матрицы максимального объема для уменьшения размерности слоёв нейронных сетей, оценена ошибка такого приближения.
• Разработаны новые методы для рандомизированного быстрого вычисления разложения тензорного кольца, а также предложен новый метод для автоматического выбора рангов для формата тензорного кольца.
• Предложена теория и различные методы для улучшения стабильности, робастности и ограничений на низкий ранг тензорных факторизации в формате СPD и тензорного кольца в приложениях к восстановлению пропусков в данных.

• Реализованный слой нейронной сети для автоматической сегментации изображений и поиска объектов на изображениях встроен в открытую библиотеку машинного обучения PyTorch.
• Получено свидетельство о государственной регистрации программы для ЭВМ «Программа для создания рекомендательных систем «Polara», являющуюся результатом интеллектуальной деятельности в рамках работы в лаборатории. Программа предназначена для удобного и быстрого создания новых рекомендательных алгоритмов, а также всестороннего анализа качества их работы.
• Получен патент «Система сжатия искусственных нейронных сетей на основе итеративного применения тензорных аппроксимаций». Данное техническое решение относится к системе сжатия искусственных нейронных сетей на основе итеративного применения тензорных аппроксимаций. Техническим результатом является эффективное сжатие нейронных сетей, что позволяет уменьшить размер нейронных сетей, сохраняя качество ее предсказаний.
• Разработаны новые алгоритмы TT-разложения, способные одновременно корректировать ряды двух- или трехъядерных тензоров с сохранением остальных ядер. Предложенные алгоритмы реализованы в пакете MATLAB TENSORBOX.
• Представлена библиотека T3F на основе TensorFlow для ТТ-разложений. T3F поддерживает выполнение на графическом процессоре, пакетную обработку, автоматическое дифференцирование и универсальные функции для оптимизации римановой структуры, которые учитывают базовое многообразие структуры для создания эффективных методов оптимизации. Библиотека упрощает реализацию работ по машинному обучению, основанных на ТТ-разложении. T3F включает документацию, примеры и 94% тестовое покрытие.

Образование и переподготовка кадров:

• Разработаны и внедрены 2 учебных курса для программы магистратуры: «Convex Optimization and Applications», «Tensor Decompositions and Tensor Networks in Artificial Intelligence».
• Модифицированы и внедрены 6 учебных курсов для программ магистратуры и аспирантуры: «Numerical Linear Algebra», «Machine Learning and Applications», «Deep Learning», «Bayesian Methods of Machine Learning», «Theoretical Foundations of Data Science», «Uncertainty Quantification».
• Подготовлены 2 тома монографии по тензорным методам «Tensor networks for dimensionality reduction and large scale optimization».
• Подготовлены 2 семинара по машинному обучению и тензорным разложениям: «Numerical tensor methods and machine learning», «Journal Club».
• Подготовлены и защищены 5 кандидатских диссертаций.
• Ведущим ученым и членами научного коллектива лаборатории организована 5-я Международная конференция по матричным методам в математике и приложениям (кампус Сколтеха, 19-23 августа 2019 г.). На конференции были представлены недавние результаты разработки матричных методов, численной линейной алгебры, тензорных разложений как в фундаментальной, так и в прикладной областях. Конференцию посетили ведущие активные исследователи, работающие в соответствующих областях науки из России, а также Швейцарии, Германии, Италии, Великобритании, США и других стран. Каждый докладчик представил оригинальную работу, охватывающую новые теории, методы и значимые приложения. Данный семинар собрал ученых и инженеров для обсуждения последних достижений.
• Ведущим ученым и членами научного коллектива лаборатории организована международная конференция «The 1st International Workshop on Tensor Networks and Machine Learning» (кампус Сколтеха, 24-26 октября 2018 г.). На конференции было представлено более 40 докладов, отражающих современные достижения в области глубокого обучения и тензорных сетей. Мероприятие посетило более 150 человек.  

Сотрудничество:

• Московский физико-технический институт, «Национальный исследовательский университет «Высшая школа экономики» (Россия), Математический институт Макса Планка (Германия), Швейцарская высшая техническая школа Цюриха (Швейцария), Университет Ханчжоу Дианзи, Шанхайский университет транспорта (Китай), Токийский университет сельского хозяйства и технологий, RIKEN Center for Advanced Intelligence Project (Япония): совместные исследования.

• Компания Huawei (Китай): исследование конволюционных сетей.

• Компания LG Electronics (Южная Корея): исследование метода быстрых тензорных сверток сетей.

Среди индустриальных партнеров лаборатории крупнейшие международные технические компании, а также лидеры российского рынка: ПАО Сбербанк, ПАО Газпромнефть.