Решение динамики мозга привело к созданию гибкой машины

Предыдущее изображение Следующее изображение

В прошлом году исследователи Массачусетского технологического института объявили, что они создали «жидкие» нейронные сети, вдохновленные мозгом мелких видов: класс гибких и надежных моделей машинного обучения, которые обучаются на рабочем месте и могут адаптироваться к меняющимся условиям для обеспечения реальной безопасности. -критические задачи, такие как вождение и полет. Гибкость этих «жидких» нейронных сетей означала усиление связей с нашим взаимосвязанным миром, что позволило лучше принимать решения для многих задач, связанных с данными временных рядов, таких как мониторинг мозга и сердца, прогнозирование погоды и ценообразование на акции.

Но эти модели становятся дорогостоящими в вычислительном отношении, поскольку число нейронов и синапсов в них увеличивается, и для решения лежащих в их основе сложных математических вычислений требуются неуклюжие компьютерные программы. И всю эту математику, как и многие физические явления, становится сложнее решить с увеличением размера, что означает необходимость вычисления множества маленьких шагов для достижения решения.

Теперь та же группа ученых нашла способ устранить это узкое место, решив дифференциальное уравнение взаимодействия двух нейронов через синапсы, чтобы разблокировать новый тип быстрых и эффективных алгоритмов искусственного интеллекта. Эти режимы имеют те же характеристики, что и жидкие нейронные сети — гибкие, причинные, надежные и объяснимые — но работают на порядки быстрее и масштабируются. Таким образом, этот тип нейронной сети можно использовать для любой задачи, которая предполагает получение информации о данных с течением времени, поскольку они компактны и адаптируются даже после обучения, в то время как многие традиционные модели фиксированы. Решение не было известно с 1907 года — года, когда было введено дифференциальное уравнение модели нейрона.

Модели, получившие название «нейронная сеть непрерывного времени в замкнутой форме» (CfC), превзошли современные аналоги в ряде задач, обладая значительно более высоким ускорением и производительностью в распознавании человеческой деятельности по датчикам движения, моделировании физических динамика моделируемого шагающего робота и последовательная обработка изображений на основе событий. Например, при выполнении задачи медицинского прогнозирования новые модели работали в 220 раз быстрее на выборке из 8000 пациентов.

Новая статья об этой работе опубликована сегодня в журнале Nature Machine Intelligence.

«Новые модели машинного обучения, которые мы называем «CfC», заменяют дифференциальное уравнение, определяющее вычисления нейрона, приближением замкнутой формы, сохраняя прекрасные свойства жидких сетей без необходимости численного интегрирования», — говорит профессор Массачусетского технологического института Даниэла Рус, директор из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и старший автор новой статьи. «Модели CfC являются причинно-следственными, компактными, объяснимыми и эффективными для обучения и прогнозирования. Они открывают путь к надежному машинному обучению для критически важных с точки зрения безопасности приложений».

Сохранение жидкости

Дифференциальные уравнения позволяют нам вычислять состояние мира или явления по мере его развития, но не во времени, а только шаг за шагом. Чтобы смоделировать природные явления во времени и понять прошлое и будущее поведение, например, распознавание активности человека или путь робота, команда прибегла к математическим трюкам, чтобы найти только билет: решение «закрытой формы», которое моделирует полное описание всей системы за один вычислительный шаг.

С помощью их моделей можно вычислить это уравнение в любой момент в будущем и в любой момент в прошлом. Мало того, скорость вычислений намного выше, потому что вам не нужно решать дифференциальное уравнение шаг за шагом.

Представьте себе сквозную нейронную сеть, которая получает данные о вождении от камеры, установленной на автомобиле. Сеть обучена генерировать выходные данные, например, угол поворота рулевого колеса автомобиля. В 2020 году команда решила эту проблему, используя жидкие нейронные сети с 19 узлами, чтобы 19 нейронов плюс небольшой модуль восприятия могли управлять автомобилем. Дифференциальное уравнение описывает каждый узел этой системы. Если вы замените решение в закрытой форме внутри этой сети, оно даст вам точное поведение, поскольку оно является хорошим приближением к фактической динамике системы. Таким образом, они могут решить проблему с еще меньшим количеством нейронов, а это значит, что это будет быстрее и с меньшими вычислительными затратами.