Эффективная техника улучшает машину

Изображения для загрузки на веб-сайте офиса новостей MIT предоставляются некоммерческим организациям, прессе и широкой публике в соответствии с некоммерческой лицензией Creative Commons «С указанием авторства». Вы не можете изменять предоставленные изображения, кроме как обрезать их до нужного размера. При воспроизведении изображений необходимо использовать кредитную линию; если оно не указано ниже, укажите авторство изображений в «MIT».

Предыдущее изображение Следующее изображение

Мощные модели машинного обучения используются, чтобы помочь людям решать сложные проблемы, такие как выявление заболеваний на медицинских изображениях или обнаружение дорожных препятствий для беспилотных транспортных средств. Но модели машинного обучения могут совершать ошибки, поэтому в условиях высоких ставок очень важно, чтобы люди знали, когда следует доверять предсказаниям модели.

Количественная оценка неопределенности — это один из инструментов, повышающих надежность модели; модель выдает оценку вместе с прогнозом, который выражает уровень уверенности в том, что прогноз верен. Хотя количественная оценка неопределенности может быть полезной, существующие методы обычно требуют переобучения всей модели, чтобы придать ей такую ​​возможность. Обучение предполагает показ модели миллионов примеров, чтобы она могла изучить задачу. В этом случае для переобучения требуются миллионы новых входных данных, которые могут быть дорогими и трудными для получения, а также требуют огромных объемов вычислительных ресурсов.

Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта Watson MIT-IBM теперь разработали метод, который позволяет модели выполнять более эффективную количественную оценку неопределенности, используя при этом гораздо меньше вычислительных ресурсов, чем другие методы, и без дополнительных данных. Их метод, не требующий от пользователя переобучения или изменения модели, достаточно гибок для многих приложений.

Этот метод предполагает создание более простой сопутствующей модели, которая помогает исходной модели машинного обучения оценивать неопределенность. Эта меньшая модель предназначена для выявления различных типов неопределенности, что может помочь исследователям глубже понять основную причину неточных прогнозов.

«Количественная оценка неопределенности важна как для разработчиков, так и для пользователей моделей машинного обучения. Разработчики могут использовать измерения неопределенности для разработки более надежных моделей, а для пользователей это может добавить еще один уровень доверия и надежности при развертывании моделей в реальном мире. Работа ведет к более гибкому и практичному решению количественной оценки неопределенности», — говорит Маохао Шен, аспирант электротехники и информатики и ведущий автор статьи по этому методу.

Шен написал статью вместе с Юхэном Бу, бывшим постдоком Исследовательской лаборатории электроники (RLE), который сейчас является доцентом Университета Флориды; Прасанна Саттигери, Сумья Гош и Субхро Дас, научные сотрудники Лаборатории искусственного интеллекта Watson MIT-IBM; и старший автор Грегори Уорнелл, профессор инженерных наук Sumitomo, который возглавляет Лабораторию сигналов, информации и алгоритмов RLE и является членом лаборатории искусственного интеллекта Watson MIT-IBM. Исследование будет представлено на конференции AAAI по искусственному интеллекту.

Количественная оценка неопределенности

При количественной оценке неопределенности модель машинного обучения генерирует числовую оценку для каждого результата, чтобы отразить ее уверенность в точности этого прогноза. Включение количественной оценки неопределенности путем создания новой модели с нуля или повторного обучения существующей модели обычно требует большого объема данных и дорогостоящих вычислений, что часто непрактично. Более того, существующие методы иногда приводят к непреднамеренному ухудшению качества прогнозов модели.

Таким образом, исследователи MIT и MIT-IBM Watson AI Lab сосредоточились на следующей проблеме: как они могут дать предварительно обученной модели возможность выполнять эффективную количественную оценку неопределенности?

Они решают эту проблему, создавая меньшую и более простую модель, известную как метамодель, которая прикрепляется к более крупной, предварительно обученной модели и использует функции, которые уже изучила более крупная модель, чтобы помочь ей выполнить количественную оценку неопределенности.