Google заявляет, что ее суперкомпьютер с искусственным интеллектом быстрее и экологичнее, чем чип Nvidia A100

4 апреля (Рейтер) - Google, принадлежащая Alphabet Inc (GOOGL.O), опубликовала во вторник новые подробности о суперкомпьютерах, которые она использует для обучения своих моделей искусственного интеллекта, заявив, что эти системы быстрее и энергоэффективнее, чем сопоставимые системы от Nvidia Corp (NVDA). .О).

Google разработал собственный чип под названием Tensor Processing Unit или TPU. Он использует эти чипы для более чем 90% работы компании по обучению искусственному интеллекту, процессу передачи данных через модели, чтобы сделать их полезными в таких задачах, как ответ на запросы с помощью текста, похожего на человеческий, или создание изображений.

Google TPU сейчас находится в четвертом поколении. Во вторник компания Google опубликовала научную статью, в которой подробно описывается, как компания объединила более 4000 чипов в суперкомпьютер, используя специально разработанные оптические переключатели для соединения отдельных машин.

Улучшение этих связей стало ключевым моментом конкуренции среди компаний, создающих суперкомпьютеры искусственного интеллекта, поскольку так называемые большие языковые модели, лежащие в основе таких технологий, как Bard от Google или ChatGPT от OpenAI, резко возросли в размерах, а это означает, что они слишком велики, чтобы их можно было хранить на одном чипе.

Вместо этого модели необходимо разделить на тысячи чипов, которые затем должны работать вместе в течение нескольких недель или более для обучения модели. Модель PaLM от Google — ее крупнейшая публично раскрытая языковая модель на сегодняшний день — была обучена путем разделения ее на два из 4000-чиповых суперкомпьютеров в течение 50 дней.

В Google заявили, что ее суперкомпьютеры позволяют легко перенастраивать соединения между чипами на лету, помогая избежать проблем и оптимизировать производительность.

«Коммутация цепей позволяет легко обходить неисправные компоненты», — написал в своем блоге о системе сотрудник Google Норм Джуппи и заслуженный инженер Google Дэвид Паттерсон. «Эта гибкость даже позволяет нам изменять топологию межсоединения суперкомпьютера, чтобы повысить производительность модели ML (машинного обучения)».

Хотя Google только сейчас раскрывает подробности о своем суперкомпьютере, с 2020 года он доступен онлайн внутри компании в дата-центре в округе Мейс, штат Оклахома. В Google заявили, что стартап Midjourney использовал систему для обучения своей модели, которая генерирует свежие изображения после ввода нескольких слов текста.

В документе Google говорится, что для систем сопоставимого размера ее чипы работают до 1,7 раз быстрее и в 1,9 раза более энергоэффективно, чем система на базе чипа Nvidia A100, которая была на рынке одновременно с TPU четвертого поколения. .

Представитель Nvidia отказался от комментариев.

В Google заявили, что не сравнивают свое четвертое поколение с текущим флагманским чипом Nvidia H100, поскольку H100 появился на рынке после чипа Google и изготовлен с использованием более новых технологий.

Google намекнула, что, возможно, работает над новым TPU, который будет конкурировать с Nvidia H100, но не предоставила никаких подробностей, а Джуппи сообщил агентству Reuters, что у Google есть «здоровый портфель будущих чипов».

Наши стандарты: принципы доверия Thomson Reuters.