- Большая языковая модель Google PaLM 2 использует почти в пять раз больше текстовых данных для обучения, чем ее предшественник LLM, как стало известно CNBC.
- Анонсируя PaLM 2 на прошлой неделе, Google заявила, что эта модель меньше, чем предыдущая PaLM, но использует более эффективную «технологию».
- Отсутствие прозрачности в отношении обучающих данных в моделях ИИ становится все более горячей темой среди исследователей.
Сундар Пичаи, генеральный директор Alphabet Inc. , во время конференции разработчиков ввода-вывода Google в Маунтин-Вью, Калифорния, в среду, 10 мая 2023 г.
Дэвид Пол Моррис | Блумберг | Гетти Изображений
CNBC стало известно, что новая большая языковая модель Google, о которой компания объявила на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественник 2022 года, что позволяет ей выполнять более сложные задачи по кодированию, математике и творческому письму.
PaLM 2, новая общедоступная модель большого языка (LLM) компании, представленная на Google I/O, была обучена на 3,6 трлн токенов, согласно внутренним документам, с которыми ознакомилась CNBC. Маркеры, представляющие собой строки слов, являются важным строительным блоком для обучения LLM, поскольку они учат модель предсказывать следующее слово, которое появится в последовательности.
Предыдущая версия Google PaLM, расшифровывающаяся как Pathways Language Model, была выпущена в 2022 году и обучена на 780 миллиардах токенов.
В то время как Google стремилась продемонстрировать мощь своей технологии искусственного интеллекта и то, как ее можно интегрировать в поиск, электронную почту, обработку текстов и электронные таблицы, компания не хотела публиковать объем или другие подробности своих обучающих данных. OpenAI, новатор поддерживаемого Microsoft ChatGPT, также хранит в секрете подробности о последнем языке LLM под названием GPT-4.
Компании говорят, что причиной отсутствия раскрытия информации является конкурентный характер бизнеса. Google и OpenAI спешат привлечь пользователей, которые могут искать информацию с помощью чат-ботов вместо традиционных поисковых систем.
Но по мере того, как бушует гонка вооружений ИИ, исследовательское сообщество призывает к большей прозрачности.
После презентации PaLM 2 Google заявила, что новая модель меньше, чем предыдущие LLM, что важно, поскольку означает, что технология компании становится более эффективной при выполнении более сложных задач. PaLM 2 обучается, согласно внутренней документации, на 340 миллиардах параметров, что свидетельствует о сложности модели. Первоначальный PaLM обучается на 540 миллиардах параметров.
Google не сразу дал комментарий к этой истории.
Google Он сказал В сообщении блога о PaLM 2 модель использует «новую технику», называемую оптимизацией вычислительного масштаба. Это делает LLM «более эффективным с лучшей общей производительностью, включая более быстрый вывод, меньшее количество параметров обслуживания и более низкую стоимость обслуживания».
Анонсируя PaLM 2, Google подтвердил предыдущие отчеты CNBC о том, что модель обучена 100 языкам и выполняет широкий круг задач. Он уже используется для поддержки 25 функций и продуктов, включая экспериментальный чат-бот компании Bard. Он доступен в четырех размерах, от самого маленького до самого большого: Gecko, Otter, Bison и Unicorn.
Согласно общедоступным данным, PaLM 2 мощнее любой существующей модели. LLM на Facebook называется LLaMA, что означает объявить В феврале он был обучен на 1,4 трлн токенов. В последний раз OpenAI делился объемом обучения ChatGPT с GPT-3, когда компания заявила, что за это время обучила 300 миллиардов кодов. OpenAI выпустила GPT-4 в марте и заявила, что в нескольких профессиональных тестах показывает «производительность человеческого уровня».
LaMDA, разговор LLM, что Google ступня Согласно последним документам, с которыми ознакомился CNBC, два года назад, продвигаемый в феврале вместе с Бардом, он был обучен на 1,5 трлн токенов.
По мере того, как новые приложения искусственного интеллекта быстро становятся популярными, споры о лежащих в их основе технологиях также усиливаются.
Мехди Эльмохамади, старший научный сотрудник Google, Он ушел в отставку в феврале О непрозрачности компании. Во вторник генеральный директор OpenAI Сэм Альтман дал показания на слушаниях судебного подкомитета Сената по конфиденциальности и технологиям и согласился с законодателями в том, что для работы с ИИ необходима новая система.
«Для столь новой технологии нам нужна новая структура, — сказал Альтманн. «Конечно, такие компании, как наша, несут большую ответственность за инструменты, которые мы выпускаем в мир».
— Джордан Новетт из CNBC внес свой вклад в этот отчет.
Он смотрит: Сэм Альтман, генеральный директор OpenAI, призвал к управлению ИИ
«Тотальный организатор. Поклонник Твиттера. Любитель социальных сетей. Профессиональный зомби-знаток».