Исследователи из AI2 вместе c AMD и другими создадут научную нейросеть
Институт искусственного интеллекта
Пола Аллен (AI2) в 2024 году планирует выпустить большую языковую модель
Open Language Model (OLMo), ориентированную на научные изыскания. OLMo разрабатывается в сотрудничестве с AMD, консорциумом Large Unified Modern Infrastructure, который предоставляет суперкомпьютерные мощности для обучения и образования, а также Surge AI и MosaicML, которые предоставляют данные и обучающий код.
Ханна Хаджиширзи (Hanna Hajishirzi), старший директор по нейролингвистическим исследованиям (НЛП) в AI2, заявила, что "исследовательским и технологическим сообществам нужен доступ к открытым языковым моделям для продвижения науки. С OLMo мы работаем над устранением разрыва между государственными и частными исследовательскими возможностями и знаниями путём создания конкурентоспособной языковой модели". По мнению Хаджиширзи, несмотря на то, что многие модели с открытым исходным кодом на сегодняшний день привнесли новый опыт и даже "раздвинули границы", они не были специфично ориентированы.
AI2 рассматривает OLMo как платформу, а не просто очередную ИИ-модель и по словам Хаджиширзи, всё, что AI2 делает для OLMo, будет общедоступно, включая датасет и API. Другое отличие OLMo, по словам Ноа Смита (Noah Smith), старшего директора по исследованиям НЛП в AI2, заключается в том, чтобы позволить модели лучше использовать и понимать учебники и академические статьи. Заметим, что это не первая попытка сделать научную нейросеть. Например, печально известная модель Galactica от Meta
*. Однако Хаджиширзи считает, что обучение AI2 в академических кругах и инструменты, разработанные учёными для исследований, такие как Semantic Scholar, помогут сделать OLMo "уникально подходящей" для научных и академических приложений.
Обучение должно начаться в ближайшие месяцы на суперкомпьютере LUMI в Финляндии — самом быстром суперкомпьютере в Европе по состоянию на январь. AI2 приглашает сотрудников помочь внести свой вклад и критически оценить процесс разработки модели. Желающие могут связаться с организаторами на странице проекта OLMo.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ "О противодействии экстремистской деятельности".
Источник: 3dnews.ru