Нейросеть научилась генерировать несколько миллиардов слов в день. И будет ещё больше

Вторник, 30 марта 2021 г.

Следите за нами в ВКонтакте, Facebook'e и Twitter'e

Компьютерный алгоритм генерации текстов OpenAI GPT-3, который используется разработчиками в более чем 300 различных приложениях, научился создавать уже по 4,5 миллиарда слов в день.

Нейросети становятся всё более продвинутыми — по скорости создания текстов человеку за ними уже не угнаться

Одним из наиболее важных трендов в машинном обучении на сегодняшний день является генерация текста. Системы искусственного интеллекта довольно быстро обучаются, буквально поглощая миллиарды слов из интернета, и способны генерировать довольно осмысленный текст в ответ на различные запросы. В конечном итоге подобные алгоритмы можно использовать для решения весьма широкого круга задач — от написания программного кода до создания литературных произведений.

Самым известным текстовым генератором на базе искусственного интеллекта является GPT-3 от компании OpenAI. Разработчики уверяют, что он уже используется десятками тысяч разработчиков в более чем 300 различных приложениях и пишет по 4,5 миллиарда слов в день. Безусловно, это впечатляющий прогресс и своего рода наглядный показатель растущего масштаба, влияния и коммерческого потенциала создания текстов посредством нейросетей.

OpenAI заключила эксклюзивное соглашение с Microsoft, которое обеспечивает корпорации доступ к базовому коду алгоритма, хотя любая другая компания тоже может подать заявку на доступ к API нейросети GPT-3 и создавать собственные сервисы на её основе. К примеру, стартап Viable использует GPT-3 для анализа отзывов потребителей, Fable Studio использует программу для создания диалогов в виртуальной реальности, а Algolia применяет её для улучшения своих поисковых систем.

Впрочем, такое положение вещей устраивает не всех. Некоторые аналитики отмечают, что нерационально использовать для собственного бизнеса сторонние ресурсы и технологии, которыми точно так же могут пользоваться и конкуренты. При этом ни одна компания не получит от этого столько выгоды, как OpenAI. Разумеется, у GPT-3 есть и проблемы с качеством текста. Как и многие другие алгоритмы, нейросеть неспособна избегать пагубных тенденций.

К примеру, медицинский чат-бот, созданный на базе GPT-3, советовал пациентам с суицидальными наклонностями поддаться негативу и «сделать это». Эти особенности нейросети в общем-то не являются непреодолимыми, однако их определённо нужно учитывать при создании тех или иных программных продуктов. В прошлом году разработчики из «Сбера» выпустили и русскоязычную версию алгоритма GPT-3.

Для этого они совместно с AGI NLP они собрали массив текстов размером 600 гигабайтов, а для обучения использовали русскую литературу, русскую и английскую «Википедию», новостные сайты, публичные разделы портала Pikabu и Omnia Russica. Как и в случае с оригинальной англоязычной моделью GPT-3, модель «Сбера» при этом не полностью русскоязычная: доля иностранных языков в обучающей выборке составила 10%.

Разработчики «Сбера» для обучения взяли модель GPT-3 Large: Open AI представили несколько моделей GPT-3, отличающихся количеством параметров — от 125 миллионов до 175 миллиардов. Для обучения использовали суперкомпьютер «Кристофари», а исходный код модели разработчики выложили на GitHub. Русскоязычная модель, судя по результатам работы, умеет выполнять то же самое, что и оригинальная — даже создавать небольшие массивы программного кода.

Следите за нами в ВКонтакте, Facebook'e и Twitter'e


Просмотров: 197
Рубрика: Hi-Tech
(CY)

Архив новостей / Экспорт новостей

Ещё новости по теме:

RosInvest.Com не несет ответственности за опубликованные материалы и комментарии пользователей. Возрастной цензор 16+.

Ответственность за высказанные, размещённую информацию и оценки, в рамках проекта RosInvest.Com, лежит полностью на лицах опубликовавших эти материалы. Использование материалов, допускается со ссылкой на сайт RosInvest.Com.

Skype: rosinvest.com (Русский, English, Zhōng wén).

Архивы новостей за: 2018, 2017, 2016, 2015, 2014, 2013, 2012, 2011, 2010, 2009, 2008, 2007, 2006, 2005, 2004, 2003