Сбер представил нейросеть mGPT, которая умеет писать тексты на белорусском языке. Искусственный интеллект доступен в двух версиях: базовая располагает 1,3 млрд параметров и доступна в «облаке», расширенная включает 13 млрд параметров и вскоре появится на платформе машинного обучения ML Space.
Модель mGPT может использоваться как для генерации текста, так и для обработки естественного языка. Нейросеть показывает высокие результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель – достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу.
Тем самым можно научить систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из него имена, фамилии, названия компаний и т.д. Модель может также использоваться как компонент различных речевых технологий: например, для улучшения качества распознавания речи или генерации сценариев диалоговых систем.
«В 2020 году мы представили русскоязычную версию нейросети GPT-3. Мы продолжили развивать наши NLP-технологии и представили модель mGPT, поддерживающую более 60 языков, при этом для многих из них ранее генеративных моделей просто не существовало», – пояснил CEO SberDevices и вице-президент по новым цифровым поверхностям Салют Сбербанка Денис Филиппов.
Вместе с белорусским нейросеть владеет еще 60 языками – от арабского до японского. Среди необычных – йоруба, тувинский и якутский.