SeamlessM4T может выполнять «бесшовный» синхронный перевод речи и её транскрипцию.
Нейросеть поддерживает около 100 языков ввода. Она может распознавать речь на любом из них, транскрибировать её в письменный вид, а также переводить тексты с одного языка из набора на другой.
Также SeamlessM4T может синтезировать речь на 36 языках, включая английский. Новая технология позволяет в том числе заниматься синхронным переводом на один из них с любого из 100 языков ввода.
По словам разработчиков, новая нейросеть стала «значительным прорывом» в разработке «универсального переводчика». Meta ставит цель создать единую многоязычную модель для выполнения задач, в которых сейчас задействуется несколько разных инструментов.
Для этого специалисты компании использовали набор голосовых и текстовых данных на 270 тысяч часов. Кроме английского, испанского и других языков мирового уровня, SeamlessM4T поддерживает и менее распространённые языки.
Обработка текста проводится на базе модели машинного перевода No Language Left Behind (NLLB), представленной в 2022 году. Она поддерживает 200 языков и сейчас используется, например, в Wikipedia.
SeamlessM4T открыта для разработчиков по лицензии с открытым исходным кодом (CC BY-NC 4.0). Протестировать её работу можно по ссылке.
Ранее Spot писал, что глава Meta Марк Цукерберг сообщил о срыве ранее запланированного поединка с Илоном Маском.
