Перевод деловых документов

Google создал переводчик телефонных разговоров

Интернет
Техника
ПО
Веб-сервисы
Софт

14 Января 2011 10:0114 Янв 2011 10:01

|

Поделиться

Новая функция, которая стала доступна владельцам Android-смартфонов, позволяет разговаривать на двух иностранных языках, не зная их. Устройство «слушает» пользователя, переводит текст и произносит вариант на иностранном языке. В дополнение к английскому и испанскому Google со временем планирует добавить другие пары.

Компания Google объявила о добавлении в приложение Google Translate для Android режима Conversation Mode. Активируя его, пользователь фактически превращает мобильное устройство в голосовой переводчик, сообщается в официальном блоге.




Режим Conversation Mode предназначен специально для того, чтобы разговаривать с собеседником на иностранном языке. Для запуска режима необходимо нажать на кнопку с микрофоном. Затем пользователь произносит фразу на родном языке, смартфон ее «слушает», переводит и произносит собеседнику на иностранном языке. Фразы, которые собеседник произносит на своем родном языке, устройство переводит в обратном направлении и также проговаривает.




Пока возможности Conversation Mode весьма ограничены. Например, программа плохо распознает акценты, чувствительна к фоновому шуму и выдает ошибки, когда человек говорит слишком быстро. Наконец, в настоящее время Conversation Mode можно использовать только для одной пары языков — английского и испанского.




Тем не менее, в Google с большим энтузиазмом относятся к проекту и считают его многообещающим — сейчас же речь идет лишь об экспериментальной версии. Со временем, когда приложение станет «умнее» и будет поддерживать большее число языковых пар, оно сможет существенно облегчить общение людей во всем мире, уверены в компании.




В основе нововведения лежат облачные вычисления. Переводом занимается не само устройство, оно отсылает произнесенные фразы на сервер Google, который и проделывает всю работу, возвращая результат. Следствием такого подхода является медленная работа услуги. И хотя сам перевод занимает долю секунды, время, затрачиваемое на передачу данных, не позволяет использовать переводчик в режиме реального времени. По словам главы Google Эрика Шмидта (Eric Schmidt), в компании рассчитывают, что в течение 18 месяцев данная проблема будет решена.




В настоящее время Conversation Mode поддерживает английский и испанский




Как получить ₽30 млн на вывод решения в области искусственного интеллекта на новые рынки

Поддержка ИТ-отрасли

Впервые приложение Google Translate появилось на платформе Android год назад. Со временем разработчики добавили в него возможность перевода произносимых слов. Также приложение поддерживает перевод SMS-сообщений, присланных пользователю на иностранном языке.




В последней версии, помимо добавления нового режима, разработчики улучшили интерфейс приложения. В настоящее время сервис Google Translate поддерживает 53 языка и голосовой ввод на 15 языках. Для работы приложения необходима версия Android 2.1 и выше. Программа доступна в Android Market.




Отметим, что среди других технологических гигантов Google, пожалуй, является самым активным «лоббистом» новых технологий взаимодействия человека с вычислительным устройством. Например, компания разработала приложение Goggles, которое позволяет искать информацию о предметах по их фотографии. Данное приложение также содержит режим расширенной реальности, когда при активации встроенной в смартфон камеры напротив зданий появляются метки с информацией о них.

• С чего начать импортозамещение SAP, Oracle и IBM?

Сергей Попсулин

Тестируем голосовой перевод в Google Переводчик

Эта статья является частью нашего большого исследования устных переводчиков английского языка.

Мы оценили данный голосовой переводчик на 4,2 балла.

Google Переводчик	Количество точных переводов	Удобство в использовании	Привлекательность интерфейса
	3	5	4,5

Ниже вы найдете фразы, которые мы «скармливали» переводчику, а также видео с переводом.

Покупаем билет на самолет

Мы протестировали переводчик через стандартную просьбу в кассе аэропорта. Приложение на платформе Android справилось хуже – часть произнесенных слов не записаны и не переведены, из-за чего теряется смысл. В приложении на IOS переведенный текст является практически точным. Единственная огреха — повторение слова «please».

Android

IOS

Садимся в такси

Мы проверили переводчик с помощью типичного вопроса о стоимости поездки в такси. Фраза помогла определить способность переводчика правильно записывать и переводить адрес пункта назначения. Приложение справилось на отлично, грамматика соблюдена, цифры и буквы адреса зафиксированы приложением верно.

Android

IOS

Заселяемся в отель

Мы провели тестирование переводчика с помощью вопросов для администратора отеля, и попытались выяснить, есть ли свободные номера на конкретные даты, уточнили наличие завтрака. Приложение плохо справилось с поставленной задачей. Интонация не была определена переводчиком, из-за чего возникают трудности с определением смысла.

Android

IOS

Зовем на помощь

Мы проверили переводчик с помощью фразы с просьбой о помощи человеку, который плохо себя почувствовал. Приложение справилось хорошо, ему удалось уловить интонацию, проиллюстрировать ее знаками препинания, смысл донесен верно.

Android

IOS

Узнаем время работы ресторана

Мы протестировали переводчик через уточнение часов работы ресторана. Также мы добавили вопрос о возможности визита вместе с коллегой. Результаты на IOS и Android немного отличаются, но, в целом, приложение на обеих платформах уверенно справилось с задачей, фраза разбита на смысловые отрезки.

Android

IOS





Модель сквозного преобразования речи в речь — блог Google AI

Авторы: Йе Цзя и Рон Вайс, инженеры-программисты, Google AI с целью помочь людям, говорящим на разных языках, общаться друг с другом. Такие системы обычно разбиваются на три отдельных компонента: автоматическое распознавание речи для преобразования исходной речи в текст, машинный перевод для перевода расшифрованного текста на целевой язык и синтез речи (TTS) для создания речи на целевом языке. язык из переведенного текста. Разделение задачи на такие 9Каскад 0005 систем оказался очень успешным, на нем основаны многие коммерческие продукты для преобразования речи в речь, включая Google Translate.

В разделе «Прямой перевод речи в речь с моделью последовательности в последовательность» мы предлагаем новую экспериментальную систему, основанную на одной внимательной модели последовательности в последовательность для прямого перевода речи в речь, не полагаясь на на промежуточном текстовом представлении. Эта система, получившая название Translatotron , позволяет избежать разделения задачи на отдельные этапы, обеспечивая несколько преимуществ по сравнению с каскадными системами, в том числе более высокую скорость логического вывода, естественным образом избегая сложных ошибок между распознаванием и переводом, упрощая сохранение голоса исходного говорящего после перевода. и улучшенная обработка слов, которые не нужно переводить (например, имена и имена собственные).

Translatotron
Появление сквозных моделей перевода речи началось в 2016 году, когда исследователи продемонстрировали возможность использования единой модели последовательностей для преобразования речи в текст. В 2017 году мы продемонстрировали, что такие сквозные модели могут превзойти каскадные модели. В последнее время было предложено множество подходов к дальнейшему совершенствованию сквозных моделей преобразования речи в текст, включая наши усилия по использованию слабо контролируемых данных. Translatotron делает еще один шаг вперед, демонстрируя, что единая модель последовательностей может напрямую переводить речь с одного языка на речь на другом языке, не полагаясь на промежуточное текстовое представление на любом языке, как это требуется в каскадных системах.

Транслатотрон основан на сети последовательностей, которая принимает исходные спектрограммы в качестве входных данных и генерирует спектрограммы переведенного контента на целевом языке. Он также использует два других отдельно обученных компонента: нейронный вокодер, который преобразует выходные спектрограммы в формы сигналов во временной области, и, опционально, кодировщик динамиков, который можно использовать для сохранения характера голоса исходного диктора в синтезированной переведенной речи. Во время обучения модель «последовательность к последовательности» использует многозадачную цель для прогнозирования исходных и целевых транскриптов одновременно с созданием целевых спектрограмм. Однако во время вывода не используются транскрипты или другие промежуточные текстовые представления.

Модель архитектуры Транслатотрона.

Производительность
Мы проверили качество перевода Translatotron, измерив балл BLEU, рассчитанный на основе текста, расшифрованного системой распознавания речи. Хотя наши результаты отстают от традиционной каскадной системы, мы продемонстрировали возможность сквозного прямого преобразования речи в речь.

В приведенных ниже аудиоклипах результаты прямого перевода речи в речь, полученные с помощью Translatotron, сравниваются с результатами базового каскадного метода. В этом случае обе системы обеспечивают подходящий перевод и говорят естественным образом, используя один и тот же канонический голос.

Input (Spanish)
Reference translation (English)
Baseline cascade translation
Translatotron translation

Вы можете прослушать больше аудио образцов здесь.

Сохранение вокальных характеристик
Включив сеть кодировщика динамиков, Translatotron также может сохранить исходные вокальные характеристики диктора в переведенной речи, что делает переведенную речь более естественной и менее резкой. Эта функция использует предыдущие исследования Google по проверке говорящих и адаптации говорящих для TTS. Кодер говорящего предварительно обучен задаче проверки говорящего, обучаясь кодировать характеристики говорящего на основе короткого примера высказывания. Настройка декодера спектрограммы на эту кодировку позволяет синтезировать речь с похожими характеристиками говорящего, даже если содержание находится на другом языке.

Приведенные ниже аудиоклипы демонстрируют работу Translatotron при преобразовании голоса исходного говорящего в переведенную речь. В этом примере Translatotron обеспечивает более точный перевод, чем базовая каскадная модель, при этом сохраняя вокальные характеристики исходного говорящего. Выход Translatotron, который сохраняет голос исходного говорящего, обучается с использованием меньшего количества данных, чем тот, который использует канонический голос, поэтому они дают немного разные переводы.

Вход (испанский)
Справочный перевод (английский)
РАСКОЛЬНА

Другие аудио образцы доступны здесь.

Заключение
Насколько нам известно, Translatotron является первой сквозной моделью, которая может напрямую переводить речь с одного языка на речь на другом языке. Он также может сохранять голос исходного говорящего в переведенной речи. Мы надеемся, что эта работа может послужить отправной точкой для будущих исследований сквозных систем преобразования речи в речь.

Благодарности
Это исследование было результатом совместной работы команд Google Brain, Google Translate и Google Speech. В число участников входят Е Цзя, Рон Дж. Вайс, Фади Биадси, Вольфганг Машери, Мелвин Джонсон, Чжифэн Чен, Мэнмэн Ню, Куан Ван, Джейсон Пелеканос, Игнасио Лопес Морено, Том Уолтерс, Хейга Зен, Патрик Нгуен, Ю Чжан, Джонатан Шен, Орхан Фират и Юнхуэй Ву. Мы также благодарим Хорхе Перейру и Стеллу Лаурензо за проверку качества перевода от Translatotron.

Как использовать Google Live Translate на Google Pixel 6

Автор
Джон Гилберт

Опубликовано 20 мая 2022 г.

С легкостью разговаривайте на других языках с помощью Pixel 6

Телефоны Google Pixel 6 и Pixel 6 Pro поставляются с несколькими полезными улучшениями, включая функцию Live Translate. Хотя это эксклюзивно для устройств Pixel 6, на данный момент это фантастическое дополнение к набору функций перевода Google.

Live Translate будет переводить ваши отправленные текстовые сообщения на лету и переводить аудио в режиме реального времени. Хотя вы можете копировать тексты в Google Translate, Live Translate устраняет посредников, переводя немедленно, ускоряя ваши разговоры. Его функция аудиоперевода также работает для телефонных звонков. Если вы путешествуете, работаете с людьми с разным опытом или просто хотите узнать больше о других языках прямо перед вами, это очень удобный инструмент.

Что такое интерактивный перевод?

Live Translate — это сбивающий с толку термин, так как он часто используется для многих различных функций перевода Google. Даже на их странице поддержки Live Translate упоминается перевод текста с помощью вашей камеры — функция, доступная всем через приложение Google Translate. В этой статье мы имеем в виду функции, эксклюзивные для устройства Pixel 6. Это эксклюзивно для этих телефонов, поскольку в настоящее время они являются единственными устройствами Android, оснащенными чипом Tensor от Google.

Итак, что Live Translate может делать на Pixel 6? По сути, он может переводить живые текстовые разговоры и аудио. Так что, если вы переписываетесь с кем-то на другом языке, вам не придется копировать и вставлять каждое сообщение в Google Translate. Вы также сможете смотреть видео на других языках и видеть переведенные субтитры в режиме реального времени. Эти субтитры также доступны для телефонных разговоров. Конечно, он не идеален, но работает достаточно хорошо, чтобы поддерживать разговор.

Как включить интерактивный перевод

Live Translate работает не со всеми языками, хотя Google со временем добавляет новые. Прямо сейчас он охватывает 48 различных языков. Когда язык выбран, он покажет вам, с какими функциями он совместим. Для функций Live Translate Pixel 6 вам потребуются языки, поддерживающие Messaging и Live Caption .

1. Откройте приложение Настройки .
2. Прокрутите вниз и коснитесь Система.
3. Нажмите Live Translate.

   3 изображения

4. Включите переключатель Live Translate .
5. Нажмите Добавить язык.
6. Прокрутите вниз и коснитесь языка, который хотите перевести.
7. Нажмите Добавить язык во всплывающем окне.

   2 изображения

Вот и все. Вы должны быть в состоянии использовать Live Translate. Теперь, когда он у вас включен, давайте рассмотрим, как вы можете его использовать.

Как использовать Live Translate

Live Translate работает для текстовых разговоров и аудиозаголовков. Если вам интересно, как перевести текст с помощью камеры или личного разговора, Google Translate может помочь с этим. Помните, что вам нужно скачать язык, прежде чем вы начнете переводить.

Как использовать Live Translate для текстовых сообщений

Ваш телефон Pixel 6 должен автоматически определять иностранный язык в ваших текстовых разговорах и создавать всплывающее окно с логотипом Google Translate в правом верхнем углу экрана. При нажатии на нее активируется Live Translate.

Однако, если вы отключили перевод или всплывающее окно не появилось (иногда это происходит, если на экране недостаточно текста), вам нужно будет снова включить его вручную. Просто скопируйте текст и коснитесь всплывающего окна Перевести скопированный текст .

2 изображения

После включения в верхней части экрана появится окно для выбора языка, на котором вы видите полученные тексты. Чтобы перевести текст, начните вводить . Вы увидите, как переведенный текст появляется над черновиком в режиме реального времени, поэтому вы можете предварительно просмотреть его перед отправкой.

3 изображения

Если вы хотите отключить Live Translate или изменить его работу, коснитесь направленной вниз стрелки рядом с языками. Эти настройки применяются ко всем разговорам на этом языке, а не только к текущему.

• Попросить перевести сообщит вам, когда обнаружит новый язык на экране. Он не будет запрашивать у вас каждое новое сообщение.
• Автоматически translate переведет любое обнаруженное сообщение на этом языке.
• Больше не переводить отключит язык в Live Translate. Вам нужно будет вернуться на страницу настроек Live Translate, чтобы снова включить его. (К этому также можно получить доступ, коснувшись Дополнительные настройки внизу этого окна

Как использовать Live Translate для аудио

Ваш телефон Pixel 6 автоматически создаст субтитры на английском, французском, немецком, итальянском, японском и испанском языках. Если вы используете Live Captions во время разговора, другой человек будет уведомлен о том, что вы используете эту функцию.

1. Чтобы включить Live Captions, нажмите кнопку Громкость на боковой панели телефона.
2. Нажмите кнопку Live Caption под элементами управления громкостью на экране.

   2 изображения

Если вы хотите выключить Live Captions, нажмите кнопку Live Caption еще раз.

Переводите в режиме реального времени с помощью Live Translate

Несмотря на то, что Live Translate не идеален, это огромный шаг вперед в технологии перевода.