Понимает ли ИИ мой акцент, когда я говорю по-английски?

Почему ИИ годами не справлялся с акцентами

Распознавание речи не всегда хорошо справлялось с акцентами. В начале 2010-х системы обучали в основном на записях носителей языка, часто из узкого набора регионов и диалектов. Когда учащийся с турецким или вьетнамским акцентом говорил по-английски, частота ошибок системы могла вырасти вдвое или втрое по сравнению со стандартным американским или британским голосом.

Причина была простой. Речевая модель учится, сопоставляя звуки со словами, и может сопоставить только то, что слышала раньше. Если она никогда не слышала определённую замену гласной или иной ритм ударений, ей было не с чем соотнести звук. В результате получалась расшифровка, полная неверных слов, а учащийся делал вывод, что машины просто не слышат его.

В то время этот вывод был разумным, но он плохо состарился. Проблему обучающих данных атаковали сразу с нескольких сторон, и разрыв между распознаванием речи носителей и неносителей сократился быстрее, чем осознаёт большинство учащихся.

Что изменилось в распознавании речи

Самое большое изменение, это сами данные. Современные системы обучены на миллионах часов речи, собранной со всех континентов, включая огромные объёмы английского от неносителей. Модель, которая слышала десять тысяч индийских, нигерийских и бразильских говорящих, больше не удивляется, когда учащийся произносит «think» как «tink» или проглатывает конечный согласный в «hand».

Глубокое обучение также изменило подход к ошибкам. Старые системы разбивали речь на мелкие единицы и сопоставляли их по одной. Новые модели слушают всю фразу и предсказывают наиболее вероятное предложение, поэтому контекст спасает случайное неверно произнесённое слово. Если вы скажете «I need to catch the buss», модель услышит окружающие слова и правильно напишет «bus», потому что «buss» в этом предложении не имеет смысла.

Практический итог: недавние тесты показывают, что точность распознавания английской речи неносителей теперь близка к уровню носителей у основных коммерческих систем. Это не значит, что со всеми акцентами обращаются одинаково, но это значит, что времена, когда машины просто отказывали на иностранном акценте, в основном прошли.

С какими акцентами ИИ справляется хорошо?

Точность распределена неравномерно. Лучше всего обрабатываются акценты, которые чаще всего встречаются в обучающих данных, а это, как правило, акценты с наибольшим числом говорящих на английском. Индийский английский, нигерийский английский, филиппинский английский и основные европейские акценты хорошо представлены, потому что эти группы ежедневно производят огромные объёмы английской речи.

Слабое место, это небольшие или менее распространённые акценты. Говорящий из небольшого языкового сообщества с характерным ритмом и системой гласных может всё ещё получать больше ошибок просто потому, что модель слышала меньше примеров этого конкретного звукового рисунка. То же самое касается акцентов, которые необычным образом смешивают два или три влияния.

Есть также разница между пониманием и оценкой. Система может идеально расшифровать ваши слова и при этом пометить отдельные звуки как неправильные, потому что расшифровка и оценка произношения, это две разные задачи. Это различие важнее, чем осознаёт большинство учащихся, и мы вернёмся к нему позже.

Когда ИИ всё ещё ошибается в вашем акценте

Три ситуации всё ещё порождают ошибки, и о них стоит знать, потому что две из них под вашим контролем.

Во-первых, фоновый шум. Модель, которая идеально справляется с вашим акцентом в тихой комнате, будет испытывать трудности в кафе или автобусе, потому что шумовой фон заглушает именно те звуки, которые отличают одно слово от другого. Это верно и для носителей, но эффект сильнее, когда произношение и без того нестандартное.

Во-вторых, скорость. Когда вы говорите очень быстро, звуки сливаются, и у модели меньше информации на каждое слово. Замедление даже на десять или пятнадцать процентов может заметно улучшить распознавание, и для человеческого слушателя вы не станете звучать менее бегло.

В-третьих, сильные региональные черты. Если ваш английский несёт тяжёлый региональный акцент из вашего первого языка, некоторые различия согласных и гласных могут всё ещё теряться. Это не повод стирать акцент, но это повод проверить, какие именно звуки система слышит неверно, потому что с этими же звуками может испытывать трудности и человек.

Понимает ли ИИ мой акцент в английском? Вот как это проверить

Лучший способ ответить на вопрос «понимает ли ИИ мой акцент в английском», это проверить это напрямую и так, чтобы получить полезную информацию, а не простое да или нет. Такой инструмент, как Tutoro, делает это внутри разговора, оценивая каждое слово по мере того, как вы его произносите, поэтому ответ исходит из вашей собственной речи, а не из общего утверждения.

Начните с бесплатной диктовки. Откройте любой распространённый инструмент расшифровки, говорите минуту на тему, которую хорошо знаете, и прочитайте результат. Посчитайте ошибки. Если расшифровка в основном верна, система вас понимает. Если нет, посмотрите, какие слова пошли не так, потому что закономерность подскажет, какие звуки создают проблему.

Затем проверьте ту же минуту в шумной обстановке. Разница между результатами в тихой комнате и в шумной показывает, сколько трудности создаёт ваш акцент, а сколько, окружение. Это полезное различие, потому что одно исправляется более тихой комнатой, а другое, практикой.

Наконец, попробуйте инструмент, который даёт обратную связь, а не только расшифровку. Система, которая помечает каждое слово как хорошее, среднее или плохое, сообщает то, чего не может простая расшифровка: не только то, поняли ли вас, но и то, какие звуки слушатель может счесть неясными. Именно здесь практика английской речи с ИИ становится по-настоящему полезной, потому что оценка идёт по каждому слову и в реальном времени, так что вы видите, какой именно слог сбил систему, пока ещё его произносите.

Tutoro запускает оценку произношения прямо внутри разговора, так что вы не диктуете в пустое поле, а говорите с репетитором, который помечает каждое слово как хорошее, среднее или плохое по мере того, как вы его произносите. Поскольку оценка идёт в реальном времени и по словам, вы видите, какой звук вызвал проблему, и можете сразу повторить его. Это подходит учащимся, которые хотят получать обратную связь во время речи, а не анализировать расшифровку после, и менее полезно, если вам нужна только нейтральная транскрипция длинных записей.

Значит ли «понимает» «оценивает справедливо»?

Вот часть, которую упускает большинство учащихся. Машина может идеально понимать ваш акцент и при этом строго оценивать ваше произношение, потому что это разные системы с разными целями. Расшифровка спрашивает: «что сказал этот человек?», а оценка произношения спрашивает: «насколько каждый звук близок к эталонному произношению?»

Это важно, потому что учащийся с низкой оценкой произношения может ошибочно заключить, что ИИ не понимает его. На самом деле часто верно обратное: система поняла каждое слово и теперь сообщает вам, насколько каждый звук далёк от цели. Это обратная связь, а не отказ, и это именно та информация, которая нужна вам для улучшения.

Справедливый вопрос, следовательно, не в том, понимает ли ИИ ваш акцент. Он в том, рассматривает ли полученная вами обратная связь ваш акцент как проблему, которую нужно стереть, или как набор конкретных звуков, которые нужно отточить. Лучшие инструменты ясно проводят это различие, помечая отдельные слова, а не выдавая одну общую оценку, которая ничего не говорит о том, что исправлять.

Исследование автоматической оценки произношения для изучающих второй язык показывает, что обратная связь на уровне слов помогает учащимся улучшаться больше, чем одна глобальная оценка, потому что она указывает на конкретный звук, над которым нужно работать. Учащийся, который знает, что проблема в паре «ship» и «sheep», может отработать эту пару; учащийся, которому сказали «ваше произношение на 62%», может только догадываться.

Вот настоящий ответ на вопрос. Современный ИИ понимает большинство акцентов достаточно хорошо, чтобы расшифровывать их, а полезные системы идут дальше и говорят вам, какие звуки слушатель может счесть неясными. Ваш акцент не барьер для того, чтобы машина вас понимала. Это источник конкретной, применимой обратной связи, если вы пользуетесь инструментом, который даёт её слово за словом.

Что делать с этой информацией?

Перестаньте спрашивать, слышит ли вас машина, потому что ответ почти всегда да. Начните спрашивать, какие звуки она помечает и пометил бы их человек. Пересечение этих двух списков, это и есть место, куда стоит вкладывать время практики.

Выберите одну пару звуков, которую система помечает как плохую, и отрабатывайте её в настоящих предложениях, а не в изоляции. Если система помечает ваш «th» как плохой, скажите «I think this is the thing» десять раз и следите, как движется оценка. Если она помечает конечные согласные, прочитайте короткий абзац и сосредоточьтесь только на концах слов. Цель не идеальная оценка, а ясный сигнал, что конкретный звук стал чище.

Ваш акцент, это часть того, как вы говорите по-английски, и ему не нужно исчезать, чтобы вас понимали. Нужно, чтобы конкретные звуки, которые действительно сбивают слушателей, стали чётче, а остальное может остаться точно таким, как есть. ИИ теперь достаточно хорош, чтобы сказать вам, какие это звуки, а это куда более полезный ответ, чем простое да или нет.