Czy AI rozumie mój akcent, gdy mówię po angielsku?

Dlaczego AI przez lata miała problem z akcentami

Rozpoznawanie mowy nie zawsze radziło sobie z akcentami. Na początku lat 2010 systemy trenowano głównie na nagraniach rodzimych użytkowników, często z wąskiego zestawu regionów i dialektów. Kiedy uczący się z polskim akcentem mówił po angielsku, wskaźnik błędów systemu mógł się podwoić lub potroić w porównaniu ze standardowym głosem amerykańskim czy brytyjskim.

Powód był prosty. Model mowy uczy się, dopasowując dźwięki do słów, a dopasować potrafi tylko to, co już słyszał. Jeśli nigdy nie słyszał konkretnej zamiany samogłoski czy innego wzorca akcentu wyrazowego, nie miał na co zmapować dźwięku. Efektem była transkrypcja pełna błędnych słów i uczący się, który dochodził do wniosku, że maszyny po prostu nie potrafią go usłyszeć.

Ten wniosek był wtedy rozsądny, ale mocno się zestarzał. Problem danych treningowych zaatakowano z kilku stron naraz, a różnica między rozpoznawaniem mowy rodzimej i nierodzimej zmniejszyła się szybciej, niż większość uczących się zdaje sobie sprawę.

Co się zmieniło w rozpoznawaniu mowy

Największa zmiana dotyczy samych danych. Nowoczesne systemy są trenowane na milionach godzin mowy zebranej ze wszystkich kontynentów, w tym na ogromnych ilościach angielskiego nierodzimych użytkowników. Model, który słyszał dziesięć tysięcy osób mówiących po angielsku z akcentem hinduskim, nigeryjskim czy brazylijskim, nie jest już zaskoczony, gdy uczący się wymawia "think" jak "tink" albo gubi końcową spółgłoskę w "hand".

Uczenie głębokie zmieniło też sposób radzenia sobie z błędami. Starsze systemy dzieliły mowę na małe jednostki i dopasowywały je jedna po drugiej. Nowsze modele słuchają całej frazy i przewidują najbardziej prawdopodobne zdanie, co oznacza, że kontekst ratuje pojedyncze źle wymówione słowo. Jeśli powiesz "I need to catch the buss", model słyszy otaczające słowa i poprawnie zapisuje "bus", bo "buss" nie ma sensu w tym zdaniu.

Praktyczny wniosek jest taki, że najnowsze testy porównawcze pokazują, że dokładność rozpoznawania angielskiego nierodzimych użytkowników jest teraz bliska poziomowi rodzimemu w głównych systemach komercyjnych. Nie znaczy to, że każdy akcent jest obsługiwany równie dobrze, ale znaczy, że czasy, gdy maszyny po prostu zawodziły przy obcym akcencie, w dużej mierze się skończyły.

Które akcenty AI obsługuje dobrze?

Dokładność nie rozkłada się równomiernie. Najlepiej radzą sobie akcenty, które najczęściej pojawiają się w danych treningowych, a to zwykle te z największą liczbą osób mówiących po angielsku. Angielski hinduski, nigeryjski, filipiński i główne akcenty europejskie są dobrze reprezentowane, bo te populacje codziennie produkują ogromne ilości angielskiej mowy.

Słabszym punktem są akcenty mniejsze lub rzadsze. Osoba z mniejszej społeczności językowej o charakterystycznym rytmie i systemie samogłosek może wciąż napotykać więcej błędów, po prostu dlatego, że model słyszał mniej przykładów tego konkretnego wzorca dźwiękowego. To samo dotyczy akcentów, które w nietypowy sposób mieszają dwa lub trzy wpływy.

Istnieje też różnica między rozumieniem a ocenianiem. System może bezbłędnie transkrybować twoje słowa, a mimo to oznaczać pojedyncze dźwięki jako niepoprawne, bo transkrypcja i ocena wymowy to dwa różne zadania. To rozróżnienie ma większe znaczenie, niż większość uczących się zdaje sobie sprawę, i wróci jeszcze później.

Kiedy AI wciąż myli twój akcent

Trzy sytuacje wciąż powodują błędy i warto je znać, bo dwie z nich są pod twoją kontrolą.

Po pierwsze, hałas w tle. Model, który radzi sobie z twoim akcentem idealnie w cichym pokoju, będzie miał problem w kawiarni czy autobusie, bo szum tła zagłusza właśnie te dźwięki, które odróżniają jedno słowo od drugiego. Dotyczy to także rodzimych użytkowników, ale efekt jest większy, gdy wymowa i tak już odbiega od standardu.

Po drugie, tempo. Kiedy mówisz bardzo szybko, dźwięki się zlewają i model ma mniej informacji na słowo. Zwolnienie choćby o dziesięć czy piętnaście procent może wyraźnie poprawić rozpoznawanie, a nie sprawia, że brzmisz mniej płynnie dla ludzkiego słuchacza.

Po trzecie, silne cechy regionalne. Jeśli twój angielski nosi mocny ślad polskiej wymowy, niektóre różnice między spółgłoskami i samogłoskami mogą wciąż ginąć. To nie powód, by wymazywać swój akcent, ale powód, by sprawdzić, które konkretne dźwięki system słyszy błędnie, bo z nimi może mieć problem także ludzki słuchacz.

Czy AI rozumie mój akcent, gdy mówię po angielsku? Oto jak to sprawdzić

Najlepszym sposobem, by odpowiedzieć na pytanie "czy AI rozumie mój akcent, gdy mówię po angielsku", jest sprawdzić to bezpośrednio, i to w sposób, który daje ci użyteczną informację, a nie proste tak albo nie. Narzędzie takie jak Tutoro robi to w trakcie rozmowy, oceniając każde słowo, gdy je wypowiadasz, więc odpowiedź pochodzi z twojej własnej mowy, a nie z ogólnego twierdzenia.

Zacznij od darmowego dyktowania. Otwórz dowolne popularne narzędzie do transkrypcji, mów przez minutę na temat, który dobrze znasz, i przeczytaj wynik. Policz błędy. Jeśli transkrypcja jest w większości poprawna, system cię rozumie. Jeśli nie, przyjrzyj się, które słowa poszły źle, bo wzorzec podpowie ci, które dźwięki są problemem.

Potem przetestuj tę samą minutę w hałaśliwym otoczeniu. Różnica między wynikiem w cichym pokoju a wynikiem w hałasie pokazuje, ile trudności wynika z twojego akcentu, a ile ze środowiska. To użyteczne rozróżnienie, bo jedno da się naprawić cichszym pokojem, a drugie ćwiczeniem.

Na koniec wypróbuj narzędzie, które daje informację zwrotną, a nie tylko transkrypcję. System, który oznacza każde słowo jako dobre, przeciętne lub słabe, mówi ci coś, czego zwykła transkrypcja nie potrafi: nie tylko, czy zostałeś zrozumiany, ale które dźwięki słuchacz może uznać za niewyraźne. Tu właśnie praktyka mówienia po angielsku z AI staje się naprawdę przydatna, bo ocena jest liczona dla każdego słowa i na żywo, więc widzisz dokładnie, która sylaba sprawiła systemowi kłopot, jeszcze gdy ją wypowiadasz.

Tutoro prowadzi ocenę wymowy w trakcie rozmowy, więc nie dyktujesz do pustego pola, ale rozmawiasz z tutorem, który oznacza każde słowo jako dobre, przeciętne lub słabe, gdy je wypowiadasz. Ponieważ ocena jest na żywo i słowo po słowie, widzisz, który dźwięk sprawił problem, i możesz od razu powtórzyć. To rozwiązanie dla uczących się, którzy chcą informacji zwrotnej w trakcie mówienia, a nie transkrypcji do analizy później, i jest mniej przydatne, jeśli potrzebujesz jedynie neutralnej transkrypcji długich nagrań.

Czy rozumienie cię oznacza sprawiedliwą ocenę?

Oto część, którą większość uczących się pomija. Maszyna może rozumieć twój akcent doskonale, a mimo to surowo oceniać twoją wymowę, bo to różne systemy o różnych celach. Transkrypcja pyta "co ta osoba powiedziała?", a ocena wymowy pyta "jak blisko każdego dźwięku do wymowy wzorcowej?".

Ma to znaczenie, bo uczący się, który dostaje niską ocenę wymowy, może błędnie wywnioskować, że AI go nie rozumie. W rzeczywistości często jest odwrotnie: system zrozumiał każde słowo i teraz mówi ci, jak daleko każdy dźwięk jest od wzorca. To informacja zwrotna, nie odrzucenie, i dokładnie ta wiedza, której potrzebujesz, by się poprawić.

Sprawiedliwe pytanie brzmi więc nie, czy AI rozumie twój akcent, ale czy otrzymywana informacja zwrotna traktuje twój akcent jako problem do wymazania, czy jako zestaw konkretnych dźwięków do wyostrzenia. Najlepsze narzędzia jasno to rozróżniają, oznaczając pojedyncze słowa, a nie dając jedną ogólną ocenę, która nic nie mówi o tym, co poprawić.

Badania nad automatyczną oceną wymowy u uczących się drugiego języka pokazują, że informacja zwrotna na poziomie słowa pomaga uczącym się bardziej niż jedna globalna ocena, bo wskazuje dokładnie ten dźwięk, nad którym trzeba popracować. Uczący się, który wie, że problemem są "ship" i "sheep", może ćwiczyć tę parę; ten, któremu mówi się "twoja wymowa to 62%", może tylko zgadywać.

To jest prawdziwa odpowiedź na to pytanie. Nowoczesna AI rozumie większość akcentów wystarczająco dobrze, by je transkrybować, a użyteczne systemy idą dalej i mówią ci, które dźwięki słuchacz może uznać za niewyraźne. Twój akcent nie jest barierą w byciu zrozumianym przez maszynę. Jest źródłem konkretnej, możliwej do wykorzystania informacji zwrotnej, jeśli używasz narzędzia, które daje ją słowo po słowie.

Co zrobić z tą wiedzą?

Przestań pytać, czy maszyna cię słyszy, bo odpowiedź brzmi niemal zawsze: tak. Zacznij pytać, które dźwięki oznacza jako problematyczne i czy ludzki słuchacz wskazałby te same. Część wspólna tych dwóch list to miejsce, w którym należy spędzać czas na ćwiczeniach.

Wybierz jedną parę dźwięków, którą system oznacza jako słabą, i ćwicz ją w prawdziwych zdaniach, a nie w izolacji. Jeśli system oznacza twoje "th" jako słabe, powiedz dziesięć razy "I think this is the thing" i obserwuj, jak ocena się zmienia. Jeśli oznacza twoje końcowe spółgłoski, przeczytaj krótki akapit i skup się tylko na końcówkach słów. Celem nie jest idealna ocena, ale wyraźny sygnał, że konkretny dźwięk stał się wyraźniejszy.

Twój akcent jest częścią tego, jak mówisz po angielsku, i nie musi zniknąć, byś był zrozumiały. Potrzebne jest to, by konkretne dźwięki, które naprawdę mylą słuchaczy, zostały wyostrzone, a reszta może zostać dokładnie taka, jaka jest. AI jest teraz wystarczająco dobra, by powiedzieć ci, które to dźwięki, co jest znacznie bardziej użyteczną odpowiedzią niż proste tak albo nie.