Érti a mesterséges intelligencia az angol kiejtésem, amikor angolul beszélek?

Miért küszködött a mesterséges intelligencia évekig az akcentusokkal

A beszédfelismerés nem mindig boldogult jól az akcentusokkal. A 2010-es évek elején a rendszereket többnyire anyanyelvi beszélők felvételein tanították, gyakran szűk régiók és dialektusok köréből. Amikor egy török vagy vietnámi akcentusú nyelvtanuló angolul beszélt, a rendszer hibarátája a kétszeresére vagy háromszorosára nőhetett egy szabványos amerikai vagy brit hanghoz képest.

Az ok egyszerű volt. A beszédmodell úgy tanul, hogy hangokat párosít szavakhoz, és csak azt tudja párosítani, amit korábban hallott. Ha soha nem hallott egy adott magánhangzó-helyettesítést vagy egy eltérő hangsúlymintát, nem volt mihez hozzárendelnie a hangot. Az eredmény csupa rossz szóval teli átirat lett, a nyelvtanuló pedig arra a következtetésre jutott, hogy a gépek egyszerűen nem hallják meg őt.

Ez a következtetés akkor észszerű volt, de azóta nagyon megöregedett. A tanítóadat problémáját egyszerre több irányból támadták meg, és az anyanyelvi és nem anyanyelvi felismerés közötti szakadék gyorsabban bezárult, mint ahogy a legtöbb nyelvtanuló észleli.

Mi változott meg a beszédfelismerésben

A legnagyobb változás maga az adat. A modern rendszereket több millió órányi, minden kontinensről gyűjtött beszéden tanítják, köztük nagy mennyiségű nem anyanyelvi angolon. Egy modell, amely tízezer indiai, nigériai és brazil beszélőt hallott már, nem lepődik meg azon, ha egy nyelvtanuló a "think" szót "tink"-nek ejti, vagy elhagyja a "hand" szó végi mássalhangzóját.

A gyakorlati eredmény az, hogy a friss mérések szerint a nem anyanyelvi angol felismerésének pontossága mára a nagy kereskedelmi rendszereknél megközelíti az anyanyelvi szintet. Ez nem jelenti azt, hogy minden akcentust egyformán kezelnek, de azt igen, hogy a gépek külföldi akcentuson való egyszerű kudarcának korszaka nagyrészt lejárt.

Mely akcentusokat kezeli jól a mesterséges intelligencia?

A pontosság nem egyenletesen oszlik el. Azokat az akcentusokat kezelik a legjobban, amelyek a leggyakrabban fordulnak elő a tanítóadatban, és ezek jellemzően a legtöbb angol beszélővel rendelkező csoportok. Az indiai angol, a nigériai angol, a Fülöp-szigeteki angol és a főbb európai akcentusok mind jól képviseltek, mert ezek a népességek naponta hatalmas mennyiségű angol beszédet állítanak elő.

A kisebb vagy ritkább akcentusok jelentik a gyenge pontot. Egy kisebb nyelvi közösségből származó beszélő, amelynek jellegzetes ritmusa és magánhangzórendszere van, még mindig több hibába futhat, egyszerűen azért, mert a modell kevesebb példát hallott erről a konkrét hangmintáról. Ugyanez igaz azokra az akcentusokra, amelyek két vagy három hatást szokatlan módon kevernek.

Különbség van a megértés és a pontozás között is. Egy rendszer tökéletesen átírhatja a szavaidat, miközben az egyes hangokat hibásnak jelöli, mert az átírás és a kiejtésértékelés két különböző feladat. Ez a megkülönböztetés fontosabb, mint ahogy a legtöbb nyelvtanuló gondolja, és később még visszatérünk rá.

Amikor a mesterséges intelligencia még mindig elrontja az akcentusodat

Három helyzet még mindig hibákat okoz, és érdemes ismerni őket, mert közülük kettő a te irányításod alatt áll.

Először is a háttérzaj. Egy modell, amely csendes szobában tökéletesen kezeli az akcentusodat, küszködni fog egy kávézóban vagy buszon, mert a zajszint elnyeli éppen azokat a hangokat, amelyek megkülönböztetik az egyik szót a másiktól. Ez az anyanyelvi beszélőkre is igaz, de a hatás nagyobb, amikor a kiejtés már eleve nem szabványos.

Másodszor a sebesség. Amikor nagyon gyorsan beszélsz, a hangok összemosódnak, és a modellnek kevesebb információja van szavanként. Ha akár csak tíz-tizenöt százalékkal lelassítasz, az észrevehetően javíthatja a felismerést, és emberi hallgató számára nem tűnsz kevésbé folyékonyabbnak.

Harmadszor az erős regionális jegyek. Ha az angolod erős regionális akcentust hordoz az anyanyelvedből, néhány mássalhangzó- és magánhangzó-megkülönböztetés még mindig elveszhet. Ez nem ok arra, hogy eltüntesd az akcentusodat, de ok arra, hogy megnézd, mely konkrét hangokat hallja félre a rendszer, mert ezek azok a hangok, amelyekkel egy emberi hallgató is küszködhet.

Érti a mesterséges intelligencia az angol kiejtésem, amikor angolul beszélek? Így tesztelheted

A legjobb módja annak, hogy megválaszold a kérdést, hogy érti-e a mesterséges intelligencia az angol kiejtésem, ha közvetlenül teszteled, méghozzá úgy, hogy hasznos információt kapj, ne csak egy egyszerű igent vagy nemet. Egy olyan eszköz, mint a Tutoro, ezt a beszélgetésen belül teszi, minden szót pontoz, ahogy kimondod, így a válasz a saját beszédedből származik, nem egy általános állításból.

Kezdd ingyenes diktálással. Nyiss meg bármelyik széles körben használt átíró eszközt, beszélj egy percig egy számodra jól ismert témáról, és olvasd el az eredményt. Számold meg a hibákat. Ha az átirat nagyrészt helyes, a rendszer megért téged. Ha nem, nézd meg, mely szavak sikerültek rosszul, mert a minta megmutatja, mely hangok okozzák a problémát.

Ezután teszteld ugyanazt a percet zajos környezetben. A csendes szobában és a zajos szobában kapott eredmények közötti különbség megmutatja, hogy a nehézség mennyije az akcentusod és mennyije a környezet. Ez hasznos megkülönböztetés, mert az egyik egy csendesebb szobával orvosolható, a másik pedig gyakorlással.

Végül próbálj ki egy olyan eszközt, amely visszajelzést ad, nem csak átiratot. Egy rendszer, amely minden szót jó, közepes vagy gyenge jelöléssel lát el, olyasmit mond el, amit egy sima átirat nem tud: nem csak azt, hogy megértettek-e, hanem azt is, hogy mely hangokat találhat egy hallgató tisztázatlannak. Itt válik igazán hasznossá az angol beszédgyakorlás mesterséges intelligenciával, mert a pontozás szavanként és élőben történik, így pontosan láthatod, melyik szótag akasztotta meg a rendszert, miközben még mindig mondod.

A Tutoro a beszélgetésen belül futtatja a kiejtéspontozást, így nem egy üres dobozba diktálsz, hanem egy tutorral beszélsz, aki minden szót jó, közepes vagy gyenge jelöléssel lát el, ahogy kimondod. Mivel a pontozás élő és szavankénti, láthatod, melyik hang okozta a problémát, és azonnal megismételheted. Azoknak a nyelvtanulóknak való, akik beszéd közben szeretnének visszajelzést, nem pedig egy utólag elemezhető átiratot, és kevésbé hasznos, ha csak hosszú felvételek semleges átiratát szeretnéd.

Azt jelenti a megértés, hogy tisztességesen pontoz?

Itt jön az a rész, amelyet a legtöbb nyelvtanuló kihagy. Egy gép tökéletesen megértheti az akcentusodat, és mégis szigorúan pontozhatja a kiejtésedet, mert ezek különböző rendszerek, különböző célokkal. Az átírás azt kérdezi: "mit mondott ez a személy?", a kiejtéspontozás pedig azt: "mennyire volt közel az egyes hangok egy referencia-kiejtéshez?"

Ez azért fontos, mert egy nyelvtanuló, aki alacsony kiejtéspontszámot kap, tévesen arra a következtetésre juthat, hogy a mesterséges intelligencia nem érti meg őt. Valójában gyakran az ellenkezője igaz: a rendszer minden szót megértett, és most azt mondja el, hogy az egyes hangok milyen messze vannak a céltól. Ez visszajelzés, nem elutasítás, és pontosan az az információ, amelyre a fejlődéshez szükséged van.

A tisztességes kérdés tehát nem az, hogy a mesterséges intelligencia érti-e az akcentusodat. Hanem az, hogy a kapott visszajelzés az akcentusodat eltüntetendő problémaként kezeli-e, vagy olyan konkrét hangok halmazaként, amelyeket élesíteni kell. A legjobb eszközök világossá teszik ezt a különbséget, az egyes szavakat jelölik, ahelyett hogy egyetlen átfogó pontszámot adnának, amely semmit sem mond arról, mit kell javítani.

A második nyelvtanulók automatikus kiejtésértékeléséről szóló kutatások szerint a szavankénti visszajelzés jobban segíti a nyelvtanulókat, mint egyetlen globális pontszám, mert pontosan arra a hangra mutat rá, amelyen dolgozni kell. Az a nyelvtanuló, aki tudja, hogy a "ship" és a "sheep" a probléma, azt a párt tudja gyakorolni; az, akinek azt mondják, "a kiejtésed 62%", csak találgathat.

Ez a valódi válasz a kérdésre. A modern mesterséges intelligencia a legtöbb akcentust elég jól érti ahhoz, hogy átírja őket, a hasznos rendszerek pedig továbbmennek, és megmondják, mely hangokat találhat egy hallgató tisztázatlannak. Az akcentusod nem akadálya annak, hogy egy gép megértsen. Ez konkrét, hasznosítható visszajelzések forrása, ha olyan eszközt használsz, amely szavanként adja meg őket.

Mit kezdj ezzel az információval?

Ne azt kérdezd tovább, hogy a gép hall-e téged, mert a válasz szinte mindig igen. Kezdd azt kérdezni, mely hangokat jelöli meg, és hogy egy emberi hallgató ugyanezeket jelölné-e meg. A két lista közötti átfedés az, ahová a gyakorlásra szánt időd tartozik.

Válassz ki egy hangpárt, amelyet a rendszer gyengének jelöl, és valódi mondatokban gyakorold, ne elszigetelten. Ha a rendszer a "th" hangodat jelöli gyengének, mondd ki tízszer, hogy "I think this is the thing", és figyeld, hogyan mozdul a pontszám. Ha a szó végi mássalhangzóidat jelöli, olvass el egy rövid bekezdést, és csak a szavak végére összpontosíts. A cél nem a tökéletes pontszám, hanem egy világos jelzés, hogy egy konkrét hang tisztább lett.

Az akcentusod része annak, ahogy angolul beszélsz, és nem kell eltűnnie ahhoz, hogy megértsenek. Amire szükség van, az az, hogy azok a konkrét hangok, amelyek valóban összezavarják a hallgatókat, élesebbé váljanak, a többi pedig pontosan úgy maradhat, ahogy van. A mesterséges intelligencia ma már elég jó ahhoz, hogy megmondja, mely hangok ezek, ami sokkal hasznosabb válasz, mint egy egyszerű igen vagy nem.