Yapay Zeka İngilizce Konuşurken Aksanımı Anlar mı?

Yapay zeka aksanlarla neden yıllarca zorlandı

Konuşma tanıma aksanlarla her zaman iyi başa çıkamadı. 2010'ların başında sistemler çoğunlukla ana dili İngilizce olan konuşmacıların kayıtlarıyla, üstelik dar bir bölge ve lehçe kümesinden eğitiliyordu. Türkçe veya Vietnamca aksanıyla İngilizce konuşan bir öğrenci söz konusu olduğunda sistemin hata oranı standart bir Amerikan ya da İngiliz sesine kıyasla ikiye, hatta üçe katlanabiliyordu.

Sebep basitti. Bir konuşma modeli sesleri kelimelerle eşleştirerek öğrenir ve yalnızca daha önce duyduğu şeyleri eşleştirebilir. Belirli bir ünlü değişimini ya da farklı bir vurgu düzenini hiç duymamışsa, o sesi bağlayacağı bir şey yoktur. Sonuç, yanlış kelimelerle dolu bir metin ve makinelerin kendisini duyamadığı sonucuna varan bir öğrenci olurdu.

Bu çıkarım o dönem için mantıklıydı, ama artık geçerliliğini yitirdi. Eğitim verisi sorununa aynı anda birkaç koldan saldırıldı ve ana dili İngilizce olanlarla olmayanlar arasındaki tanıma farkı, çoğu öğrencinin fark ettiğinden çok daha hızlı kapandı.

Konuşma tanımada ne değişti

En büyük değişim verinin kendisi. Modern sistemler her kıtadan toplanan milyonlarca saatlik konuşmayla, buna ek olarak büyük miktarda ana dili İngilizce olmayan konuşmayla eğitiliyor. On bin Hintli, Nijeryalı ve Brezilyalı konuşmacıyı duymuş bir model, bir öğrenci "think" kelimesini "tink" diye söylediğinde ya da "hand" kelimesinin son ünsüzünü düşürdüğünde artık şaşırmıyor.

Derin öğrenme, hataların nasıl ele alındığını da değiştirdi. Eski sistemler konuşmayı küçük birimlere bölüp tek tek eşleştiriyordu. Yeni modeller bütün ifadeyi dinleyip en olası cümleyi tahmin ediyor; yani bağlam, tek tük yanlış telaffuz edilen kelimeyi kurtarıyor. "I need to catch the buss" derseniz model çevredeki kelimeleri duyar ve doğru şekilde "bus" yazar, çünkü "buss" o cümlede hiçbir anlam taşımaz.

Bunun pratik sonucu şu: son karşılaştırmalar, ana dili İngilizce olmayan konuşmaların tanınma doğruluğunun büyük ticari sistemlerde artık ana dili seviyesine yakın olduğunu gösteriyor. Bu, her aksanın eşit derecede iyi işlendiği anlamına gelmiyor; ama makinelerin yabancı bir aksanda tamamen çuvalladığı günlerin büyük ölçüde geride kaldığı anlamına geliyor.

Yapay zeka hangi aksanları iyi anlıyor?

Doğruluk her yere eşit dağılmıyor. Eğitim verisinde en sık görünen aksanlar en iyi işleniyor ve bunlar genellikle en kalabalık İngilizce konuşur kitlelerine sahip olanlar. Hint İngilizcesi, Nijerya İngilizcesi, Filipin İngilizcesi ve başlıca Avrupa aksanları iyi temsil ediliyor, çünkü bu topluluklar her gün muazzam miktarda İngilizce konuşma üretiyor.

Daha küçük ya da daha az yaygın aksanlar zayıf nokta. Kendine özgü bir ritmi ve ünlü sistemi olan küçük bir dil topluluğundan gelen bir konuşmacı, model o belirli ses örüntüsünü daha az duyduğu için hâlâ daha fazla hatayla karşılaşabilir. İki ya da üç etkiyi alışılmadık biçimde karıştıran aksanlar için de aynısı geçerli.

Bir de anlama ile puanlama arasındaki fark var. Bir sistem kelimelerinizi kusursuz yazıya dökerken tek tek sesleri yine de yanlış olarak işaretleyebilir, çünkü yazıya dökme ile telaffuz değerlendirmesi iki ayrı iştir. Bu ayrım çoğu öğrencinin fark ettiğinden daha önemli ve ileride tekrar karşımıza çıkacak.

Yapay zeka aksanınızı hâlâ ne zaman yanlış anlıyor

Hâlâ hata üreten üç durum var ve bunları bilmeye değer, çünkü ikisi sizin elinizde.

Birincisi, arka plan gürültüsü. Sessiz bir odada aksanınızı kusursuz işleyen bir model, bir kafede ya da otobüste zorlanacaktır, çünkü gürültü tabanı, bir kelimeyi diğerinden ayıran seslerin tam da üstünü örter. Bu ana dili İngilizce olanlar için de geçerli, ama telaffuz zaten standart dışıysa etki daha büyük oluyor.

İkincisi, hız. Çok hızlı konuştuğunuzda sesler birbirine karışır ve modelin kelime başına düşen bilgisi azalır. Yüzde on, on beş kadar yavaşlamak tanımayı belirgin biçimde iyileştirebilir ve bu, bir insan dinleyicinin gözünde daha az akıcı görünmenize yol açmaz.

Üçüncüsü, belirgin bölgesel özellikler. İngilizceniz ana dilinizden gelen ağır bir bölgesel aksan taşıyorsa bazı ünsüz ve ünlü ayrımları hâlâ kaybolabilir. Bu, aksanınızı silmeniz için bir sebep değil; ama sistemin hangi belirli sesleri yanlış duyduğunu kontrol etmeniz için bir sebep, çünkü bunlar bir insan dinleyicinin de zorlanabileceği seslerdir.

Yapay zeka İngilizce konuşurken aksanımı anlar mı? İşte nasıl test edilir

"Yapay zeka İngilizce konuşurken aksanımı anlar mı" sorusunun en iyi cevabı, doğrudan test etmektir; üstelik basit bir evet ya da hayır yerine işinize yarayacak bilgi verecek şekilde test etmektir. Tutoro gibi bir araç bunu sohbetin içinde yapıyor ve siz konuşurken her kelimeyi puanlıyor; yani cevap genel bir iddiadan değil, kendi konuşmanızdan geliyor.

Ücretsiz dikte ile başlayın. Yaygın kullanılan herhangi bir yazıya dökme aracını açın, iyi bildiğiniz bir konuda bir dakika konuşun ve sonucu okuyun. Hataları sayın. Metin büyük ölçüde doğruysa sistem sizi anlıyor demektir. Değilse hangi kelimelerin yanlış gittiğine bakın, çünkü örüntü size sorunun hangi seslerde olduğunu söyler.

Sonra aynı bir dakikayı gürültülü bir ortamda test edin. Sessiz oda ile gürültülü oda sonuçlarınız arasındaki fark, zorluğun ne kadarının aksanınızdan, ne kadarının ortamdan kaynaklandığını gösterir. Bu yararlı bir ayrım, çünkü biri daha sessiz bir odayla, diğeri pratikle çözülebilir.

Son olarak, yalnızca metin değil geri bildirim de veren bir araç deneyin. Her kelimeyi iyi, orta ya da zayıf diye işaretleyen bir sistem, düz bir metnin veremeyeceği bir şeyi söyler: yalnızca anlaşılıp anlaşılmadığınızı değil, bir dinleyicinin hangi sesleri belirsiz bulabileceğini de. Yapay zeka ile İngilizce konuşma pratiği tam burada gerçekten işe yarıyor, çünkü puanlama kelime kelime ve canlı ilerliyor; yani sistemi hangi hecenin taktığını siz daha onu söylerken görebiliyorsunuz.

Tutoro telaffuz puanlamasını sohbetin içinde çalıştırıyor; yani boş bir kutuya dikte yapmıyorsunuz, siz konuşurken her kelimeyi iyi, orta ya da zayıf diye işaretleyen bir öğretmenle konuşuyorsunuz. Puanlama canlı ve kelime kelime olduğu için soruna hangi sesin yol açtığını görebilir ve hemen tekrar söyleyebilirsiniz. Konuşurken geri bildirim isteyen, sonradan inceleyeceği bir metin istemeyen öğrencilere uygun; yalnızca uzun kayıtların tarafsız metnini istiyorsanız daha az işinize yarar.

Sizi anlamak, adil puanlamak anlamına gelir mi?

İşte çoğu öğrencinin kaçırdığı kısım. Bir makine aksanınızı kusursuz anlayıp telaffuzunuzu yine de sert puanlayabilir, çünkü bunlar farklı hedefleri olan farklı sistemlerdir. Yazıya dökme "bu kişi ne söyledi?" diye sorar; telaffuz puanlaması ise "her ses bir referans telaffuza ne kadar yakındı?" diye sorar.

Bu önemli, çünkü düşük telaffuz puanı alan bir öğrenci yanlışlıkla yapay zekanın kendisini anlamadığı sonucuna varabilir. Oysa çoğu zaman tam tersi doğrudur: sistem her kelimeyi anlamıştır ve şimdi size her sesin bir hedeften ne kadar uzak olduğunu söylüyordur. Bu bir geri bildirimdir, reddedilme değil; ve gelişmeniz için tam da ihtiyacınız olan bilgidir.

O hâlde adil soru, yapay zekanın aksanınızı anlayıp anlamadığı değil. Aldığınız geri bildirimin aksanınızı silinmesi gereken bir sorun olarak mı, yoksa keskinleştirilmesi gereken belirli sesler kümesi olarak mı gördüğüdür. En iyi araçlar bu ayrımı netleştirir ve size neyi düzelteceğiniz konusunda hiçbir şey söylemeyen tek bir genel puan yerine tek tek kelimeleri işaretler.

İkinci dil öğrencileri için otomatik telaffuz değerlendirmesi üzerine araştırmalar, kelime düzeyinde geri bildirimin öğrencilerin tek bir genel puandan daha çok gelişmesine yardımcı olduğunu gösteriyor, çünkü tam olarak üzerinde çalışılması gereken sesi işaret ediyor. "ship" ve "sheep" kelimelerinin sorun olduğunu bilen bir öğrenci bu çifti çalışabilir; "telaffuzun yüzde 62" denilen bir öğrenci ise ancak tahmin edebilir.

İşte sorunun gerçek cevabı bu. Modern yapay zeka çoğu aksanı yazıya dökebilecek kadar iyi anlıyor ve işe yarayan sistemler bir adım daha atıp bir dinleyicinin hangi sesleri belirsiz bulabileceğini söylüyor. Aksanınız bir makinenin sizi anlamasına engel değil. Size kelime kelime veren bir araç kullanırsanız, aksanınız somut ve uygulanabilir geri bildirim kaynağıdır.

Bu bilgiyle ne yapmalısınız?

Makine beni duyabiliyor mu diye sormayı bırakın, çünkü cevap neredeyse her zaman evet. Bunun yerine hangi sesleri işaretlediğini ve bir insan dinleyicinin de aynı sesleri işaretleyip işaretlemeyeceğini sormaya başlayın. Bu iki listenin kesiştiği yer, pratik zamanınızın ait olduğu yerdir.

Sistemin zayıf işaretlediği bir ses çifti seçin ve onu tek başına değil gerçek cümleler içinde çalışın. Sistem "th" sesinizi zayıf işaretliyorsa "I think this is the thing" cümlesini on kez söyleyin ve puanın nasıl hareket ettiğini izleyin. Son ünsüzlerinizi işaretliyorsa kısa bir paragraf okuyun ve yalnızca kelimelerin sonlarına odaklanın. Amaç kusursuz bir puan değil, belirli bir sesin netleştiğine dair açık bir sinyal.

Aksanınız İngilizce konuşma biçiminizin bir parçası ve anlaşılmanız için ortadan kaybolması gerekmiyor. Olması gereken şey, dinleyicileri gerçekten şaşırtan belirli seslerin keskinleşmesi; geri kalanı olduğu gibi kalabilir. Yapay zeka artık bunların hangi sesler olduğunu size söyleyecek kadar iyi, ki bu basit bir evet ya da hayırdan çok daha yararlı bir cevap.