Makine duymayı nasıl öğrendi: ikinci yazının ses eşlikçisi

Serinin ikinci yazısı ana-yurt.com’da çıktı — kulaklar üzerine: Kırım Tatarcası konuşma tanıma, yani bilgisayarın dinleyip duyduğunu yazıya dökmesi. Bu sayfa onun eşlikçisi: yazıdaki transkripsiyonların aynısı burada satır satır dizili, böylece farkı söze inanarak değil gözünüzle görerek anlayabilirsiniz.

Her şey utandırıcı bir sayıyla başladı. Projenin elinde dilimizde ince ayar yapılmış büyük bir tanıma modeli zaten vardı, kullanılıyordu da — ama ona bir kez olsun dürüst bir sınav verilmemişti. Bu aşamada yaptığım ilk şey bir şeyleri iyileştirmek değil, sınavı kurmak oldu: baştan sona iki kitap, modelin hiç duymadığı iki okuyucu, 893 parça, 1 saat 52 dakika. Sonuç: kelimelerin %34,6’sı yanlış, her üç kelimeden biri ıska. Ve daha hiçbir şey çalıştırmadan önce eğitim malzemesiyle sınav malzemesini dosya adlarına göre değil metne göre karşılaştırdım — ve dört sesli kitabın, iki ayrı programla, birbiriyle hiç ilgisi olmayan adlar altında kesilmiş hâlde elimde iki kez durduğunu buldum. Modeli üzerinde sınamaya hazırlandığım kitabın parçalarının %96,9’unun eğitim kümesinde bir ikizi vardı (672’de 651). Dosya adlarına bakıldığında tek bir örtüşme bile yoktu.

Sonrası en hızlı ve en sıkıcı kısım. Ana modele dokunulmuyor, yanına küçük bir «ek» yazılıyor — bütün parametrelerin %2’si. Tek bir ev bilgisayarı ekran kartında bir buçuk saat; ek 126 megabayt ağırlığında, bir mesajlaşma uygulamasından gönderilebilir. Sınavda: %34,6 yerine %20,1. Sonra hatalar bir kez daha azaldı — hiç eğitim olmadan, yalnızca modelin cevap verirken kelimeleri nasıl seçtiğini ayarlayarak: %17,0, üstelik tek bir ağırlık bile değişmeden.

Bu kazancın yarısı 893 parçanın üçünden geldi. Model onları «duyamadığı» için değil, onlara takılıp kaldığı için: yanlış yola sapan açgözlü kod çözme artık kendini düzeltemiyor ve daire çizmeye başlıyor — – dedi Akimoviç, – dedi Akimoviç, … diye uzunluk sınırına dayanana kadar. Üç parça, malzemenin %0,34’ü, toplam kazancın %39’unu verdi; kalan 890 parça ise numarasız, düzgün bir biçimde iyileşti. Aşağıda ikisi de görünüyor. Bir hikâye daha var: takılıp kalmaya karşı işe yaraması gereken, ama canlı bir Kırım Tatarcası tekrarını bozan bir ayar. Son olarak, %17’lik sayı stüdyo sessizliğinde ölçüldü: arka plandaki başka bir konuşma, gerekenle aynı yükseklikte duyulduğunda hata oranı %69’a çıkıyor — model çalışmayı bırakıyor. Sonraki aşamanın asıl işi «daha çok veri» değil, bu.

Örnekler

Üç parça ve üç ayrı ses. Bu parçaların hiçbiri eğitim malzemesinde yoktu: bu, dosya adlarına göre değil, eğitim listelerine göre parça parça denetlendi. Bütün transkripsiyonlar gerçek çalıştırmaların çıktılarından kelimesi kelimesine kopyalandı, hiçbiri kulaktan yeniden yazılmadı. «Kitapta» satırı, hatanın kendisine göre hesaplandığı insan transkripsiyonu.

Örnek 1

Kitapta

– dep dudaqlarını qaltıratıp qıçırdı. – Tanımayım, – dedi Vedut. – Tanıyım, – dedi tekrar Oksana.

Eski model

Dev dudaqlarını qaltır atıp qışırdın. Tanımayım, dedi Vedut. Tanıyım, dedi tekrar aqşıdışqan

Bizim modelimiz, açgözlü kod çözme

– dedi Vedut,– dedi Akimov,– dedi Akimov,– dedi Akimov,– dedi Akimov,– dedi Akimov,– dedi Akimov,– dedi Akimov,– dedi Ak… «– dedi Akimov» 32 kez tekrarlandı, sonrası uzunluk sınırıyla kesildi

Bizim modelimiz, seçenek taraması

– dep, dudaqlarını qaltıratıp qıçırdı. – Tanımayım... – dedi Vedut. – Tanıyım... – dedi tekrar. Tek bir hata kaldı: Oksana adı kayboldu.

Örnek 2

Kayıtta

- Angisi aceba? - mısqılnen tikilip baqtı Velide. - Mına baq, Eska ketti?

Eski model

Añgi saace ba, mızqılnen tikilip baqtı Velide Mına baq, Eska ketti, kelimelerin %40'ı yanlış

Bizim modelimiz

– Angisi aceba? – mısqılnen tikilip baqtı Velide. – Mına baq! Eska ketti... %0 — kelimelerde tek bir hata yok

Örnek 3

Kayıtta

Men, yalanayaq, bir uzun, divarları suvuq qoyum avutiske boyalangan koridornıñ ucunda turam.

Eski model

Ben yağanayaq bir uzun, divarları sıvuq qoyun avütüske boylanğan koridornıñ ucunda tura kelimelerin %58'i yanlış

Bizim modelimiz

Men, yalanayaq, bir uzun, divarları suvuq qoyum avutüske boyalangan koridornıñ ucunda turam. %8 — 12 kelimede bir hata

İşleri kötüleştiren yasak

Takılıp kalmaya karşı dosdoğru bir ayar var: modele aynı şeyi tekrarlamayı yasaklamak. Seçme kümesinde bu ayar 17 parçayı bozdu, bir tanesini düzeltti. Nedeni şu. Bir çocuk koşarak sesleniyor: «Qartbaba, qartbaba!» Model bunu son derece doğru duydu — ama yasak, duyduğunu yazmasına izin vermedi ve ikinci kelimeyi, sırf birincisiyle aynı olmasın diye bozdu.

«Qartbaba, qartbaba!»

Kitapta

– Qartbaba, qartbaba, – tez-tez çapıp kelgen kiçkene Aziz

Yasaksız

– Qartbaba! Qartbaba! – tez-tez çapıp kelgen kiçkene Aziz Doğru duyuldu.

Yasakla

– Qartbaba! Qartbabaa! – tez-tez çapıp kelgen kiçkene Aziz

Daha sert bir yasakla

– Qartbaba! Qartbava! – tez-tez çapıp kelgen kiçkene Aziz İkinci «qartbaba» var olmayan bir kelimeye dönüştü.

Bu aşamadaki bütün hikâyeler arasında en çok bunu seviyorum, çünkü tekniğe dair değil. Dil yasaklarla onarılamaz: «böylesi olmaz» biçimindeki her kural, er ya da geç insanların gerçekte nasıl konuştuğuna toslar.

Devamını okuyun

• The full article on ana-yurt.com (in Russian)
• Хабр (RU)
• Medium (EN) — bağlantı yayımlandıktan sonra eklenecek
• dev.to (EN) — bağlantı yayımlandıktan sonra eklenecek
• Hugging Face blog (EN) — bağlantı yayımlandıktan sonra eklenecek
• LinkedIn (EN) — bağlantı yayımlandıktan sonra eklenecek