Jak Amazon nauczył Alexę mówić po irlandzku

Podobnie jak Henry Higgins, wokalista ze sztuki George’a Bernarda Shawa „Pigmalion”, Marius Kotescu i Georgy Tenchev niedawno pokazali, jak ich uczeń próbuje przezwyciężyć trudności z artykulacją.

Dwóch analityków danych, którzy pracują dla Amazon w Europie, uczyli Alexę, asystenta cyfrowego firmy. Ich misja: pomoc Alexie w opanowaniu języka angielskiego z irlandzkim akcentem przy pomocy sztucznej inteligencji i nagrań native speakerów.

Podczas demonstracji Alexa opowiadała o pamiętnej nocy. „Przyjęcie zeszłej nocy było takie szalone” – powiedziała w końcu Alexa, używając irlandzkiego słowa dla zabawy. „W drodze do domu kupiliśmy lody i cieszyliśmy się, że mogliśmy wyjść”.

Pan Tenczew potrząsnął głową. Alexa upuściła „r” w słowie „Impreza”, przez co słowo brzmiało płasko, jak pah-tee. Doszedł do wniosku, że jest bardzo brytyjski.

Technolodzy są częścią zespołu w Amazon, który pracuje w trudnym obszarze nauki o danych, znanym jako dekodowanie dźwięku. Jest to trudny problem, który nabrał nowego znaczenia w związku z falą rozwoju sztucznej inteligencji, ponieważ naukowcy są przekonani, że zagadka mowy i technologii może sprawić, że urządzenia, boty i syntezatory mowy oparte na sztucznej inteligencji będą bardziej konwersacyjne – to znaczy, że będą mogły przemawiać do wielu regionalnych graczy. akcenty.

Radzenie sobie z rozplątywaniem fonemów wymaga czegoś więcej niż tylko zrozumienia słownictwa i gramatyki. Ton, barwa głosu i akcent mówiącego często nadają słowom dokładne znaczenie i wagę emocjonalną. Językoznawcy nazywają tę funkcję języka „wyświetlaniem” i jest to coś, z czym maszyny miały trudności w opanowaniu.

Dopiero w ostatnich latach, dzięki postępowi w sztucznej inteligencji, chipach komputerowych i innych urządzeniach, badacze poczynili postępy w rozwiązaniu problemu dekodowania dźwięku, przekształcając mowę generowaną komputerowo w coś przyjemniejszego dla ucha.

Naukowcy stwierdzili, że taka praca może ostatecznie zbiegać się z eksplozją „generatywnej sztucznej inteligencji”, która jest technologią umożliwiającą chatbotom generowanie własnych odpowiedzi. Chatboty, takie jak ChatGPT i Bard, mogą pewnego dnia działać wyłącznie na poleceniach głosowych użytkowników i odpowiadać ustnie. Jednocześnie asystenci głosowi, tacy jak Alexa i Apple Siri, staną się bardziej komunikatywni, co może ożywić zainteresowanie konsumentów sektorem technologicznym, który wydaje się utknąć w martwym punkcie, twierdzą analitycy.

Nakłonienie asystentów głosowych, takich jak Alexa, Siri i Asystent Google, do mówienia w wielu językach było kosztownym i czasochłonnym procesem. Firmy technologiczne zatrudniły aktorów głosowych do nagrywania setek godzin mowy, co pomogło stworzyć sztuczne głosy dla asystentów cyfrowych. Zaawansowane systemy sztucznej inteligencji znane jako „modele zamiany tekstu na mowę” — ponieważ przekształcają tekst w naturalnie brzmiącą mowę syntetyczną — Dopiero zaczynam upraszczać ten proces.

Technologia jest teraz w stanie stworzyć głos ludzki i głos syntetyczny w oparciu o wprowadzanie tekstu w różnych językach, dialektach i dialektach – powiedziała Marion Laborie, główna strateg w Deutsche Bank Research.

Amazon był pod presją, aby dogonić konkurentów, takich jak Microsoft i Google, w wyścigu sztucznej inteligencji. W kwietniu Andy Jassy, ​​dyrektor generalny Amazona, powiedział: dla analityków z Wall Street że firma planowała uczynić Alexę „bardziej aktywną i mówiącą” przy pomocy najnowocześniejszej sztucznej inteligencji Rohit Prasad, głównego naukowca Alexy w Amazon, powiedział. powiedział CNBC W maju widział asystenta głosowego jako „natychmiast dostępną osobistą sztuczną inteligencję” z obsługą głosu.

Irlandzka Alexa zadebiutowała na rynku w listopadzie, po dziewięciu miesiącach nauki rozumienia i mówienia irlandzkim akcentem.

„Akcent różni się od języka” – powiedział w wywiadzie pan Prasad. Techniki sztucznej inteligencji muszą nauczyć się wydobywać akcent z innych części mowy, takich jak intonacja i częstotliwość, zanim będą mogły odtworzyć cechy lokalnych dialektów – na przykład „a” jest bardziej płaskie, a „t” wymawiane mocniej.

Systemy te muszą wykrywać te wzorce, powiedział, „aby mogły stworzyć zupełnie nowy akcent”. „to jest trudne.”

Harder jeszcze próbuje zmusić technologię do samodzielnego uczenia się nowego akcentu, z inaczej brzmiącej formy mowy. To właśnie zespół pana Cotescu próbował zbudować irlandzką Alexę. W dużym stopniu polegali na istniejącym modelu mowy obejmującym głównie angielskie akcenty brytyjskie – ze znacznie mniejszym wyborem akcentów amerykańskich, kanadyjskich i australijskich – aby wyszkolić ich w mówieniu po irlandzku.

Zespół stawił czoła różnym wyzwaniom językowym języka angielsko-irlandzkiego. Irlandczycy mają tendencję do opuszczania „h” w „th”, wymawiając litery jako „t” lub „d”, na przykład sprawiając, że „kąpiel” brzmi jak „nietoperz” lub nawet „zły”. Irlandzki angielski jest również rotyczny, co oznacza, że ​​litera „r” jest wymawiana przesadnie. Oznacza to, że „r” w „imprezie” będzie bardziej wymawiane niż to, co można usłyszeć z ust londyńczyka. Alexa musiała nauczyć się i opanować te cechy mowy.

Irlandzki angielski jest „trudny”, powiedział pan Kotescu, który jest Rumunem i był głównym badaczem irlandzkiego zespołu Alexy.

Modele mowy wspierające umiejętności werbalne Alexy ewoluowały w ostatnich latach w bardziej zaawansowany sposób. W 2020 roku badacze Amazona uczyli Alexę Płynnie mówi po hiszpańsku Z anglojęzycznego modelu.

Pan Cotescu i zespół postrzegali dialekty jako kolejną granicę możliwości mowy Alexy. Zaprojektowali irlandzką Alexę, aby polegała bardziej na sztucznej inteligencji niż na aktorach przy tworzeniu jej modelu mowy. W rezultacie irlandzka Alexa została przeszkolona na stosunkowo małej grupie — około 24 godzin nagrań aktorów głosowych, którzy wyrecytowali 2000 przemówień w języku irlandzkim.

Na początku, kiedy badacze Amazona zaprezentowali irlandzkie nagrania wciąż uczącej się irlandzkiej Alexie, wydarzyły się dziwne rzeczy.

Czasami z odpowiedzi wyciekały litery i sylaby. Czasami „S” sklejają się. Jedno lub dwa słowa, czasami decydujące, były niewytłumaczalnie wymamrotane i niezrozumiałe. Przynajmniej w jednym przypadku kobiecy głos Alexy spadł o kilka oktaw, brzmiąc bardziej męsko. Co gorsza, męski głos brzmiał wyraźnie po brytyjsku, rodzaj głupka, który może unieść brwi w niektórych irlandzkich domach.

„To wielkie czarne skrzynki” — powiedział o modelach mowy Tenchev, Bułgar i główny naukowiec Amazona w projekcie. „Musisz mieć wiele doświadczeń, aby się dostroić”.

Oto, co zrobili technicy, aby naprawić „partyzancką” wpadkę Alexy. Rozplątywali mowę, słowo po słowie, dźwięk (najmniejszy słyszalny fragment słowa) głosem, aby wskazać i dostroić, gdzie Alexa się poślizgnęła. Następnie nakarmili irlandzki model mowy Alexy większą ilością zarejestrowanych danych audio, aby poprawić błąd werbalny.

Wynik: „r” jest zwracane w „party”. Ale potem „p” zniknęło.

Analitycy danych ponownie wykonali ten sam proces. W końcu skupiają się na dźwięku zawierającym brakujące „p”. Następnie jeszcze bardziej dopracowali model, tak aby dźwięk „p” powrócił, a „r” nie zniknęło. Alexa w końcu nauczyła się mówić jak Dublin.

Od tego czasu dwie irlandzkie lingwistki — Eileen Vaughan, która wykłada na Uniwersytecie w Limerick, oraz Kate Tallon, doktorantka pracująca w Laboratorium fonetyki i mowy w Trinity College w Dublinie — wystawiły Alexie wysokie noty za irlandzki akcent. Powiedzieli, że sposób, w jaki irlandzka Alexa podkreślała „r” i łagodziła „t”, zatrzymała się, a Amazon dostał właściwy akcent.

„Wydaje mi się to realne” — powiedziała pani Tallon.

Badacze Amazona powiedzieli, że są zadowoleni z w dużej mierze pozytywnych opinii. Ich modele mowy tak szybko rozplątywały irlandzki akcent, dając im nadzieję, że akcenty te mogą zostać powtórzone gdzie indziej.

I pisali w języku A Styczniowy artykuł naukowy O irlandzkim projekcie Alexa.