Xiaomi atver OmniVoice: daudzvalodu teksta uz runu risinājums

Balss AI bieži vien uz papīra izklausās iespaidīgi, bet praksē šķiet dīvaini bezdzīvīgs. Xiaomi uzskata, ka tam ir risinājums. Uzņēmums padarīja OmniVoice par atvērtā koda projektu, jaunu teksta uz runu modeli, kas paredzēts balss klonēšanai, daudzvalodu runas ģenerēšanai un smalkai kontrolei pār sintētiskās balss skanējumu.

Šo izlaišanu izceļ ne tikai parastais solījums par skaidrāku runu vai ātrāku izlaidi. Xiaomi pozicionē OmniVoice kā modeli, kas var darboties simtiem valodu, tostarp zemu resursu valodās, kuras bieži tiek ignorētas komerciālajās runas sistēmās. Ja šis apgalvojums tiks apstiprināts ārpus laboratorijas demonstrācijām, tam var būt ietekme daudz plašāka nekā tikai vadošo viedtālruņu un virtuālo asistentu jomā.

Paziņojums nāca caur Xiaomi oficiālo WeChat kanālu, kur uzņēmums norādīja, ka OmniVoice labi darbojas gan ķīniešu, gan angļu valodā un dažos daudzvalodu uzdevumos spēj atbilst vai pat pārspēt komerciālas alternatīvas. Tas ir drosmīgs apgalvojums. Taču detaļas liecina, ka Xiaomi mērķis ir reāla problēma runas tehnoloģijā: lielākā daļa teksta uz runu sistēmu joprojām vislabāk darbojas dažās galvenajās valodās, kamēr pārējās valodas iegūst vājāku pieredzi.

Kur OmniVoice var mainīt situāciju

Xiaomi norāda, ka OmniVoice izstrādāts ar daudzvalodu runas sintēzi kā pamatu. Uzņēmums to apraksta kā teksta uz runu (TTS) modeli balss klonēšanai, kas atbalsta simtiem valodu, tostarp tās, par kurām tīmeklī pieejams ļoti ierobežots apmācību materiāls. Praktiski tas nozīmē, ka sistēmai jārada saprotama, dabīgi skanoša runa pat tad, kad datu ir maz, kas ilgstoši kavējis runas AI attīstību reģionālajās un nišas valodās.

Pēc Xiaomi datiem modelis pārspēja vairākas komerciālas sistēmas testos 24 valodās, īpaši runas līdzības un saprotamības rādītājos, neskatoties uz to, ka tika apmācīts tikai uz atvērtā koda datu kopām. Plašākā novērtējumā, aptverot 102 valodas, uzņēmums norāda, ka OmniVoice sasniedza cilvēka līmeņa saprotamību un dažos gadījumos to pat pārsniedza. Šāds apgalvojums, protams, prasa neatkarīgu pārbaudi, taču tas liecina par to, cik agresīvi Xiaomi vēlas pozicionēt modeli globālajā AI sacensībā.

Viena no interesantākajām paziņojuma daļām ir uzsvars uz apmācību ar mazu datu apjomu. Xiaomi apgalvo, ka pat valodas ar mazāk nekā 10 stundām pieejama materiāla var sasniegt augstas kvalitātes runas sintēzi. Kopienām un izstrādātājiem, kas strādā ar nepietiekami pārstāvētām valodām, tas var būt galvenais jaunums. Modelis, kas samazina datu barjeru, maina to, kas var veidot runas rīkus.

Tehniski OmniVoice izvēlas citu pieeju nekā daudzas mūsdienu sarežģītās TTS ķēdes. Tā vietā, lai kārtotu vairākus moduļus un prognozēšanas posmus, Xiaomi izmanto vienu bidirekcionālu Transformer tīklu, kas pārvērš tekstu tieši runā. Vienkāršāka arhitektūra, mazāk sastāvdaļu un iespējams mazāks ierobežojumu skaits.

Šāds dizains arī saistīts ar ātrumu. Xiaomi apgalvo, ka OmniVoice var apmācīt uz 100 000 stundu datu vienā dienā, un inferencē tas var darboties līdz 40 reizēm reālā laika ātrumā PyTorch. Izstrādātājiem tas ir svarīgi. Ātra inferencēšana bieži ir atšķirība starp iespaidīgu demonstrāciju un risinājumu, ko var integrēt patērētāju produktos, klientu apkalpošanas sistēmās, pieejamības rīkos vai satura platformās.

Uzņēmums norāda uz divām tehniskām izvēlēm, kas stāv aiz šiem ieguvumiem. Pirmā ir tā sauktā pilna kodgrāmatas nejaušā maskēšanas stratēģija, kas, kā apgalvots, uzlabo gan efektivitāti, gan kopējo modeļa veiktspēju apmācību laikā. Otrā ir liela valodu modeļa izmantošana iepriekšējā apmācībā, kas, pēc Xiaomi teiktā, palīdz uzlabot izrunu un saprotamību neautoregresīvā TTS ietvarā. Vienkāršiem vārdiem sakot, modelis ne tikai cenšas skanēt brīvi; tas cenšas izprast valodas struktūru pietiekami labi, lai sarežģītus vārdus izrunātu dabiskāk.

Tas kļūst īpaši nozīmīgs reālajā dzīvē, kur runas sintēze bieži vien nepareizi atveido vārdus, akcentus, aizgūtus vārdus vai jauktus valodu tekstus. Xiaomi norāda, ka OmniVoice šeit lietotājiem sniedz vairāk kontroles. Sarežģītu izrunu, tostarp ķīniešu daudzskanīgo rakstzīmju un angļu īpašvārdu gadījumā, var labot manuāli, lai uzlabotu uzticamību.

Patērētājiem paredzētās funkcijas ir vieta, kur OmniVoice sāk šķist mazāk kā zinātniska publikācija un vairāk kā platforma. Lietotāji var ģenerēt pielāgotas balsis, aprakstot īpašības, piemēram, vecumu, dzimumu, balss augstumu, akcentu, dialektu un runas stilu. Tas var arī radīt čukstošas balsis un citus specializētus vokālos stilus bez nepieciešamības pēc atsauces audio fragmenta, kas ir nozīmīga elastības pieauguma pazīme.

Xiaomi arī apgalvo, ka modelis spēj attīrīt trokšņainu atsauces audio pirms balss klonēšanas, izdalot skaidrākas runātāja pazīmes no ierakstiem, kas veikti nepilnīgās vidēs. Tas var šķist smalks sīkums, bet ikviens, kurš strādājis ar reālā pasaules audio, zina, cik nekārtīgs parasti ir avota materiāls. Klonēšanas sistēma, kas spēj izturēt fona troksni, ir daudz noderīgāka nekā tā, kas darbojas tikai studijas apstākļos.

Tālāk seko izteiksmība. OmniVoice atbalsta intonācijas kontroli, tostarp efektus kā smiekli un nopūtas, kas var padarīt sintētisko runu mazāk robotisku un vairāk sarunai tuvāku. Turp norit tirgus attīstība. Nākamā balss AI paaudze nav tikai par teksta pārlasīšanu skaļi un precīzi; tā ir par izpildījumu, personību un emocionālām niansēm.

Xiaomi nav pirmais uzņēmums, kas tiecas uz šo mērķi, un nebūs arī pēdējais. Taču, padarot OmniVoice par atvērtā koda projektu, tas veic stratēģisku likmi, ka plašāka piekļuve izstrādātājiem var palīdzēt ieviest runas tehnoloģiju vairāk produktos, tirgos un valodās. Ja modelis izpildīs pat daļu no Xiaomi solītā, OmniVoice var kļūt par vienu no intriģējošākajiem atvērtā koda balss AI izlaidumiem šogad.