Mis on Deepfake Music? Ja kuidas see luuakse?

Pikka aega suutis muusika deepfake’ide maailma vältida, sest kellegi hääle sünteesimiseks oli lihtsalt liiga keeruline. See kõik muutus koos tehisintellekti tehnoloogia arenguga. Selle tulemuseks on kuulsate artistide häälekloonid, mida saab kasutada uute vokaallugude loomiseks.

Kuna tehisintellekti tööriistad muutuvad tavainimestele kättesaadavamaks, on süvavõltsmuusika kasvav probleem. Siin on, mis see on ja kuidas see luuakse.

Sügava võltsmuusika areng

Kui kuulete oma lemmikartisti Spotifys või YouTube'is laulmas, ei arvate, et see võib olla võlts, kuid tehisintellekti edusammud on muutnud selle reaalsuseks. Lisaks võltspiltidele ja -videotele eksisteerib ka sügav võltsmuusika.

AI-tööriistad suudavad inimese lauluhäält tõetruult reprodutseerida, treenides tehisintellekti mudelit tema hääle helinäidiste põhjal. Loonud artisti fännid või AI-tehnoloogia fännid, üritavad rohkem inimesi luua vokaalseid doppelgängereid.

Inimesed on püüdnud häält arvuti abil sünteesida juba aastaid, ulatudes 1961. aastasse, kui IBM 7094 oli esimene arvuti, mis laulis. Saate kuulda arvutiga loodud hääl laulab Daisy Belli YouTube'i klipis ja proovige ette kujutada, kui hämmastav see hetk oli.

Kiire edasiminek 21. sajandisse ja AI-tehnoloogia on mõlemad parandanud sünteesitud hääle kvaliteeti ja võimaldas meil teha asju, mida enamik meist seni võimalikuks ei pidanud, näiteks inimeste häälte kloonimine.

Vaadake lihtsalt seda klippi, kus Roberto Nickson muudab oma hääle artistiks ja räppariks Kanye Westiks. Video vaatamine tundub veider, see kõlab tõesti nagu Kanye, kuid seda on ka ebamugav vaadata. Ilma liigselt mõtlemata sellele, kuidas kunstnik võib mõelda või tunda, ja ilma loata võis seda vaadelda kui kellegi hääle omastamist.

Erinevalt Daisy Belli arvutiesitusest suudab AI vokaalne kloonimine reprodutseerida täpset sarnasust kellegi hääl, mis sisaldab kõiki peeneid erinevusi tämbris, mis aitavad meil tuvastada kellegi ainulaadse vokaali profiil. Litsentsita ja ilma loata tehtud deepfake-muusikal on aga tõsiseid probleeme, mida käsitleme hiljem.

Kuidas Deepfake laule luuakse

Deepfake laulude loomiseks kasutatakse erinevaid meetodeid, kuid paljud neist kasutavad AI-tehnoloogiat. Avatud lähtekoodiga projektid nagu SoftVC VITS lauluhääle teisendamise projekt GitHubisNäiteks on välja töötanud AI mudeli, mis teeb seda, mis selle nimes on kirjas: teisendab helinäidise lauluhääleks.

See mudel võtab kellegi laulva olemasoleva helifaili ja teisendab selle kellegi teise hääleks. Sellised asjad nagu algse hääle sõnad ja rütm jäetakse alles, kuid toon, tämber ja isiklikud hääleomadused teisendatakse treeningandmete kogumiga määratud hääleks.

Pidage meeles, et loo teisi osi võidakse siiski käsitsi luua, näiteks luua biite ja meloodiaid samas stiilis ja žanris, mis algse esitajaga.

Kanye Westi hääle sügava võltsimise loomiseks tuli SoftVC VITS-i mudelisse sisestada kolmanda osapoole andmestik, mis sisaldaks tõelise Kanye hääle näidiseid. Autor on andmestikku sisaldava faili vahepeal eemaldanud, mis pole üllatav, arvestades hägust õigusterritooriumi, mis võib kaasneda volitamata andmekogumitega.

Kuigi seda pole muudetud kaubanduslikuks rakenduseks, leiate selle versiooni SoftVC VITS mudel teenuses Google Collab see on kasutajasõbralikum.

Kuni eetilised ja juriidilised piirid pole paika pandud, on võimalik, et rohkem lihtsalt kasutatavaid häälkloonimisrakendusi hüpikaken – ei erine kuigi palju rakendusest Drayk.it, mis muutis tekstikirjelduse esitaja järgi kujundatud lauludeks Drake. Hiljem see suleti.

Mõned muud tööriistad, mida kasutatakse süvavõltsmuusika loomiseks, hõlmavad suuri keelemudeleid, näiteks ChatGPT, mille abil saab kirjutada kuulsa artisti stiilis laulusõnu; ja OpenAI Jukebox ja Google'i muusikaLM, mis on generatiivsed AI mudelid, mis suudavad luua muusikat toorheli kujul täiesti nullist.

Kas sa kuuled erinevust?

Anonüümse kasutaja nimega Ghostwriter loodud lugu levis TikTokis 2023. aasta aprillis, kuna sellel olid artistide Drake'i ja The Weekndi lauldud laulusõnad. Loomulikult ei olnud need artistide tõelised hääled, vaid võltshääled.

Kui vokaal poleks olnud originaali nii hea koopia, poleks see võib-olla olnud hitt. Veidi süvenedes saate üsna kiiresti teada, kas see oli tõeline tehing või mitte, kuid ainult oma kõrvu kasutades võite vaid oletada, kas see oli ehtne.

Kui sa tahad tuvastada AI-ga loodud pilt seal on vähemalt paar visuaalset aberratsiooni, mida võiksite otsida. Mis puudutab heli, siis sellised märgid nagu madala täpsusega heli või tõrked rajal ei tähenda suurt midagi, kuna need on loomingulised valikud, mida muusikatootmises pidevalt kasutatakse.

Veelgi huvitavam on see, et paljudele inimestele meeldib see laul siiralt, isegi pärast avastamist, et see polnud Drake'i või The Weekndi tõelised hääled. Austajad märkisid, et kõike ei loodud lihtsalt tehisintellektiga ning tõeline oskus ja töö läks sõnade kirjutamisse, biitide komponeerimiseks ja kogu asja kokkupanemisse.

Lugu jõudis Spotifysse ja YouTube'i, enne kui see järgmistel päevadel maha võeti, kuid mitte enne, kui fännid olid loo mp3-vormingus alla laadinud. Loo koopiad leiate endiselt Internetist, kui otsite "Heart On My Sleeve, Drake ft. Nädal".

Peagi muutub tehisintellektiga loodud vokaalkloonide ja tõelise inimhääle erinevuse märkamine peaaegu võimatuks. Seda silmas pidades kahtlevad inimesed, kas see on AI-tehnoloogia hea kasutamine või isegi selle seaduslik kasutamine.

Probleemid Deepfake Musicuga

Ühest küljest naudivad inimesed oma lemmikartistide fännide koostatud segude kuulamist ja austavad loovust, mis selle teoks tegemisel kaasa toob. Kuid vokaalsete kloonide olemasolu sõltub kõigepealt andmekogumitest, mis võivad olla volitatud või mitte.

Ilma loata kogutakse inimese hääle näidised andmekogumisse, mida kasutatakse seejärel tehisintellekti hääle teisendusmudeli koolitamiseks. See on sarnane probleemiga, millega silmitsi seisate kunstnikud, kes soovivad eemaldada oma pildid treeningandmetest mida kasutatakse tehisintellekti kujutise generaatorite (nt Dall-E või Midjourney) koolitamiseks.

Autoriõiguse seadus pole ka sügavvõltsmuusikaga tegelemiseks päris valmis. 2020. aastal ei õnnestunud kunstnikul Jay-Z-l sundida YouTube'i eemaldama tehisintellektiga loodud heli, milles ta räppis William Shakespeare'i monokõnest "Olla või mitte olla".

Kui Deepfake lugu laaditakse Spotifysse või YouTube'i, tekib ka küsimus, kes raha teenib. Kas peaksite saama raha teenida lauluga, mis kopeerib peaaegu täpselt kellegi teise häält?

Holly Herndon on üks kunstnik, kes on proovinud luua süsteemi, et inimesed saaksid talle hüvitist vastutasuks oma häälemudeli kasutamise eest originaalteose loomisel. Kuigi teistel artistidel, nagu Nick Cave, on AI vastu sõna võtnud, kirjutamine:

Laulud tekivad kannatusest, mille all ma pean silmas, et need põhinevad keerulisel, sisemisel inimlikul loomisvõitlusel ja noh, niipalju kui mina tean, algoritmid ei tunne seda.

Mõnikord, AI-ga loodud tekstis võib puududa loovus kokku, kuid need on endiselt Internetis postitatud. AI tulemuseks võib olla palju halba muusikat, mille nimel on väga vähe vaeva nähtud.

Tasakaalu leidmine muusika ja tehisintellekti vahel

Deepfake muusika luuakse AI tööriistade ja tehisintellekti mudelite abil, mida on õpetatud kasutama volitamata andmekogumeid. Mõned mudelid on avatud lähtekoodiga ja vabalt ligipääsetavad, samas kui teised on üritatud neid kasutajasõbralikku rakendusse pakkida.

Kuna üha rohkem inimesi jõuab sügavale võltsmuusika mudelite või äppide juurde, tasub mõelda mõjule artistile. Nõusoleku saamine andmekogumite treenimiseks ja hüvitise saamine artistile on vaid mõned AI-muusikatehnoloogiaga seotud probleemid.