Kuigi OpenAI juhib teed generatiivses AI arenduses, on paljud süüdistanud Google'it mahajäämises. Siiski, et mitte alla jääda, tõi Google oma 2023. aasta Google I/O konverentsil turule uue suure keelemudeli PaLM 2.
Google'i uus LLM on saadaval neljas erinevas suuruses mitmesuguste rakenduste jaoks. Ilmselt on see juba mitme Google'i teenuse toiteallikaks ja palju muud on tulemas.
Mis on PaLM 2?
Google I/O 2023, mis toimus 10. mail, avalikustas Google'i tegevjuht Sunda Pichai Google'i uusima mänguasja: PaLM 2.
Lühidalt Pathways Language Model 2, Google'i täiendatud LLM on PaLM-i teine iteratsioon, mille esimene versioon käivitatakse 2022. aasta aprillis. Ei mäleta PaLM-i? Noh, tol ajal oli see suur uudis ja pälvis kuhjaga huvi selle eest, et suudab veidi vestelda, rääkida elementaarseid nalju ja nii edasi. Kuus kuud edasi kerida ja OpenAI GPT-3.5 puhus kõik veest välja, sealhulgas PaLM.
Sellest ajast, OpenAI käivitas GPT-4, GPT-3.5 tohutu täiendus. Kuigi uuemat mudelit integreeritakse arvukatesse tööriistadesse, eelkõige Microsofti Bing AI Chati, võtab Google sihikule OpenAI-l ja GPT-4-l koos PaLM 2-ga ning loodab, et selle täiendatud LLM suudab täita olulise lünga – Google Bardi käivitamine oli vaevalt möirgav edu.
Pichai teatas, et PaLM 2 on saadaval neljas erinevas suuruses: Gecko, Otter, Bison ja Unicorn.
Gecko on nii kerge, et see töötab mobiilseadmetes ja on piisavalt kiire suurepäraste interaktiivsete rakenduste jaoks seadmes isegi võrguühenduseta. See mitmekülgsus tähendab, et PaLM 2 saab peenhäälestada, et toetada terveid tooteklasse mitmel viisil ja aidata rohkem inimesi.
Kuna Gecko suudab töödelda umbes 20 märki sekundis – märgid on generatiivsete AI-mudelite jaoks mõeldud tegelikele sõnadele määratud väärtused –, näib see tõenäoliselt muutvat mobiilirakenduste AI-tööriistu.
PaLM 2 koolitusandmed
Google ei teadnud täpselt PaLM 2 treeninguandmeid, mis on arusaadav, kuna see just avaldati. Aga Google'i oma PaLM 2 aruanne [PDF] ütles, et ta soovib, et PaLM 2 mõistaks sügavamalt matemaatikat, loogikat ja loodusteadusi ning et suur osa selle koolituskorpusest keskendus nendele teemadele.
Siiski väärib märkimist, et PaLM ei olnud loid. Millal Google paljastas PaLM, kinnitas see, et seda koolitati 540 miljardi parameetri järgi, mis tol ajal oli kolossaalne näitaja.
Väidetavalt kasutab OpenAI GPT-4 rohkem kui ühte triljonit parameetrit, mõnede spekulatsioonide kohaselt võib see arv ulatuda 1,7 triljonini. See on kindel panus, et kuna Google soovib, et PaLM 2 konkureeriks otseselt OpenAI LLM-idega, on sellel vähemalt võrreldav näitaja, kui mitte rohkem.
Veel üks oluline tõuge PaLM 2-le on selle keeleõppe andmed. Google on koolitanud PaLM 2 enam kui 100 keeles, et anda sellele sügavam ja kontekstuaalne arusaam ning suurendada selle tõlkevõimalusi.
Kuid see ei puuduta ainult kõneldavaid keeli. Seoses Google'i nõudmisega, et PaLM 2 pakuks paremaid teaduslikke ja matemaatilisi põhjendusi, on LLM Samuti on koolitatud rohkem kui 20 programmeerimiskeeles, mis teeb sellest programmeerijate jaoks fenomenaalse väärtuse.
PaLM 2 toidab juba Google'i teenuseid, kuid vajab siiski peenhäälestamist
Ei lähe kaua aega, kuni saame PaLM 2 kätte ja vaatame, mida see suudab. Igasuguse õnne korral on mis tahes PaLM 2 rakenduste ja teenuste käivitamine parem kui Bard.
Kuid võib-olla olete (tehniliselt!) PaLM 2 juba kasutanud. Google kinnitas, et PaLM 2 on juba juurutatud ja kasutusel 25 tootes, sealhulgas Androidis, YouTube'is, Gmailis, Google'i dokumentides, Google'i esitlustes, Google'i arvutustabelites ja mujal.
Kuid PaLM 2 aruanne näitab ka, et tööd on veel teha, eriti mürgiste reaktsioonide osas paljudes keeltes.
Näiteks kui PaLM 2 annab konkreetselt toksilise viipe, tekitab toksilisi reaktsioone rohkem kui 30 protsenti ajast. Lisaks andis PaLM 2 teatud keeltes – inglise, saksa ja portugali keeles – rohkem mürgiseid reaktsioone. rohkem kui 17 protsenti ajast, kusjuures seda näitajat tõukuvad ka rassilised identiteedid ja religioonid kõrgemale.
Olenemata sellest, kui palju teadlased üritavad LLM-i koolitusandmeid puhastada, on vältimatu, et mõned neist libisevad läbi. Järgmine etapp on PaLM 2 treenimise jätkamine, et vähendada neid mürgiseid reaktsioone.
Suurte keelemudelite jaoks on buumiperiood
OpenAI ei olnud esimene, kes käivitas suure keelemudeli, kuid selle mudelid GPT-3, GPT-3.5 ja GPT-4 valgustasid kahtlemata generatiivse AI sinise puutepaberi.
Google'i PaLM 2-l on mõned probleemid, mida tuleb lahendada, kuid see, et seda juba kasutatakse mitmetes Google'i teenustes, näitab ettevõtte usaldust oma uusima LLM-i vastu.