ChatGPT on OpenAI mänge muutev AI-vestlusbot, mis hoiab Internetti hämmastuses. Vastupidiselt kõigile väljakujunenud tehnoloogilistele suundumustele ei ole ChatGPT leidnud kaua aega, et leida tee peaaegu igasse meie digitaalse elu valdkonda.
Väga vähesed tehnoloogilised uuendused on pälvinud nii palju huvi kui ChatGPT on nii lühikese ajaga saavutanud. Tundub, et lahedad nipid ei saa kunagi otsa – iga päev saame teada põnevatest uutest asjadest, mida me ei teadnudki.
Kuid kuidas suudab ChatGPT teha asju, mida ta suudab? Kuidas ChatGPT töötab?
Kuidas ChatGPT ehitati?
Et mõista, kuidas ChatGPT töötab, tasub vaadata selle päritolu ja tipptasemel tehisintellekti vestlusroti taga olevat aju.
Esiteks, nii maagiline kui ChatGPT ka ei tundu, on selle ehitanud inimeste geenius, nagu iga väärt tarkvaratehnoloogia. OpenAI lõi ChatGPT, revolutsioonilise AI uurimis- ja arendusettevõtte teiste võimsate AI tööriistade, nagu DALL-E, InstructGPT ja Codex, taga. Oleme varem vastanud
mõned küsimused, mis teil võivad olla ChatGPT kohta, nii et viska pilk peale.Kuigi ChatGPT levis 2022. aasta lõpus, on suurem osa ChatGPT-i aluseks olevast tehnoloogiast olnud kasutusel palju kauem, ehkki palju vähem reklaamitud. ChatGPT mudel on üles ehitatud GPT-3 (või täpsemalt GPT-3.5) peale. GPT tähendab "Generative Pre-trained Transformer 3".
GPT-3 on AI mudelite GPT rea kolmas iteratsioon ja sellele eelnesid GPT-2 ja GPT. GPT mudelite varasemad iteratsioonid on võrdselt kasulikud, kuid GPT-3 ja peenhäälestatud GPT-3.5 iteratsioon on palju võimsamad. Enamik sellest, mida ChatGPT saab teha on tingitud aluseks olevast GPT-3 tehnoloogiast.
Mis on GPT?
Seega oleme kindlaks teinud, et ChatGPT põhineb GPT mudeli kolmandal põlvkonnal. Aga mis on ikkagi GPT?
Alustame akronüümide lahtipakkimisest kergesti seeditaval ja mittetehnilisel viisil.
- "Generatiiv" GPT-s tähistab selle võimet genereerida loomulikku inimkeelset teksti.
- "Eelkoolitatud" tähistab tõsiasja, et mudelit on juba mõne piiratud andmestiku jaoks koolitatud. Umbes nagu oleksite lugenud raamatu või võib-olla mitu raamatut, enne kui teil palutakse vastata selle kohta küsimustele.
- "Transformer" esindab aluseks olevat masinõppe arhitektuuri, mis toetab GPT-d.
Nüüd, kui kõik kokku panna, on Generative Pre-trained Transformer (GPT) keelemudel, mis on koolitatud kasutades Internetist saadud andmeid eesmärgiga genereerida inimkeelset teksti, kui esitatakse a viip. Niisiis, oleme korduvalt öelnud, et GPT-d koolitati, aga kuidas seda koolitati?
Kuidas ChatGPT-d koolitati?
ChatGPT-d ennast maast madalast ei koolitatud. Selle asemel on see GPT-3.5 peenhäälestatud versioon, mis ise on GPT-3 peenhäälestatud versioon. GPT-3 mudelit koolitati tohutu hulga Internetist kogutud andmetega. Mõelge Wikipediale, Twitterile ja Redditile – need toideti andmeid ja inimteksti, mis kraabiti Interneti kõikidest nurkadest.
Kui soovite teada, kuidas GPT-koolitus töötab, siis GPT-3 koolitati juhendatud õppimise ja inimtagasiside (RLHF) kaudu toimuva õppimise kombinatsiooni abil. Juhendatud õpe on etapp, kus mudelit koolitatakse suure Internetist kraabitud tekstiandmestiku põhjal. Tugevdamise õppeetapp on see, kus seda koolitatakse andma paremaid vastuseid, mis on kooskõlas sellega, mida inimesed aktsepteeriksid nii inimlikuna kui ka õigena.
Koolitus juhendatud õppega
Et paremini mõista, kuidas juhendatud ja tugevdatud õpe ChatGPT puhul kehtib, kujutage ette stsenaariumi, kus õpetaja õpetab õpilast esseed kirjutama. Juhendatud õpe oleks samaväärne sellega, kui õpetaja annab õpilasele lugemiseks sadu esseesid. Siin on eesmärk, et õpilane õpiks esseed kirjutama, harjudes sadade esseede tooni, sõnavara ja struktuuriga.
Siiski on nende sadade esseede hulgas head ja halba. Kuna õpilast koolitati nii heade kui ka halbade eksemplaride kohta, võis õpilane mõnikord kirjutada halva essee, kuna õpilasele toideti mingil hetkel ka halbu esseesid. See tähendab, et kui õpilane palub kirjutada essee, võib ta kirjutada koopia, mis pole õpetaja jaoks vastuvõetav või piisavalt hea. Siin tulebki sisse tugevdav õpe.
Tugevdusõppega koolitus
Kui õpetaja on sadade esseede lugemisel kindlaks teinud, et õpilane mõistab esseede kirjutamise üldreegleid, annab õpetaja õpilasele sagedase esseede kirjutamise kodutöö. Seejärel andis õpetaja essee kirjutamise kodutöö kohta tagasisidet, rääkides õpilastele, mida nad hästi tegid ja mida saaks parandada. Õpilane kasutab tagasisidet järgnevate essee kirjutamise kodutööde suunamiseks, aidates õpilasel aja jooksul paremaks muutuda.
See sarnaneb GPT mudeli koolituse tugevdamise õppimise etapiga. Pärast tohutul hulgal Internetist kraabitud teksti söötmist saab mudel vastata küsimustele. Kuid selle täpsus ei ole piisavalt hea. Inimtreenerid esitavad mudelile küsimuse ja annavad tagasisidet, milline vastus on iga küsimuse puhul sobivam.
Mudel kasutab tagasisidet, et parandada oma võimet vastata küsimustele täpsemalt ja sarnasemalt sellele, kuidas inimene reageeriks. Nii saab ChatGPT genereerida inimlikult kõlavaid vastuseid, mis on ühtaegu sidusad, kaasahaaravad ja üldiselt täpsed.
Kuidas suudab ChatGPT küsimustele vastata?
Niisiis, külastate ChatGPT veebisaiti ja logite sisse. Küsite ChatGPT-lt: "kirjutage Snoop Doggi stiilis räpplugu." See vastab sõnadega räpilaulule, mis näeb silmatorkavalt sarnane Snoop Doggi kirjutatuga. Kuidas on see võimalik?
Noh, ChatGPT taga olev "maagia" seostub kenasti selle koolitusega.
Pärast Füüsika 101 õpiku iga tolli katmist saate suure tõenäosusega vastata kõigile teile esitatud küsimustele. Miks? Sest sa oled seda lugenud ja õppinud. ChatGPT-ga on sama lugu – see õpib. Ja nagu inimtsivilisatsioon on näidanud, on piisava väljaõppega peaaegu iga probleemi lahendamine võimalik.
Ehkki saate oma elu jooksul tõenäoliselt hallata sadu raamatuid, on ChatGPT või GPT juba kulutanud tohutu osa Internetist. See on tohutult palju teavet. Seal, kuskil, on ilmselt sõnad Snoop Doggi arvukatele lauludele. Nii et loomulikult pidi ChatGPT seda tarbima (pidage meeles, et see on eelnevalt koolitatud) ja tuvastanud Snoop Doggi laulusõnades mustrid. Seejärel kasutaks see selle mustri "teadmisi", et "ennustada" Snoop Doggi kirjutatuga sarnase laulu sõnu.
Siin on rõhk "ennustamisel". ChatGPT ei vasta küsimustele samamoodi nagu inimesed. Näiteks kui seisate silmitsi küsimusega "Mis on Portugali pealinn?" võite öelda Lissabon ja öelda seda "faktiks". ChatGPT aga ei vasta küsimustele 100% kindlusega. Selle asemel proovib see ennustada õiget vastust, võttes arvesse andmeid, mida ta on oma koolitusandmekogus kasutanud.
ChatGPT lähenemisviis küsimustele vastamisel
Vastuste ennustamise kontseptsiooni paremaks mõistmiseks kujutage ette, et ChatGPT on detektiiv, kelle ülesandeks on mõrv lahendada. Detektiivile esitatakse tõendid, kuid nad ei tea, kes mõrva sooritas ja kuidas see juhtus. Piisava tõendi olemasolul suudab detektiiv aga suure täpsusega "ennustada", kes mõrva eest vastutab ja kuidas kuritegu toime pandi.
Pärast Internetist andmete tarbimist loobub ChatGPT algandmetest ja salvestab andmetest õpitud närviühendused või mustrid. Need ühendused või mustrid on nagu tõendid, mida ChatGPT analüüsib, kui ta proovib vastata mis tahes viipale.
Nii et teoreetiliselt on ChatGPT nagu väga hea detektiiv. Ta ei tea kindlalt, millised peaksid olema vastuse faktid, kuid proovib muljetavaldavalt täpsus, et ennustada inimkeelse teksti loogilist järjestust, mis vastaks kõige sobivamalt küsimus. Nii saate oma küsimustele vastused.
Ja see on ka põhjus, miks mõned neist vastustest tunduvad väga veenvad, kuid on kohutavalt valed.
ChatGPT: vastab nagu inimene, mõtleb nagu masin
ChatGPT tehnilised üksikasjad on keerulised. Kuid algelisest vaatenurgast töötab see nii, et õpib ja taastoodab õpitut, kui seda küsitakse, täpselt nagu meie inimestena.
Kuna ChatGPT areneb uuringute kaudu, võib selle toimimisviis muutuda. Selle põhilised tööpõhimõtted jäävad aga mõneks ajaks samaks, vähemalt seni, kuni ilmub häiriv uus tehnoloogia.