ChatGPT populaarsus on tunnistus sellest, kui kaugele on loomuliku keele töötlemine (NLP) jõudnud. Trafoarhitektuuri mudelid, nagu GPT-3, GPT-4 ja BERT, on võimelised pidama inimlikke vestlusi ning mõnda neist saab kasutada isegi keeruka koodi kirjutamiseks.
Kuigi GPT on turuliider, oli BERT tegelikult esimene keelemudel, mis 2018. aastal lavale jõudis. Aga kumb on parem? Ja mis vahe on GPT-l ja BERT-il?
GPT-3 ja GPT-4 selgitamine
GPT-3 (Generative Pre-trained Transformer 3) on autoregressiivne keelemudel, mille OpenAI käivitas 2020. aasta juunis. See kasutab 175 miljardi parameetriga trafoarhitektuuri, mis teeb sellest ühe suurima eales ehitatud keelemudeli.
GPT-3 suudab luua loomuliku keele teksti, vastata küsimustele, koostada luulet ja isegi kirjutada terviklikke artikleid. ChatGPT on generatiivse AI suurepärane näide toiteallikaks GPT.
Seda on peetud loomuliku keele töötlemise mängu muutjaks ja sellel on lai valik potentsiaalseid rakendusi, sealhulgas vestlusrobotid, keeletõlge ja sisu loomine.
GPT-4 on uusim ja suurim GPT mudelite seerias ning on juurdepääsetav teil on ChatGPT Plus tellimus. GPT-4 on kuus korda suurem kui GPT-3 mudel, hinnanguliselt ühe triljoni parameetriga, muutes selle palju täpsemaks.
Mis on BERT?
BERT (Bidirectional Encoder Representations from Transformers) on koolituseelne keeleesitusmudel, mis viimistleb Google'i 2018. aastal loodud NLP-rakendusi. Erinevalt teistest NLP-mudelitest, mis kasutavad ühesuunalist tähelepanuvoogu, kasutab BERT kahesuunalist voogu, mis võimaldab töötlemisel kasutada konteksti mõlemast suunast.
See võimaldab mudelil mõista sõnade tähendust kontekstis ja omakorda mõista paremini keele struktuure. BERT-i abil saab Google nüüd pakkuda täpsemaid otsingutulemusi keeruliste päringute jaoks, eriti nende jaoks, mis põhinevad eessõnadel, nagu "for", "to" ja "from".
Peamised erinevused GPT ja BERTi vahel
Nüüd, kui teil on GPT ja BERTi kohta lühike ettekujutus, arutleme nende kahe keelemudeli peamiste erinevuste üle.
Arhitektuur
Arhitektuur viitab arvukatele kihtidele, mis moodustavad masinõppe mudeli. GPT ja BERT kasutavad erinevaid mudeleid. BERT on loodud kahesuunaliseks konteksti esituseks, mis tähendab, et see töötleb teksti nii vasakult paremale kui ka paremalt vasakule, võimaldades tal tabada konteksti mõlemast suunast.
Seevastu inimesed loevad teksti vasakult paremale (või paremalt vasakule, olenevalt teie asukohast). BERT-i koolitamisel kasutatakse maskeeritud keele modelleerimise eesmärki, kus mõned sõnad lauses on maskeeritud ja mudeli ülesandeks on prognoosida puuduvad sõnad ümbritseva konteksti põhjal.
See eelkoolitusmeetod võimaldab BERTil õppida sügavaid kontekstuaalseid esitusi, muutes selle väga tõhusaks NLP-ülesannete jaoks, nagu sentimentide analüüs, küsimustele vastamine ja nimega olemi tuvastamine.
Seevastu GPT on autoregressiivne mudel, mis tähendab, et see genereerib teksti järjestikku vasakult paremale, ennustades järgmise sõna lauses sellele eelnevate sõnade põhjal.
GPT-d treenitakse ühesuunalise (põhjusliku) keele modelleerimise eesmärgiga, kus see ennustab eelmiste sõnade konteksti arvestades järgmist sõna. See on üks peamisi põhjuseid, miks GPT on sisu loomisel nii populaarne.
Treeningu andmed
BERT ja GPT erinevad kasutatavate treeningandmete tüüpide poolest. BERTi koolitatakse maskeeritud keelemudeli abil, mis tähendab, et teatud sõnad on maskeeritud ja algoritm peab ennustama, milline on järgmine sõna. See aitab mudelit koolitada ja muudab selle kontekstiliselt täpsemaks.
Nagu GPT, on ka BERT koolitatud suuremahulise tekstikorpuse alal. Originaal on väljaõpetatud ingliskeelses Wikipedias ja BooksCorpuses, andmestikus, mis sisaldab ligikaudu 11 000 avaldamata raamatud, mis moodustavad umbes 800 miljonit sõna, erinevatest žanritest, nagu ilukirjandus, teadus ja andmetöötlus.
BERT-i saab eelkoolitada erinevate keelemudelite osas, mis, nagu eespool mainitud, võimaldab seda koolitada konkreetsete rakenduste jaoks, millele on lisatud võimalus seda eelkoolitatud mudelit peenhäälestada.
Vastupidi, GPT-3 koolitati WebTexti andmestikuga, mis on suuremahuline korpus, mis sisaldab veebilehti sellistest allikatest nagu Wikipedia, raamatud ja artiklid. See sisaldab ka teksti Common Crawlist, mis on avalikult kättesaadav veebisisu arhiiv. Ja seda saab ka konkreetsetel eesmärkidel peenhäälestada.
Mis puutub GPT-4-sse, siis koolitusandmete teave on veidi napp, kuid on üsna tõenäoline, et GPT-4 on koolitatud sarnaselt mitmekesise andmestiku põhjal. sealhulgas uuemad allikad ja veelgi suurem hulk andmeid, et parandada tema arusaamist loomulikust keelest ja selle võimet luua kontekstuaalselt asjakohast vastuseid.
Kasutusjuhtumid
Kuigi mõlemad on väga mitmekülgsed NLP-mudelid, eristavad nende arhitektuurilised erinevused neid mõnel viisil. Näiteks on BERT palju võimekam järgmistel kasutusjuhtudel:
- Sentimendi analüüs: BERT saab paremini aru antud teksti üldisest meeleolust, kui ta analüüsib sõnu mõlemas suunas.
- Nimega olemi tuvastamine: BERT suudab tuvastada konkreetses tekstiosas erinevaid üksusi, sealhulgas asukohti, inimesi või organisatsioone.
- Küsimustele vastamine: Tänu oma suurepärasele arusaamisvõimele on BERT võimeline tekstist teavet eraldama ja küsimustele täpselt vastama.
GPT-õppemudel pole samuti loll. Kuigi sentimentaalanalüüs ei pruugi olla selle tugevaim külg, paistab GPT silma mitmes muus rakenduses:
- Sisu loomine: Kui olete ChatGPT-d kasutanud, siis ilmselt teate seda juba. Sisu loomisel kavaldab GPT enamikku teisi mudeleid. Lihtsalt kirjutage viip ja see annab täiesti sidusa (kuigi mitte alati täpse) vastuse.
- Kokkuvõttev tekst: Lihtsalt kopeerige ja kleepige suur tekstiplokk ChatGPT-sse ja paluge tal sellest kokkuvõte teha. See on võimeline tegema teksti kokkuvõtte, säilitades samal ajal põhiteabe.
- Masintõlge: Tänu selle võimele luua teksti konteksti põhjal saab GPT-d peenhäälestada teksti tõlkimiseks ühest keelest teise.
Kasutatavus
Erinevalt ChatGPT-st, mis võimaldab kõigil GPT mudelit kasutada, pole BERT nii kergesti kättesaadav. Esiteks peate alla laadima algselt avaldatud Jupyteri märkmik BERT-i jaoks ja seejärel seadistage Google Colabi või TensorFlow abil arenduskeskkond.
Kui te ei soovi a Jupyteri märkmik või ei ole nii tehnilised, võiksite kaaluda ChatGPT kasutamist, mis on sama lihtne kui lihtsalt veebisaidile sisselogimine. Siiski oleme ka käsitlenud kuidas kasutada Jupyteri sülearvutit, mis peaks andma teile hea lähtepunkti.
BERT ja GPT näitavad AI võimalusi
BERT ja GPT koolitusmudelid on selged näited sellest, milleks tehisintellekt on võimeline. ChatGPT on populaarsem ja selle tulemuseks on juba mitmed lisarakendused, näiteks Auto-GPT, mis häirivad töövooge ja muudavad tööfunktsioone.
Kuigi tehisintellekti kasutuselevõtu ja selle töökohtade jaoks võib olla skeptitsismi, on olemas ka potentsiaal heale poole. Paljud ettevõtted, nagu Google ja OpenAI, töötavad juba kontrollide loomise ja tehisintellekti tehnoloogia edasise reguleerimise nimel, mis võib tuleviku jaoks head tõotada.
