Kas peaksite kasutama kohalikku LLM-i? 9 Plussid ja miinused

Alates ChatGPT saabumisest 2022. aasta novembris on termin suur keelemudel (LLM) kiiresti muutunud tehisintellekti nohikute jaoks mõeldud nišiterminist kõigi huultel kõlavaks sõnaks. Kohaliku LLM-i suurim võlu on võime kopeerida teie arvutis vestlusroti, nagu ChatGPT, võimeid ilma pilve hostitud versiooni pagasita.

Argumendid on teie arvutis kohaliku LLM-i seadistamise poolt ja vastu. Lõpetame hüppe ja toome teieni faktid. Kas peaksite kasutama kohalikku LLM-i?

Kohalike LLM-ide kasutamise plussid

Miks on inimesed omaenda loomisest nii kiivas suured keelemudelid nende arvutites? Millised on praktilised eelised peale reklaami ja hooplemise?

1. Vähem tsensuuri

Kui ChatGPT ja Bing AI esimest korda võrku tulid, olid asjad, mida mõlemad vestlusrobotid olid valmis ütlema ja tegema, sama põnevad kui ka murettekitavad. Bing AI käitus soojalt ja armsalt, nagu oleks tal emotsioone. ChatGPT oli nõus kasutama sõimusõnu, kui ilusti küsisite. Tol ajal aitasid mõlemad vestlusrobotid teil isegi pommi teha, kui kasutaksite õigeid viipasid. See võib tunduda valede varjunditena, kuid suutlikkus teha mida iganes tähistas neid toiteks olnud keelemudelite piiramatuid võimalusi.

Täna mõlemad vestlusrobotid on nii rangelt tsenseeritud et nad ei aita sul isegi vägivaldsete stseenidega väljamõeldud kriminaalromaani kirjutada. Mõned AI-vestlusbotid ei räägi isegi religioonist või poliitikast. Kuigi LLM-id, mida saate kohapeal luua, ei ole täiesti tsensuurivabad, teevad paljud neist hea meelega mõtlemapanevaid asju, mida avalikkusele suunatud vestlusrobotid ei tee. Seega, kui te ei soovi, et robot teile isiklikku huvi pakkuvate teemade arutamise ajal moraalist loenguid annaks, võib kohaliku LLM-i juhtimine olla õige tee.

2. Parem andmete privaatsus

Üks peamisi põhjusi, miks inimesed valivad kohaliku LLM-i, on tagada, et kõik, mis nende arvutis toimub, jääks ka nende arvutisse. Kui kasutate kohalikku LLM-i, on see nagu privaatne vestlus oma elutoas – keegi väljaspool ei saa seda kuulata. Olenemata sellest, kas katsetate oma krediitkaardi andmeid või vestlete LLM-iga tundlikke isiklikke vestlusi, salvestatakse kõik saadud andmed ainult teie arvutisse. Alternatiiviks on kasutada avalikkusele suunatud LLM-e, nagu GPT-4, mis annab vastutavatele ettevõtetele juurdepääsu teie vestlusteabele.

3. Võrguühenduseta kasutamine

Kuna Internet on laialdaselt taskukohane ja juurdepääsetav, võib võrguühenduseta juurdepääs tunduda triviaalse põhjusena kohaliku LLM-i kasutamiseks. Võrguühenduseta juurdepääs võib muutuda eriti kriitiliseks kaugetes või eraldatud kohtades, kus Interneti-teenus on ebausaldusväärne või kättesaamatu. Selliste stsenaariumide korral muutub Interneti-ühendusest sõltumatult töötav kohalik LLM oluliseks tööriistaks. See võimaldab teil ilma katkestusteta jätkata, mida iganes soovite.

4. Kulude kokkuhoid

Võimekale LLM-ile, nagu GPT-4 või Claude 2, juurdepääsu keskmine hind on 20 dollarit kuus. Kuigi see ei pruugi tunduda hirmuäratava hinnaga, saate selle summa eest siiski mitmeid tüütuid piiranguid. Näiteks GPT-4 puhul, millele pääseb juurde ChatGPT kaudu, on teil 50 sõnumit kolme tunni kohta. Nendest piiridest saate üle vaid nii üleminekul ChatGPT Enterprise plaanile, mis võib potentsiaalselt maksta tuhandeid dollareid. Kohaliku LLM-i puhul ei pea pärast tarkvara seadistamist maksma 20 dollari suurust igakuist tellimust ega korduvaid kulusid. See on nagu sõidujagamisteenustele lootma jäämise asemel auto ostmine. Esialgu on see kallis, kuid aja jooksul säästate raha.

5. Parem kohandamine

Avalikult kättesaadavad AI-vestlusbotid on turvalisuse ja tsensuuri tõttu piiratud kohandamisega. Kohalikult hostitud tehisintellekti assistendi abil saate mudelit täielikult oma konkreetsetele vajadustele vastavaks kohandada. Saate koolitada assistenti teie kasutusjuhtumitele kohandatud varaliste andmetega, parandades asjakohasust ja täpsust. Näiteks võiks advokaat optimeerida oma kohalikku tehisintellekti, et saada täpsemaid õiguslikke teadmisi. Peamine eelis on teie ainulaadsete vajaduste jaoks kohandamise kontroll.

Kohalike LLM-ide kasutamise miinused

Enne üleminekut peaksite kaaluma kohaliku LLM-i kasutamisel mõningaid varjukülgi.

1. Ressursimahukas

Toimiva kohaliku LLM-i käitamiseks vajate tipptasemel riistvara. Mõelge võimsatele protsessoritele, palju RAM-i ja tõenäoliselt spetsiaalsele GPU-le. Ärge oodake, et 400-dollarine eelarvega sülearvuti pakuks head kogemust. Vastused on valusalt aeglased, eriti suuremate AI mudelite puhul. See on nagu tipptasemel videomängude mängimine – optimaalseks jõudluseks on vaja tugevaid spetsifikatsioone. Võib-olla vajate isegi spetsiaalseid jahutuslahendusi. Põhimõte on see, et kohalikud LLM-id nõuavad investeeringut tipptasemel riistvarasse, et saada veebipõhistes LLM-ides nauditav kiirus ja reageerimisvõime (või isegi seda parandada). Võrreldes veebipõhiste teenuste kasutamisega on teie arvuti nõuded märkimisväärsed.

2. Aeglasem reageerimine ja kehv jõudlus

Kohalike LLM-ide levinud piirang on aeglasem reageerimisaeg. Täpne kiirus sõltub konkreetsest AI mudelist ja kasutatavast riistvarast, kuid enamik seadistusi jääb võrguteenustest maha. Pärast seda, kui ChatGPT, Bard ja teised saavad koheselt vastuseid, võivad kohalikud LLM-id tunda end häirivalt loiduna. Sõnad nirisevad aeglaselt välja ja sõnad kiiresti tagasi tulevad. See ei ole üldiselt tõsi, kuna mõned kohalikud juurutused saavutavad head jõudlust. Kuid tavakasutajad seisavad silmitsi järsu langusega kiirest veebikogemusest. Seega valmistuge "kultuurišokiks" kiiretest võrgusüsteemidest aeglasemate kohalike ekvivalentideni.

Lühidalt, välja arvatud juhul, kui kasutate absoluutset tipptasemel seadistust (räägime AMD Ryzen 5800X3D-st koos Nvidia RTX 4090 ja piisavalt RAM-i laeva uputamiseks), ei anna teie kohaliku LLM-i üldist jõudlust võrrelda teie veebipõhiste generatiivsete AI-vestlusbotidega. harjunud.

3. Kompleksne seadistus

Kohaliku LLM-i juurutamine on rohkem kaasatud kui lihtsalt veebipõhise AI-teenuse kasutajaks registreerumine. Interneti-ühenduse korral võib teie ChatGPT, Bardi või Bing AI konto olla valmis viipade esitamiseks mõne minutiga. Täieliku kohaliku LLM-i virna seadistamine nõuab raamistike allalaadimist, infrastruktuuri konfigureerimist ja erinevate komponentide integreerimist. Suuremate mudelite puhul võib see keeruline protsess kesta tunde, isegi installimist lihtsustavate tööriistade puhul. Mõned tipptasemel AI-süsteemid vajavad kohapeal käitamiseks endiselt sügavaid tehnilisi teadmisi. Seega, erinevalt plug-and-play veebipõhistest AI-mudelitest nõuab oma tehisintellekti haldamine märkimisväärseid tehnilisi ja ajainvesteeringuid.

4. Piiratud teadmised

Paljud kohalikud LLM-id on minevikku kinni jäänud. Neil on praeguste sündmuste kohta piiratud teadmised. Kas mäletate, kui ChatGPT ei saanud Internetti juurde pääseda? Millal suutis see anda vastuseid ainult küsimustele sündmuste kohta, mis toimusid enne 2021. aasta septembrit? Jah? Sarnaselt varajaste ChatGPT mudelitega koolitatakse kohalikult hostitud keelemudeleid sageli ainult andmete põhjal enne teatud lõppkuupäeva. Seetõttu ei ole nad teadlikud hiljutistest arengutest pärast seda hetke.