Kuidas käitada Linuxis suurt keelemudelit (ja miks peaksite)

Suured keelemudelid võivad muuta teie elu- ja tööviisi pöördeliseks ning võivad pidada vestlusi ja vastata küsimustele erineva täpsusega.

Selle kasutamiseks vajate tavaliselt LLM-i pakkuja kontot ja veebisaidi või spetsiaalse rakenduse kaudu sisselogimist. Kuid kas teadsite, et saate Linuxis oma suurt keelemudelit kasutada täiesti võrguühenduseta?

Miks käitada Linuxis suurt keelemudelit?

Suured keelemudelid (LLM) on tänapäeval kõikjal ja suudavad töödelda loomulikku keelt ja anda asjakohaseid vastuseid, mis võivad teid petta arvama, et inimene on vastanud. Microsoft toob välja Bingi uue AI-toega versiooni, samas kui tähestiku oma Bard on nüüd Google'i otsingute lahutamatu osa.

Otsingumootoritest eemal saate kasutada niinimetatud "AI-vestlusboteid", et vastata küsimustele, koostada luulet või isegi teha teie eest kodutööd.

Kuid võrgus LLM-idele juurde pääsedes sõltute kolmandast osapoolest teenusepakkuja heast tahtest, mille saab igal ajal tagasi võtta.

Teile kehtivad ka kasutuspiirangud. Paluge OpenAI-l kirjutada 6000-sõnaline erootiline romaan, mille tegevus toimub näiteks Natsi-Saksamaal, ja saate vastuseks: "Ma vabandan, aga ma ei saa seda lugu teile luua."

Kõike, mida veebipõhisesse LLM-i sisestate, kasutatakse nende edasiseks koolitamiseks ja andmeid, mida soovite võib-olla konfidentsiaalsena hoida, võidakse tulevikus kellegi teise küsimusele vastates välja sülitada.

Samuti kannatate teenuse puudumise tõttu, kuna süsteem on kasutajatest üle ujutatud ja tellida soovitakse, et pääseksite platvormile juurde, kui nõudlus on suur.

Dalai on Meta LLaMa LLM ja Stanfordi Alpaca tasuta ja avatud lähtekoodiga rakendus. See töötab mugavalt tagasihoidliku riistvaraga ja pakub mugavat veebiliidest ja mitmesuguseid viipamalle – nii et saate küsida mida iganes kui soovite, kartmata, et administraator sulgeb teie konto, keeldub LLM vastamast või teie ühendus läheb tilk.

Kui installite LLM-i Linuxi kohalikult, on see teie oma ja saate seda kasutada nii, nagu soovite.

Kuidas installida Dalai Linuxi

Lihtsaim viis Dalai installimiseks Linuxisse on Dockeri ja Docker Compose'i kasutamine. Kui teil neid veel pole, vaadake meie juhendit, kuidas seda teha installige Docker ja Docker Compose.

Kui see pole võimalik, olete valmis Dalai installima. Kloonige Dalai GitHubi hoidla ja kasutage sinna liikumiseks käsku cd:

git kloon https://github.com/cocktailpeanut/dalai.git && cd dalai

Dalai veebiliidese abil käivitamiseks looge esmalt fail Docker Compose:

dokkimiskomponeerimise ehitamine

Docker Compose laadib alla ja installib Python 3.11, Node Version Manager (NVM) ja Node.js.

Seitsmendal etapil üheksast näib, et versioon hangub, kui Docker Compose Dalai alla laadib. Ärge muretsege: kontrollige oma ribalaiust, et veenduda, et midagi toimub, ja simuleerida virtuaalsete organismide arengut oma terminalis kuni ootad.

Lõpuks naasete käsureale.

Dalai ja LLaMa/Alpaca mudelid nõuavad töötamiseks palju mälu. Kuigi ametlikku spetsifikatsiooni pole, on hea ligikaudne juhend 7B mudeli jaoks 4 GB, 13B mudeli jaoks 8 GB, 30B mudeli jaoks 16 GB ja 65B mudeli jaoks 32 GB.

Alpaca mudelid on suhteliselt väikesed, 13B mudel ulatub tagasihoidliku 7,6 GB-ni, kuid LLaMA kaal võib olla tohutu: samaväärne 13B allalaaditav maht on 60,21 GB ja 65B mudel võtab teie kõvakettal eepiliselt pool terabaiti kettale.

Otsustage, milline mudel on teie ressurssidele kõige sobivam, ja kasutage selle installimiseks järgmist käsku:

docker-compose käivitada dalai npx dalai alpaca install 13B

Või:

docker-compose käivitada dalai npx dalai lama install 13B

On võimalus, et Dalai kaudu alla laaditud mudelid võivad olla rikutud. Kui see nii on, haarake need käest Kallistav nägu selle asemel.

Pärast käsureale naasmist avage Docker Compose eraldatud režiimis:

dokkija-koostama üles -d

Kontrollige, kas konteiner töötab korralikult:

dokkija-koostamine ps

Kui kõik töötab nii nagu peab, avage veebibrauser ja sisestage kohalik host: 3000 aadressiribal.

Lõbutsege oma suure keelemudeliga Linuxis

Kui veebiliides avaneb, näete tekstikasti, kuhu saate oma viipasid kirjutada.

Tõhusate viipade kirjutamine on keeruline ja Dalai arendajad on abivalmilt pakkunud hulga malle, mis aitavad teil Dalailt kasulikku vastust saada.

Need on AI-dialoog, Vestlusbot, Vaikimisi, Juhend, Uuesti kirjutama, Tõlgi, ja Tweet-sentiment.

Nagu arvata võis, AI-dialoog ja Vestlusbot mallid on üles ehitatud viisil, mis võimaldab teil pidada LLM-iga omamoodi vestlust. Peamine erinevus nende kahe vahel seisneb selles, et vestlusbot peaks olema "väga intelligentne", samas kui AI-Dialog on "abivalmis, lahke, kuulekas, aus ja tunneb oma piire".

Loomulikult on see teie "AI" ja kui see teile meeldib, saate muuta viipa, nii et vestlusbot on loll ja AI-dialoogi omadused on "sadistlikud" ja "kasutud". See on sinu teha.

Testisime läbi Tõlgi kopeerides BBC uudise alguslõiku ja paludes Dalai'l see hispaania keelde tõlkida. Tõlge oli hea ja kui käivitasime selle Google'i tõlke kaudu, et see uuesti inglise keelde muuta, leidsime, et see on üsna loetav ja kajastas originaalteose fakte ja sentimenti.

Samamoodi, Uuesti kirjutama mall keerutas teksti veenvalt uue artikli alguseks.

The Vaikimisi ja Juhend viipade ülesehitus aitab teil küsimusi esitada või Dalai otse juhendada.

Dalai vastuse täpsus varieerub suuresti sõltuvalt sellest, millist mudelit kasutate. 30B mudel on palju kasulikum kui 7B mudel. Kuid isegi siis tuletatakse teile meelde, et LLM-id on lihtsalt keerukad süsteemid lause järgmise sõna äraarvamiseks.

Ei 7B ega 13B Alpaca mudelid ei suutnud anda täpset 200-sõnalist kokkuvõtet novellist "Cat in the Rain", mille autor on Ernest Hemingway, ja mõlemad lõid põhjalikult veenvad süžeeliinid ja üksikasjad selle kohta, mis lugu on. sisaldas.

Ja kuigi "abivalmis, lahke, kuulekas, aus" AI-dialoog, mis "teab oma piire", ja "väga intelligentne" Chatbot ei taha vastuoluliste viipade korral võite anda Dalaile otsese juhise või vaikepäringu ja see kirjutab kõik, mis teile meeldib – kuidas teile meeldib seda.

Teie Linuxi masina suur keelemudel on teie päralt

Kui kasutate oma Linuxi kastis suurt keelemudelit, ei allu teid järelevalvele ega teenust tühistada. Saate seda kasutada oma äranägemise järgi, kartmata ettevõtte sisueeskirjade rikkumise tagajärgi.

Kui teie arvutusressursse on vähe, saate isegi LLM-i kohapeal käivitada tagasihoidlikul Raspberry Pi-l.