7 parimat kohalikku / võrguühenduseta LLM-i, mida saate kohe proovida

Tavaliselt pääsevad kasutajad suurte keelemudelite (LLM) juurde kasutajaliidese kaudu API kaudu. Kuigi API-de kasutamine pakub mitmeid eeliseid, toob see kaasa ka piiranguid, näiteks vajaduse pideva Interneti järele ühendus, piiratud kohandused, võimalikud turvaprobleemid ja ettevõtted, mis piiravad mudeli võimalusi a maksemüür.

Kvantiseeritud LLM-idega, mis on nüüd saadaval HuggingFace'is, ja tehisintellekti ökosüsteemides, nagu H20, Text Gen ja GPT4All võimaldab teil LLM-i kaalusid oma arvutisse laadida, on teil nüüd võimalus tasuta, paindlikuks ja turvaliseks AI.

Alustuseks on siin seitse parimat kohalikku/võrguühenduseta LLM-i, mida saate praegu kasutada!

1. Hermes GPTQ

Kaasaegne keelemudel, mis on viimistletud Nous Researchi 300 000 juhisest koosneva andmekogumi abil. Hermes põhineb Meta LlaMA2 LLM-il ja seda peenhäälestatakse peamiselt sünteetiliste GPT-4 väljunditega.

LlaMA2 kasutamine selle baasmudelina võimaldab Hermesil kahekordistada konteksti suurust või maksimaalset märgi suurust 4096. Seoses pika konteksti suuruse ja kodeerija arhitektuuriga annab Hermes teadaolevalt pikki vastuseid ja madalat hallutsinatsioonimäära. See muudab Hermese suurepäraseks mudeliks erinevatele

loomuliku keele töötlemine (NLP) ülesandeid, nagu koodi kirjutamine, sisu loomine ja vestlusrobotiks olemine.

Uuel Hermes GPTQ-l on mitu kvantifitseerimist ja versiooni. Soovitame teil esmalt proovida Hermes-Llama2 13B-GPTQ mudelit, kuna seda on kõige lihtsam juurutada, kuid sellel on ka suurepärane jõudlus.

2. Falcon juhendab GPTQ-d

See Falconi kvantiseeritud versioon põhineb ainult dekoodri arhitektuuril, mis on peenhäälestatud TII toores Flacon-7b mudelil. Falconi baasmudelit õpetati välja silmapaistvate 1,5 triljoni žetoonide abil, mida hangiti avalikust Internetist. Apache 2 alusel litsentsitud juhistepõhise dekoodri mudelina sobib Falcon Instruct suurepäraselt väikeettevõtetele, kes otsivad mudelit keele tõlkimiseks ja andmete sisestamiseks.

Kuid see Falconi versioon ei ole ideaalne peenhäälestamiseks ja on mõeldud ainult järelduste tegemiseks. Kui soovite Falconit peenhäälestada, peate kasutama töötlemata mudelit, mis võib nõuda juurdepääsu ettevõtte taseme koolitusriistvarale, nagu NVIDIA DGX või AMD Instinct AI kiirendid.

3.GPT4ALL-J Groovy

GPT4All-J Groovy on ainult dekoodri jaoks mõeldud mudel, mida on peenhäälestanud Nomic AI ja mis on litsentsitud Apache 2.0 alusel. GPT4ALL-J Groovy põhineb algsel GPT-J mudelil, mis on teadaolevalt suurepärane teksti genereerimisel viipadest. GPT4ALL -J Groovy on peenhäälestatud vestlusmudeliks, mis sobib suurepäraselt kiirete ja loominguliste teksti genereerimise rakenduste jaoks. See muudab GPT4All-J Groovy ideaalseks sisuloojatele, kes abistavad neid kirjutamisel ja loometöödel, olgu selleks siis luule, muusika või lood.

Kahjuks õpetati GPT-J baasmudelit ainult ingliskeelsele andmestikule, mis tähendab, et isegi see peenhäälestatud GPT4ALL-J mudel saab vestelda ja teksti genereerimise rakendusi täita ainult inglise keeles.

4. WizardCoder-15B-GPTQ

Kas otsite spetsiaalselt kodeerimiseks peenhäälestatud mudelit? Vaatamata oma oluliselt väiksemale suurusele on WizardCoder teadaolevalt üks parimaid kodeerimismudeleid, mis edestab teisi mudeleid, nagu LlaMA-65B, InstructCodeT5+ ja CodeGeeX. Seda mudelit koolitati, kasutades kodeerimisspetsiifilist Evol-Instruct meetodit, mis muudab teie viipasid automaatselt tõhusamaks kodeerimisega seotud viipaks, mida mudel paremini mõistab.

Kuna WizardCoder on kvantifitseeritud 4-bitiseks mudeliks, saab seda nüüd kasutada tavalistes arvutites, kus üksikisikud saavad seda kasutada katsetamiseks ning lihtsamate programmide ja skriptide kodeerimisassistendina.

5. Nõustaja Vicuna tsenseerimata-GPTQ

Wizard-Vicuna GPTQ on Wizard Vicuna kvantiseeritud versioon, mis põhineb LlaMA mudelil. Erinevalt enamikust üldsusele avaldatud LLM-idest on Wizard-Vicuna tsenseerimata mudel, mille joondus on eemaldatud. See tähendab, et mudelil ei ole samad ohutus- ja moraalistandardid kui enamikul mudelitel.

Kuigi võib-olla poseerib AI joondamise kontrolli probleem, toob tsenseerimata LLM välja ka mudeli parimad küljed, võimaldades vastata ilma piiranguteta. See võimaldab kasutajatel lisada ka kohandatud joonduse selle kohta, kuidas AI peaks antud viipa alusel toimima või vastama.

6. Orca Mini-GPTQ

Kas soovite katsetada ainulaadse õppemeetodi järgi koolitatud mudeliga? Orca Mini on Microsofti Orca uurimistööde mitteametlik mudelirakendus. Seda koolitati õpetaja-õpilase õppemeetodil, kus andmestik oli täis selgitusi, mitte ainult viipasid ja vastuseid. Selle tulemuseks peaks teoreetiliselt olema targem õpilane, kus mudel saab probleemist aru, mitte lihtsalt otsida sisend- ja väljundpaare, nagu tüüpilised LLM-id.

Vaid kolme miljardi parameetriga Orca Mini GPTQ-d on lihtne kasutada ka vähem võimsates süsteemides. Seda mudelit ei tohiks siiski kasutada millegi professionaalse jaoks, kuna see genereerib valeteavet, kallutatud ja solvavaid vastuseid. Seda mudelit tuleks kasutada Orca ja selle meetodite õppimiseks ja katsetamiseks.

7.LlaMA 2 vestlus GPTQ

LlaMA 2 on algse LlaMA LLM-i järeltulija, mis tõi kaasa enamiku selle loendi mudeleid. LlaMA 2 on mitme LLM-i kogum, millest igaüks on koolitatud 7–70 miljardi parameetriga. Üldiselt oli LlaMA 2 eelkoolitatud, kasutades 2 triljonit andmemärki, mis võeti avalikult kättesaadavatest juhiste andmekogumitest.

LlaMA 2 on ette nähtud kasutamiseks ärilisel ja teaduslikul eesmärgil. Sellisena on seda mudelit konkreetsete ülesannete paremaks täitmiseks kõige parem kasutada pärast peenhäälestamist. See konkreetne LlaMA 2 vestluse GPTQ mudel on peenhäälestatud ja optimeeritud inglise keele dialoogi jaoks, muutes selle ideaalne mudel ettevõtetele ja organisatsioonidele, et töötada vestlusrobotina vähese või ilma lisakoolitusega nõutud. Tingimuste kohaselt saavad ettevõtted, kellel on alla 700 miljoni kasutaja, kasutada LlaMA 2 ilma Meta või Microsofti litsentsitasu maksmata.

Proovige kohalikke suuri keelemudeleid juba täna

Mõnel ülaltoodud mudelil on parameetrite osas mitu versiooni. Üldiselt annavad kõrgema parameetriga versioonid paremaid tulemusi, kuid nõuavad võimsamat riistvara, samas kui madalamate parameetritega versioonid loovad madalama kvaliteediga tulemusi, kuid võivad töötada madalama kvaliteediga riistvaraga. Kui te pole kindel, kas teie arvuti suudab seda mudelit käitada, proovige esmalt kasutada madalama parameetriga versiooni, seejärel jätkake, kuni tunnete, et jõudluse langus pole enam vastuvõetav.

Kuna selles loendis olevad kvantiseeritud mudelid võtavad vaid mõne gigabaidi ruumi ja mudeli juurutusplatvormid nagu GPT4All ja Text-Generation-WebUI saab hõlpsasti installida nende ühe klõpsuga installijate kaudu, mitme mudeli ja mudeliversioonide proovimine ei tohiks võtta palju aega ja vaeva.

Mida sa siis ootad? Proovige kohalikku mudelit juba täna!