Mis on tehisintellekti ülekandeõpe ja kuidas see toimib?

Kui olete huvitatud oma tehisintellekti mudeli väljaõpetamisest loomuliku keele töötlemise (NLP) või arvutinägemise jaoks, peaksite end kurssi viima ülekandeõppe ja eelkoolitatud mudelite kasutamisega.

Ilma ülekantava õppeta on tõhusa ja usaldusväärse mudeli väljaõpe sageli ressursse takistav ettevõtmine, mis nõuab palju raha, aega ja teadmisi, kuna ChatGPT arendaja OpenAI kulutas hinnanguliselt miljoneid GPT-3, GPT-3.5 ja GPT-4. Ülekandeõppe abil saate lühikese aja jooksul treenida oma mudelit, mis on sama võimas kui uusim GPT-mudel.

Mis on AI ülekandeõpe?

Ülekandeõpe on idee kasutada eelkoolitatud mudelit, nagu BERT või mõni neist erinevad GPT mudelid ja õpetada seda kohandatud andmestikule, et see töötaks ülesannetega, mille lahendamiseks see ei olnud tingimata koolitatud.

Näiteks võite võtta erinevate kassiliikide klassifitseerimiseks eelnevalt koolitatud mudeli ja treenida seda koerte klassifitseerimiseks. Ülekandeõppe kaudu peaks teie koerte klassifitseerimise mudeli koolitamine võtma oluliselt vähem aega ja ressursse, et saada sama usaldusväärseks kui algne kasside klassifitseerimismudel.

See toimib, kuna kassidel ja koertel on palju ühiseid jooni, mida eelkoolitatud modell juba tuvastab. Kuna kasside klassifitseerimismudel suudab tuvastada kassi erinevaid tunnuseid, nagu neli jalga, kasukas ja silmapaistev kass. koerte klassifitseerimismudel võib kogu treeningu vahele jätta, et tuvastada need tunnused ja pärida need algsest mudel. Pärast kõigi nende närvivõrkude pärimist lõigate välja koolitatud mudeli viimased kihid, mida kasutatakse kassi spetsiifilisemate tunnuste tuvastamiseks, ja asendate need koertele spetsiifilise andmekogumiga.

Milliseid tehisintellekti mudeleid saate ülekandeõppeks kasutada?

Ülekandeõppe kasutamiseks vajate eelkoolitatud mudelit. Eelkoolitatud mudelit tuntakse tavaliselt AI mudelina, mis on koolitatud konkreetse teema või idee kohta üldiste teadmiste saamiseks. Seda tüüpi eelkoolitatud mudelid on sihilikult loodud selleks, et inimesed saaksid täpsustada ja teha rakendusepõhisemaid mudeleid. Mõned kõige populaarsemad eelkoolitatud mudelid on mõeldud NLP jaoks, näiteks BERT ja GPTja arvutinägemine, näiteks VGG19 ja Inceptionv3.

Ehkki need on populaarsed, pole need hõlpsasti peenhäälestatavad mudelid ainsad, mida saate ülekandeõppeks kasutada. Võite kasutada ka mudeleid, mis on koolitatud ülesannete jaoks, mis on spetsiifilisemad kui üldine objekti- või keeletuvastus. Kuni mudelis on välja töötatud närvivõrgud, mis on rakendatavad mudelile, mida proovite treenida, saate ülekandmiseks kasutada peaaegu iga mudelit.

Saate hankida avalikult kättesaadavaid eelkoolitatud mudeleid sellistest kohtadest nagu TensorFlow Hub, Hugging Face ja OpenAI mudeliturg.

AI ülekandeõppe kasutamise eelised

Ülekandeõpe pakub mitmeid eeliseid võrreldes AI-mudeli nullist koolitamisega.

• Vähendatud treeninguaeg: Nullist mudelit koolitades kulub suur osa koolitusprotsessist üldistele põhiteadmistele. Ülekandeõppe kaudu pärib teie mudel automaatselt kõik need põhiteadmised, vähendades seega oluliselt koolituse aega.
• Vähem ressursinõue: Kuna kõik põhiteadmised on juba olemas, pole vaja muud teha, kui mudelit oma rakenduse spetsiifika jaoks edasi koolitada. Selleks on sageli vaja suhteliselt väikest andmekogumit, mida saab töödelda väiksema arvutusvõimsusega.
• Parem jõudlus: Kui te ei kuluta miljoneid dollareid oma mudeli nullist ülesehitamiseks, ei saa te hiiglaslikult tehnoloogiaettevõttelt oodata nii head või usaldusväärset mudelit kui suur keelemudel (LLM). Ülekandeõpet kasutades saate oma mudeli jõudluse parandamiseks kasutada nende eelkoolitatud LLM-ide (nt GPT) võimsaid võimalusi.

Tehisintellekti mudeli nullist väljaõpetamine on võimalik, kuid selleks on vaja rohkem ressursse.

Kuidas ülekandeõpe töötab?

Sisuliselt on õppimise ülekandmisel kolm etappi.

• Eelkoolitatud mudeli valimine: Eelkoolitatud mudel läbib esmase väljaõppe, kasutades lähteülesande (nt ImageNet) suurt andmestikku või suurt tekstikogu. See esialgne koolitusfaas võimaldab mudelil omandada teadmisi andmekogumis leiduvate üldiste tunnuste ja mustrite kohta. See, kui palju aega ja ressursse ülekandmisõppest säästate, sõltub eelkoolitatud mudeli ja loodava mudeli sarnasustest.
• Funktsiooni ekstraheerimine: Kui eelkoolitatud mudel on peenhäälestamiseks valitud, külmutatakse eelkoolitatud mudeli algsed kihid (sisendile kõige lähemal); see tähendab, et nende kaal hoitakse peenhäälestuse ajal fikseerituna. Nende kihtide külmutamine säilitab koolituseelses etapis õpitud üldteadmised ja hoiab ära nende tugeva mõjutamise sihtmudeli ülesandespetsiifilise andmestiku poolt. Konkreetsete rakenduste jaoks täielikult koolitatud mudelite puhul eemaldatakse mudelite viimased kihid või neid ei õpita, et sihtmudelit saaks koolitada muudes konkreetsetes rakendustes.
• Peenhäälestus: Pärast eelkoolitatud mudeli külmutamist ja pealmiste kihtide eemaldamist suunatakse õppealgoritmile uus andmestik, mida kasutatakse seejärel uue mudeli ja selle rakenduse spetsiifika koolitamiseks.

Selles on midagi enamat kui kolm etappi, kuid see ülevaade kirjeldab umbkaudselt tehisintellekti ülekande õppeprotsessi toimimist koos mõningate peenhäälestustega.

AI ülekandeõppe piirangud

Kuigi ülekandeõpe on väärtuslik kontseptsioon tõhusate ja usaldusväärsete mudelite koolitamisel, on ülekandmise õppimisel mudeli koolitamiseks palju piiranguid, mida peate teadma.

• Ülesande mittevastavus: Ülekandeõppe baasmudeli valimisel peab see olema võimalikult asjakohane nende probleemidega, mida uus mudel lahendab. Kasse klassifitseeriva mudeli kasutamine koerte klassifitseerimise mudeli loomiseks annab tõenäolisemalt paremaid tulemusi kui autode klassifitseerimise mudeli kasutamine taimede mudeli loomiseks. Mida asjakohasem on baasmudel mudelile, mida proovite luua, seda rohkem aega ja ressursse säästate kogu ülekande õppimise protsessis.
• Andmestiku kallutatus: Kuigi eelkoolitatud mudeleid koolitatakse sageli suurtes andmekogumites, on siiski võimalus, et neil tekkis koolituse ajal teatud eelarvamus. Väga kallutatud baasmudeli kasutamine pärib ka mudeli nihked, vähendades seega teie mudeli täpsust ja töökindlust. Kahjuks on nende eelarvamuste päritolu raske kindlaks teha, kuna süvaõppe musta kasti olemus.
• Liigne paigaldamine: Ülekandeõppe üks peamisi eeliseid on see, et saate mudeli edasiseks treenimiseks kasutada suhteliselt väikest andmekogumit. Mudeli treenimine liiga väikese andmekogumiga võib aga põhjustada ülepaigutamist, mis uute andmetega varustamise korral vähendab oluliselt mudeli töökindlust.

Ehkki ülekandeõpe on mugav tehisintellekti õppimise tehnika, eksisteerivad piirangud ja see pole hõbekuul.

Kas peaksite kasutama ülekandeõpet?

Alates eelkoolitatud mudelite olemasolust on ülekandeõpet alati kasutatud spetsiaalsemate mudelite tegemiseks. Pole mingit põhjust mitte kasutada ülekandeõpet, kui juba on olemas eelkoolitatud mudel, mis on seotud probleemidega, mida teie mudel lahendab.

Kuigi lihtsat masinõppemudelit on võimalik nullist välja õpetada, on selleks vaja süvaõppe mudelit palju andmeid, aega ja oskusi, millel pole mõtet, kui suudate olemasoleva mudeli sarnaselt sellele, mida plaanite rong. Seega, kui soovite kulutada vähem aega ja raha modelli koolitamisele, proovige oma modelli koolitada ülekandeõppe kaudu.