Mis on Apple'i närvimootor ja kuidas see töötab?

Teie iPhone, iPad, Mac ja Apple TV kasutavad spetsiaalset närviprotsessorit nimega Apple Neural Engine (ANE), mis on palju kiirem ja energiasäästlikum kui CPU või GPU.

ANE võimaldab seadmes täiustatud funktsioone, nagu loomuliku keele töötlemine ja pildianalüüs, ilma pilve puudutamata või liigset energiat kasutamata.

Uurime, kuidas ANE töötab ja selle arengut, sealhulgas järeldusi ja luureandmeid, mida see Apple'i platvormidel võimaldab, ning kuidas arendajad saavad seda kasutada kolmandate osapoolte rakendustes.

Mis on Apple'i närvimootor (ANE)?

Apple Neural Engine on turundusnimi spetsialiseeritud arvutustuumade klastri jaoks, mis on optimeeritud sügavate närvivõrkude energiatõhusaks täitmiseks Apple'i seadmetes. See kiirendab masinõppe (ML) ja tehisintellekti (AI) algoritme, pakkudes peamise protsessori või GPU ees tohutuid kiiruse, mälu ja võimsuse eeliseid.

ANE on suur osa sellest, miks uusimad iPhone'id, iPadid, Macid ja Apple TV-d on tundlikud ega lähe raskete ML- ja AI-arvutuste ajal kuumaks. Kahjuks pole kõigil Apple'i seadmetel ANE-d – Apple Watchil, Inteli-põhistel Macidel ja 2016. aastast vanematel seadmetel puudub see.

Esimene ANE, mis debüteeris Apple'i A11 kiibis 2017. aasta iPhone X-is, oli piisavalt võimas, et toetada Face ID-d ja Animojit. Võrdluseks, A15 Bionicu kiibi uusim ANE on 26 korda kiirem kui esimene versioon. Tänapäeval võimaldab ANE selliseid funktsioone nagu võrguühenduseta Siri ja arendajad saavad seda kasutada varem koolitatud ML-mudelite käitamiseks, vabastades CPU ja GPU, et keskenduda ülesannetele, mis neile paremini sobivad.

Kuidas Apple'i närvimootor töötab?

ANE pakub juhtimis- ja aritmeetilist loogikat, mis on optimeeritud ulatuslike arvutustoimingute tegemiseks, nagu korrutamine ja akumulatsioon, mida kasutatakse tavaliselt ML ja AI algoritmides, nagu piltide klassifitseerimine, meediaanalüüs, masintõlge ja rohkem.

Vastavalt Apple'i patent pealkirjaga "Multi-Mode Planar Engine for Neural Processor" ANE koosneb mitmest närvimootori tuumast ja ühest või mitmest mitmerežiimilisest tasapinnalisest vooluringist.

Disain on optimeeritud paralleelseks andmetöötluseks, kus paljusid operatsioone, nagu triljonites iteratsioonides jooksvad maatrikskorrutised, tuleb läbi viia samaaegselt.

Järelduste tegemise kiirendamiseks AI algoritmides kasutab ANE ennustavaid mudeleid. Lisaks on ANE-l oma vahemälu ja see toetab vaid mõnda andmetüüpi, mis aitab jõudlust maksimeerida.

AI funktsioonid Toetab ANE

Siin on mõned seadme funktsioonid, mida ANE võimaldab.

• Loomuliku keele töötlemine: kiirem ja usaldusväärsem hääletuvastus dikteerimise ja Siri jaoks; Täiustatud loomuliku keele õpe tõlkerakenduses ja kogu süsteemis; Kiire tekstitõlge rakendustes Photos, Camera ja muudes iPhone'i rakendustes.
• Arvutinägemine: objektide otsimine piltidelt, nagu maamärgid, lemmikloomad, taimed, raamatud ja lilled, kasutades rakendust Photos või Spotlighti otsingut; Lisateabe saamine selle kohta tuvastas objektid Visual Look Up abil sellistes kohtades nagu Safari, Mail ja Messages.
• Liitreaalsus: inimeste oklusioon ja liikumise jälgimine AR-rakendustes.
• Videoanalüüs: nägude ja objektide tuvastamine videol sellistes rakendustes nagu Final Cut Pro.
• Kaamera efektid: automaatne kärpimine keskastmega; Tausta hägustumine FaceTime'i videokõnede ajal.
• Mängud: fotorealistlikud efektid 3D-videomängudes.
• Reaalajas tekst: Optilise märgituvastuse (OCR) pakkumine funktsioonides Kaamera ja fotod, mis võimaldab teil hõlpsalt kopeerida piltidelt käsitsi kirjutatud teksti või teksti, näiteks Wi-Fi parooli või aadressi.
• Arvutusfotograafia: Deep Fusion analüüsib piksleid parema müra vähendamise, suurema dünaamilise ulatuse ning parema automaatse särituse ja valge tasakaalu saavutamiseks, võimendades vajadusel Smart HDR-i; Madala teravussügavusega pildistamine, sealhulgas öörežiimi portreede tegemine; Tausta hägususe taseme reguleerimine sügavuse juhtimisega.
• Natuke: ANE-d kasutatakse ka fotostiilide jaoks rakenduses Kaamera, mälestuste kureerimiseks ja stiililiste efektide jaoks rakenduses Photos, isikupärastatud soovitused, nagu taustapildi soovitused, VoiceOveri piltide pealdised, piltide duplikaatide leidmine Fotod jne.

Mõned ülalmainitud funktsioonid, nagu pildituvastus, töötavad ka ilma ANE-ta, kuid töötavad palju aeglasemalt ja koormavad teie seadme akut.

Apple'i närvimootori lühiajalugu: iPhone X-ist M2 Macini

2017. aastal võttis Apple kasutusele oma esimese ANE kahe spetsiaalse tuuma kujul iPhone X A11 kiibis. Tänaste standardite järgi oli see suhteliselt aeglane, vaid 600 miljardit toimingut sekundis.

Teise põlvkonna ANE ilmus A12 kiibi sisse 2018. aastal ja sellel oli neli korda rohkem südamikke. Viis triljonit toimingut sekundis hinnatud ANE oli peaaegu üheksa korda kiirem ja kasutas kümnendiku oma eelkäija võimsusest.

2019. aasta A13 kiibil oli sama kaheksatuumaline ANE, kuid see töötas viiendiku võrra kiiremini, kasutades samal ajal 15% vähem energiat, mis on TSMC täiustatud 7 nm pooljuhtsõlme toode. TSMC (Taiwan Semiconductor Manufacturing Company) toodab Apple'i disainitud kiipe.

Apple'i närvimootori areng

Järgmisel aastal suurendas Apple A14 ANE jõudlust 11 triljoni toiminguni sekundis, mis saavutati ANE tuumade arvu suurendamisega 8-lt 16-le. 2021. aastal sai A15 Bionic kasu TSMC teise põlvkonna 5 nm protsessist, mis suurendas veelgi ANE jõudlust 15,8 triljoni toiminguni sekundis ilma rohkem südamikke lisamata.

Esimestel Maciga seotud M1, M1 Pro ja M1 Max kiipidel oli sama ANE kui A14-l, tuues esmakordselt MacOS-i platvormile täiustatud riistvarakiirendusega ML ja AI.

2022. aastal ühendas M1 Ultra kaks M1 Maxi kiipi ühte paketti, kasutades Apple'i kohandatud ühendust, mille nimi on UltraFusion. Kaks korda suurema ANE tuumaga (32) kahekordistas M1 Ultra ANE jõudlust 22 triljoni toiminguni sekundis.

2022. aasta Apple A16 valmistati TSMC täiustatud N4-sõlme abil, mis tagab A15 ANE-ga võrreldes umbes 8% kiirema ANE jõudluse (17 triljonit toimingut sekundis).

Esimesed ANE-toega iPadid olid viienda põlvkonna iPad mini (2019), kolmanda põlvkonna iPad Air (2019) ja kaheksanda põlvkonna iPad (2020). Kõigil sellest ajast alates välja antud iPadidel on ANE.

Kuidas saavad arendajad rakendustes ANE-d kasutada?

Paljud kolmanda osapoole rakendused kasutavad ANE-d funktsioonide jaoks, mis muidu poleks teostatavad. Näiteks pildiredaktor Pixelmator Pro pakub selliseid tööriistu nagu ML Super Resolution ja ML Enhance. Ja djay Pro puhul eraldab ANE salvestusest biidid, instrumentaalid ja vokaalirajad.

Kuid kolmanda osapoole arendajad ei saa ANE-le madalat juurdepääsu. Selle asemel peavad kõik ANE-kõned läbima Apple'i masinõppe tarkvararaamistiku Core ML. Core ML-iga saavad arendajad oma ML-mudeleid otse seadmes ehitada, koolitada ja käitada. Sellist mudelit kasutatakse seejärel uute sisendandmete põhjal prognooside tegemiseks.

"Kui mudel on kasutaja seadmes, saate Core ML-i kasutada selle seadmes selle kasutaja andmetega ümberõpetamiseks või peenhäälestamiseks," seisab Core ML-i ülevaates. Apple'i veebisait.

ML-i ja AI-algoritmide kiirendamiseks kasutab Core ML lisaks ANE-le ka CPU-d ja GPU-d. See võimaldab Core ML-il mudelit käitada isegi siis, kui ANE pole saadaval. Kuid ANE olemasolu korral töötab Core ML palju kiiremini ja aku ei tühjene nii kiiresti.

Paljud Apple'i funktsioonid ei töötaks ilma ANE-ta

Paljud seadmesisesed funktsioonid poleks võimalikud ilma AI- ja ML-algoritmide kiire töötlemiseta ning minimeeritud mälumahu ja energiatarbimiseta, mille ANE toob lauale. Apple'i võlu on spetsiaalne kaasprotsessor närvivõrkude privaatseks käitamiseks seadmes, selle asemel, et neid ülesandeid pilves asuvatesse serveritesse maha laadida.

ANE abil saavad nii Apple kui ka arendajad juurutada sügavaid närvivõrke ja saada kasu kiirendatud süsteemist. masinõpe erinevate ennustavate mudelite jaoks, nagu masintõlge, objektide tuvastamine, kujutiste klassifitseerimine, jne.