Google'i TensorFlow platvorm võimaldab kasutajatel treenida tehisintellekti, pakkudes tööriistu ja ressursse masinõppeks. AI-insenerid on pikka aega kasutanud tehisintellekti koolitamiseks traditsioonilisi protsessoreid ja GPU-sid. Kuigi need protsessorid saavad hakkama erinevate masinõppeprotsessidega, on need siiski üldotstarbelised riistvarad, mida kasutatakse mitmesuguste igapäevaste toimingute jaoks.
AI-koolituse kiirendamiseks töötas Google välja rakendusspetsiifilise integraallülituse (ASIC), mida tuntakse Tensor Processing Unit (TPU) nime all. Kuid mis on Tensori töötlemisüksus ja kuidas need kiirendavad AI programmeerimist?
Mis on tensoritöötlusüksused (TPU)?
Tensori töötlemisüksused on Google'i omad ASIC masinõppe jaoks. TPU-sid kasutatakse spetsiaalselt süvaõppeks keerukate maatriks- ja vektoroperatsioonide lahendamiseks. TPU-d on voolujoonelised, et lahendada maatriks- ja vektoroperatsioone ülikiiretel kiirustel, kuid juhiste andmiseks ja täitmiseks tuleb need siduda protsessoriga. TPU-sid võib kasutada ainult Google'i omadega
TensorFlow või TensorFlow Lite platvorm, kas pilvandmetöötluse või selle kohaliku riistvara lihtversiooni kaudu.Rakendused TPU-de jaoks
Google on TPU-sid kasutanud alates 2015. aastast. Samuti on nad kinnitanud nende uute protsessorite kasutamist Google'i tänavavaate tekstitöötluses, teenuses Google Photos ja Google'i otsingutulemustes (Rank Brain), kuna samuti luua AlphaGo nime all tuntud tehisintellekt, mis on võitnud parimaid Go mängijaid ja AlphaZero süsteemi, mis võitis male, Go ja juhtivate programmide ees. Shogi.
TPU-sid saab kasutada erinevates süvaõpperakendustes, nagu pettuste tuvastamine, arvutinägemine, loomulik keel töötlemine, isejuhtivad autod, vokaalne AI, põllumajandus, virtuaalsed assistendid, börsil kauplemine, e-kaubandus ja mitmesugused sotsiaalsed ennustused.
Millal TPU-sid kasutada
Kuna TPU-d on sügavaks õppimiseks spetsialiseerunud riistvara, kaotab see palju muid funktsioone, mida tavaliselt võiksite oodata üldotstarbeliselt protsessorilt, näiteks protsessorilt. Seda silmas pidades on konkreetsed stsenaariumid, kus TPU-de kasutamine annab tehisintellekti treenimisel parima tulemuse.
Parim aeg TPU kasutamiseks on toimingud, mille puhul mudelid sõltuvad suuresti maatriksarvutustest, näiteks otsingumootorite soovitussüsteemid. TPU-d annavad suurepäraseid tulemusi ka mudelite puhul, kus AI analüüsib tohutul hulgal andmepunkte, mille valmimiseks kulub mitu nädalat või kuud. AI-insenerid kasutavad TPU-sid juhtudel, kus pole kohandatud TensorFlow mudeleid ja nad peavad alustama nullist.
Millal TPU-sid mitte kasutada
Nagu varem öeldud, paneb TPU-de optimeerimine seda tüüpi protsessoreid tööle ainult teatud töökoormusega toimingutega. Seetõttu on juhtumeid, kus traditsioonilise CPU ja GPU kasutamine annab kiiremaid tulemusi. Need juhtumid hõlmavad järgmist:
- Kiire prototüüpimine maksimaalse paindlikkusega
- Mudelid piiratud saadaolevate andmepunktidega
- Mudelid, mis on lihtsad ja mida saab kiiresti koolitada
- Mudelid on muutmiseks liiga koormavad
- Mudelid, mis sõltuvad kohandatud TensorFlow operatsioonidest, mis on kirjutatud C++ keeles
TPU versioonid ja spetsifikatsioonid
Pärast seda, kui Google oma TPU-d välja kuulutas, on avalikkust pidevalt teavitatud TPU-de uusimate versioonide ja nende spetsifikatsioonide kohta. Allpool on loetelu kõigist TPU versioonidest koos spetsifikatsioonidega:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| Kasutuselevõtu kuupäev | 2016 | 2017 | 2018 | 2021 | 2018 |
| Protsessi sõlm (nm) | 28 | 16 | 16 | 7 | |
| Matriitsi suurus (mm²) | 331 | <625 | <700 | <400 | |
| Kiibisisene mälu | 28 | 32 | 32 | 144 | |
| Kella kiirus (MHz) | 700 | 700 | 940 | 1050 | |
| Väikseim mälukonfiguratsioon (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (vatti) | 75 | 280 | 450 | 175 | 2 |
| TOPS (Tera operatsioonid sekundis) | 23 | 45 | 90 | ? | 4 |
| TOPS/W | 0.3 | 0.16 | 0.2 | ? | 2 |
Nagu näete, ei tundu TPU taktsagedused kuigi muljetavaldavad, eriti kui tänapäevased lauaarvutid võivad olla 3–5 korda suuremad. Kuid kui vaatate tabeli kahte alumist rida, näete, et TPU-d suudavad töödelda 23-90 tera-toimingut sekundis, kasutades ainult 0,16-0,3 vatti võimsust. Neuraalvõrguliidese kasutamisel on TPU-d hinnanguliselt 15–30 korda kiiremad kui kaasaegsed CPU-d ja GPU-d.
Iga avaldatud versiooniga näitavad uuemad TPU-d olulisi täiustusi ja võimalusi. Siin on iga versiooni paar esiletõstmist.
- TPUv1: Esimene avalikult välja kuulutatud TPU. Loodud 8-bitise maatrikskorrutusmootorina ja piirdub ainult täisarvude lahendamisega.
- TPUv2: kuna insenerid märkisid, et TPUv1 ribalaius oli piiratud. Sellel versioonil on nüüd kaks korda suurem mälu ribalaius ja 16 GB muutmälu. See versioon suudab nüüd lahendada ujukoma, muutes selle treenimiseks ja järelduste tegemiseks kasulikuks.
- TPUv3: 2018. aastal välja antud TPUv3-l on kaks korda rohkem protsessoreid ja seda kasutatakse neli korda rohkemate kiipidega kui TPUv2-l. Täiendused võimaldavad sellel versioonil kaheksa korda parema jõudluse võrreldes eelmiste versioonidega.
- TPUv4: see on TPU uusim versioon, mis kuulutati välja 18. mail 2021. Google'i tegevjuht teatas, et sellel versioonil on TPU v3 jõudlus kaks korda parem.
- Edge TPU: see TPU versioon on mõeldud väiksemateks toiminguteks, mis on optimeeritud kasutama vähem energiat kui teised TPU versioonid. Kuigi Edge TPU kasutab ainult kahte vatti võimsust, suudab see lahendada kuni neli terra-operatsiooni sekundis. Edge TPU on saadaval ainult väikestes pihuseadmetes, nagu Google'i Pixel 4 nutitelefon.
Kuidas pääsete juurde TPU-dele? Kes saab neid kasutada?
TPU-d on patenteeritud töötlemisüksused, mille Google on välja töötanud oma TensorFlow platvormiga kasutamiseks. Kolmandate osapoolte juurdepääs nendele protsessoritele on lubatud alates 2018. aastast. Tänapäeval pääseb TPU-dele (välja arvatud Edge'i TPU-dele) juurde ainult Google'i kaudu andmetöötlusteenused pilve kaudu. Kuigi Edge TPU riistvara saab osta Google'i Pixel 4 nutitelefoni ja selle prototüüpimiskomplekti kaudu, mida tuntakse kui Coral.
Coral on USB-kiirendi, mis kasutab andmete ja toite jaoks USB 3.0 Type C. See pakub teie seadmele Edge TPU andmetöötlust, mis on võimeline andma 4 TOPS-i iga 2 W võimsuse kohta. Seda komplekti saab töötada Windows 10, macOS-i ja Debian Linuxi kasutavates masinates (see võib töötada ka Raspberry Pi-ga).
Muud spetsialiseeritud tehisintellekti kiirendid
Kuna tehisintellekt on viimasel kümnendil olnud moes, otsib Big Tech pidevalt võimalusi masinõppe võimalikult kiireks ja tõhusaks muutmiseks. Kuigi Google'i TPU-d on vaieldamatult kõige populaarsem sügavaks õppimiseks välja töötatud ASIC, on ka teised tehnoloogiaettevõtted, nagu Intel, Microsoft, Alibaba ja Qualcomm, välja töötanud oma tehisintellekti kiirendid. Nende hulka kuuluvad Microsoft Brainwave, Intel Neural Compute Stick ja Graphicore'i IPU (Intelligence Processing Unit).
Kuid kuigi rohkem AI riistvara töötatakse välja, ei ole enamik kahjuks veel turul saadaval ja paljud ei tee seda kunagi. Kui soovite tõesti osta tehisintellekti kiirendi riistvara, on kirjutamise seisuga kõige populaarsemad võimalused osta Corali prototüüpimiskomplekt, Intel NCS, Graphicore Bow Pod või Asus IoT AI Accelerator. Kui soovite lihtsalt juurdepääsu spetsiaalsele tehisintellekti riistvarale, võite kasutada Google'i pilvandmetöötlusteenuseid või muid alternatiive, nagu Microsoft Brainwave.