Samsung_01A2021 Samsung_01A2021 Samsung_01A2021 Advertisement

Keď CPU a GPU nestačí. Google má vlastné riešenie - TPU

0

Pred štyrmi rokmi čelil Google problému, ktorý vyriešil priamo šalamúnsky. Firma si spočítala, že keby každý jej používateľ na tri minúty denne využíval službu rozpoznania hlasu, bola by nútená zdvojnásobiť počet svojich dátových centier; a to pre nutnosť uspokojiť dopyt po strojovom učení, ktoré podobné služby zaisťuje.

Namiesto nákupu nehnuteľností a serverov na tento jeden konkrétny účel, čo by projekt značne predražilo, rozhodol sa Google vytvoriť nový, špecializovaný kus hardvéru, využívaný práve pre aplikácie a služby strojového učenia.

Výsledkom je Tensor Processing Unit (TPU), čip, ktorý má zrýchliť vstupnú časť hĺbkových neurálnych sietí, deep learningu a strojového učenia. V stredu Google zverejnil štúdiu, kde porovnáva  výkon svojho TPU s porovnateľnými CPU a GPU, a to tak z hľadiska čistého výkonu, ako aj energetickej efektivity, teda meria počet jednotiek výkonu na spotrebovaný watt energie.

TPU je podľa výsledkov testu v priemere 15 až 30-krát rýchlejšie pri úlohách strojového učenia ako porovnateľné serverové CPU (Intel Haswell) a GPU (nVidia K80), uvádza Google. Čo je dôležitejšie - pomer výkonnosti k energetickej spotrebe vyšiel 25 až 80-krát lepšie ako pri testovaných procesorových jednotkách.

Podobná rýchlosť je pre Google dôležitá - tak z hľadiska finančnej návratnosti obrovskej investície na vývoj TPU, ako aj z toho dôvodu, že Google čoraz viac stavia na strojovom učení. Takýto výkon navyše robí nový hardvér relevantným aj vďaka tomu, že zrýchľovanie tradičných kremíkových procesorov je stále ťažšie.

Nejde o akademickú štúdiu bez reálneho nasadenia. Google TPU využíva od roku 2015 a majú za úlohu zrýchľovať aplikácie strojového učenia typu prekladov a vizuálneho rozpoznávania. TPU preukazujú svoju efektivitu hlavne v energetickej úspornosti, ktorá je, čo sa týka gigantických dátových centier, z finančného hľadiska kľúčová.

Ďalší úspech Googlu je veľmi nízka latencia TPU - reakcia je výrazne lepšia ako pri súčasných CPU a GPU.

Google čipy testoval na šiestich rôznych aplikáciách neurálnych sietí, ktoré reprezentujú 95 % všetkých takýchto aplikácií v dátových centrách Googlu. Testované aplikácie zahŕňajú DeepMind AlphaGo, systém, ktorý minulý rok v go porazil jedného z majstrov hry Lee Sedola.

Spoločnosť TPU testovala v porovnaní s hardvérom, ktorý vyšiel približne v rovnakom čase; skrátka sa snaží príliš nemiešať jablká a hrušky. Je možné, že novší hardvér by rozdiel vo výkonnosti znížil.

Zlepšovať sa však môžu aj TPU. Pamäte GDDR5, ktoré využíva práve napr. GPU nVidia K80, by mali výkon jednotky zvýšiť. Podľa inžinierov Googlu totiž bol výkon niektorých aplikácií spomalený práve nedostatočnou priepustnosťou pamätí.

Podľa štúdie Googlu je navyše aj priestor na softvérovú optimalizáciu výkonu. Vďaka už existujúcemu výkonnostnému zlepšeniu, aké TPU predstavujú, však nie je isté, či sa pre optimalizáciu Google rozhodne. Zatiaľ sa to nezdá pravdepodobné.

Hoci všetky neurálne siete napodobňujú spôsob, ako neuróny prenášajú informácie v ľudskom tele, teda imitujú nervový systém, tzv. CNN (convolutional neural networks, špecializované neurálne siete, ktoré Google využíva) sa sústredí priamo na to, ako mozog spracúva vizuálne vnemy. Google aplikácie pre CNN označuje ako CNN1, CNN2 atď.

"Pretože CNN1 beží na TPU viac ako sedemdesiatkrát rýchlejšie ako na CPU, vývojári CNN1 sú už tak veľmi spokojní; nie je teda jasné, či alebo kedy budú softvérové ​​optimalizácie vykonané," vysvetľujú dopodrobna autori štúdie.

Google nie je jediná firma, ktorá vyrába čipy priamo na strojové učenie. Na tom istom pracuje niekoľko startupov a konkurenciou je aj Microsoft, ktorý nedávno nasadil flotilu programovateľných hradlových polí (FPGA) do svojich dátových centier, ktoré zrýchľujú networking a aplikácie strojového učenia.

Zdroj: Computerworld

Google

Pridať komentár

Mohlo by vás zaujímať

Mohlo by vás zaujímať