Umelá inteligencia DeepMind Dreamer sa učí podľa minulosti predpovedať budúcnosť

Technológie
0

Niektoré systémy umelej inteligencie dosahujú ciele na základe minulých skúseností. Zovšeobecňujú ich na nové situácie a prostredia, s ktorými sa predtým nestretli. Ukázalo sa, že reinforcement learning, učenie posilňovaním (výcviková metóda, ktorá používa odmeny na podporu softvérových taktík smerujúcich k cieľu), je zvlášť vhodná metóda na pochopenie modelov sveta, ktoré sumarizujú skúsenosti agenta a rozširujú ich na uľahčenie učenia sa novému správaniu.

Vedci z laboratória DeepMind a z Torontskej univerzity sa to snažili využiť s agentom Dreamer, navrhnutým na osvojenie si modelu sveta a plánovanie výberu akcií „predstavením si“ ich dlhodobých dôsledkov. Hovoria, že to nielenže funguje pre akýkoľvek učebný cieľ, ale že Dreamer prekonáva existujúce prístupy v oblasti dátovej efektívnosti a času výpočtu, ako aj výkonu.

Dreamer sa po celý čas učí model latentnej dynamiky na predvídanie odmien za akcie a pozorovania. Latentným dynamickým modelom sa v tomto kontexte rozumie model, ktorý sa učí z obrazových vstupov a vykonáva plánovanie s cieľom získať nové skúsenosti. V sérii experimentov vedci testovali Dreamer na 20 úlohách vizuálnej kontroly v rámci DeepMind Control Suite, simulačného softvéru na hodnotenie agentov riadených strojovým učením.

Najprv bol Dreamer trénovaný s použitím grafického čipu NVIDIA V100 a 10 procesorových jadier pre každé kolo tréningu, ktorý trval 9 hodín. (Na porovnanie, Google u jeho predchodcu PlaNet potreboval na dosiahnutie podobného výkonu 17 hodín.) Vedci uvádzajú, že Dreamer efektívne využíval naučené modely sveta na zovšeobecnenie na základe malého množstva skúseností a jeho úspech demonštruje osvojenie si správania pomocou latentnej predstavivosti, ktoré prekonáva špičkové metódy.

Dreamerov model hodnotenia funguje dobre aj pri krátkodobom plánovaní a prekonáva alternatívne modely v 16 z 20 úloh. V budúcnosti sa výskum aplikujúci latentnú predstavivosť rozšíri do prostredí s vyššou vizuálnou zložitosťou. Kód projektu Dreamer je verejne prístupný na serveri GitHub.

Zdroj: venturebeat.com.

Redakcia

Všetky autorove články
umelá inteligencia AI buducnost stroj technika NVIDIA vykon cip pamat

Pridať komentár

Mohlo by vás zaujímať

Mohlo by vás zaujímať