Što pokreće openai bota koji je tukao dendi

Prošlog je tjedna stvorena povijest u kraljevstvu Dota 2 i AI. Na Internacionalu Dendi, jednog od najboljih igrača igre, dva puta zaredom nemilosrdno je pretukao robota 1v1. Pitanja o botu napravio je OpenAI, pokretač Elona Muska.

Možda imate neka pitanja. Što je Dota? Što je OpenAI? I zašto je to uopće važno? Za početak, Dota je besplatna MOBA igra u kojoj kontrolirate Heroes i vaš je cilj uništiti protivnike Ancient. Mnogi obožavatelji Dote mogu se uvrijediti na posljednju rečenicu, jer toliko je Dota nego što sam sažeo.

Igra je vrlo složena i vrlo strma krivulja učenja prema njoj. Prije nekog vremena krenuo sam u misiju da naučim Dotu i trebalo mi je tjedan dana da prođem kroz osnovni video zapis, gdje oni objašnjavaju strategiju igre, što oružje, čarolije, heroji rade i kako se ruši puzanje. A to čini cijelu bitku između AI i Dendi važnom jer samo pokazuje koliko su napredni AI i ML postali. Pa da vidimo što pokreće tog robota i trebamo li se uplašiti oko AI ustanka.

Uspon planete AI

AI postajanje Skynetom je diskutabilan problem. Elon Musk vjeruje da će se, ako se ne provjeri, dogoditi scenarij poput Skyneta. S druge strane, Mark Zuckerberg kaže da je AI bezopasan i da neće izazvati scenarij Doomsdaya. Elon Musk započeo je OpenAI s tim ciljem.

Kako bi se spriječila zlouporaba AI-ja i istraživanje AI-ja koje se neće okrenuti protiv nas. A ja sam na njegovoj strani.

Ali to nije ono o čemu smo ovdje da razgovaramo. Glavna tema je znati što pokreće bot koji je napravio OpenAI. Da bih ga razumio, pročitao sam neke istraživačke radove i blogove na tu temu, a također sam kontaktirao moju prijateljicu Anmol Sharma, koja je istraživač AI i ML.

Učenje ojačanja

Ovo je ime tehnologije iza OpenAI-jevog Dota bota. Ali prije nego što prodremo u nju, trebamo shvatiti kako djeluje opći AI, odnosno AI u Video igrama. AI je izraz za ploču i sadrži mnoge teme kao što su Strojno učenje, Duboko učenje i Neuronske mreže. Grubo definirati AI, možemo reći da je to sposobnost računala da uči od informacija i donosi odluke na temelju svog učenja. Što više uči, to se veća ispravnost odluke povećava.

Po čemu se razlikuje od normalnih botova?

Botovi u pravilu videoigre mogu izgledati kao da su inteligentni, ali to nije pravi oblik AI. Gotovo svi navedeni botovi u igrama programiraju se na temelju zadanog If..This..Then..Th izjava. Oni samo slijede izjave i poduzimaju radnje na temelju uvjeta napisanih u izjavi.

Iznad sam pokazao vrlo jednostavan primjer. Izjave u stvarnim igrama mnogo su složenije s uvjetima unutar uvjeta. Što su te izjave detaljnije definirane i detaljnije, dječak će izgledati inteligentnijim.

Nagrade i kazne

U AI lingou ono što nazivamo bot poznat je kao Agent. Cilj je natjerati agenta da uči sve što želimo da nauči. Agent uči na isti način kao i vaš pas, putem nagrade i kazne. Kad god agent pogriješi, kažnjava se i kad pravi tačan pogodak ili daje točan odgovor, nagrađuje se. Kroz ovaj sustav agent uči da povezuje radnje koje ne bi trebao činiti kako bi izbjegao kaznu i izvršio radnju (ili slične radnje) koje daju nagradu.

Ako pažljivo razmislite, to je poput donošenja odluka na temelju određenih uvjeta, baš kao što to rade i algoritmi. Kao što sam gore pokazao, bot za igru, naiđući na eksplozivnu bačvu, poduzimaće akcije prema algoritmu. Algoritmi u AI očito su znatno složeniji od ovoga što cijeli sustav čini inteligentnim.

Dolazeći do našeg OpenAI bota, prema riječima programera, naučio je cijelu igru ​​u roku od 2 tjedna. Cijelo vrijeme od 2 tjedna bio je na mreži 24 × 7 i igrao je protiv svoje kopije. To je izvanredna prekretnica s obzirom na složenost igre i činjenicu da bi mogla pobijediti Dendija.

Zašto automobili bez vozača još uvijek nisu ovdje?

To je bilo jedno od prvih pitanja koja su mi se pojavila kad sam čula za cijeli ovaj događaj. Ako bot može naučiti takvu igru ​​i uvježbati se do pobjede vrhunskih igrača, zašto i dalje upravljamo kolu. I to je isto pitanje pucao na mog prijatelja, gospodina Anmol Sharma, koji je također istraživao automobile bez pogona. Ovo je imao reći.

U igri koju razvija čovjek, broj varijabli je manji. Osim toga, ako agent (bot) pogriješi, najgora kazna je okrugli gubitak. U stvarnom svijetu jedna je greška smrt.

Iako je Dota složena igra, moguće kombinacije poteza, čarolije i taktike, iako apsurdno velike, i dalje su ograničene. I greške su dopuštene bez prave kazne. Ali u slučaju automobila bez vozača, pogreške mogu dovesti do opasnih nesreća, pa čak i smrti.

U stvarnom svijetu, broj varijabli koje agent mora pratiti je beskrajan i situacije koje nastaju zbog tih varijabli, poput drugog automobila koji iznenada mijenja traku, pješaka koji skače ispred automobila, također su beskrajni. Uz to, kako je rekao Jeremy Clarkson, morat će donijeti moralne i etičke odluke kada budu na rubu neposredne nesreće (iako njegova teorija nije valjana).

Budućnost

Već poznajemo robota koji kontrolira ljude i koji obavlja unutarnje operacije. Sljedeći skok su roboti pod kontrolom AI. I to samo na medicinskom polju. AI će sigurno biti dominantna nova tehnologija u sljedećem desetljeću na mnogim poljima. Ali, AI se također može zloupotrijebiti u druge svrhe, kao što su DDoS napadi, Ransomware Botovi i sjeckanje ostalih računala ili sustava korporacija.

Što se tiče Dota i drugih igara, možemo očekivati ​​da će se za takve igre stvoriti i ovako inteligentni roboti protiv kojih igrači mogu trenirati da nastupaju još bolje. I jesam li spomenuo da će OpenAI raditi 5v5 na International International sljedećoj godini? Dakle, ja odlazim od brisanja svojih Dota vještina da bih barem pobijedio ugrađene gluponije. Divan Rapier, dolazim!