Web stranice

Yahoo pomaže IIT Bombay postaviti Hadoop cluster Lab

5 tips to improve your critical thinking - Samantha Agoos

5 tips to improve your critical thinking - Samantha Agoos
Anonim

Yahoo je pomogao Indijskom institutu za tehnologiju Bombay da uspostavi laboratorij Hadoop klastera u Mumbaiju doniranjem klastera poslužitelja s open source Hadoop softverom.

Apache Hadoop je distribuirani računalni projekt otvorenog izvora Apache Software Foundation podržava Yahoo.

Yahoo pokreće veliki broj kritičnih operacija koristeći Hadoop, a ne može obaviti sve potrebno istraživanje oko Hadoopa unutar tvrtke, rekao je Prabhakar Raghavan, viši potpredsjednik i voditelj Yahoo Labs telefonski intervju u četvrtak.

Yahoo je u lipnju prošle godine objavio svoju vlastitu distribuciju Hadoopa, pozivajući se na zanimanje Apache Hadoop zajednice da objavljuje verziju Hadoop testa i postavlja na svoje velike klastere. laboratorij u M umbai će pomoći istraživačima u istraživačkim područjima kao što su pretraživanje i rangiranje tehnika, ekstrakcija informacija i obrada prirodnog jezika.

Akademski istraživači koji žele istraživati ​​pitanja vezana uz web obično nisu mogli pristupiti računalnim resursima i terabajima podaci koji su potrebni za istraživanje "Web-scale problema", rekao je Raghavan.

Počevši od pružanja Hadoop istraživača na Sveučilištu Carnegie Mellon s 4.000 procesora superračunalo u 2007, Yahoo je pomogao drugim sveučilištima u SAD-u postaviti Hadoop

Raghavan nije dao više detalja o klasteru koji je instaliran na IIT, već samo da su tamo postavljeni poslužitelji sa stotinama procesora i sposobnosti za obradu terabajta podataka.

Uz IIT Bombay, Yahoo pomaže uspostavi sličnih klastera u akademskim institucijama u Njemačkoj i Singapuru, rekao je Raghavan. Ovo su prve tri akademske ustanove izvan SAD-a, gdje Yahoo pomaže postaviti takve klastere, dodao je.

Yahoo planira kasnije povezati neke klastere širom svijeta kako bi stvorio "veći uslužni program". Prije toga, sposobnosti administracije sustava Hadoop-a moraju se ojačati kako bi se spriječilo da student u jednoj instituciji padne u drugoj ustanovi, rekao je Raghavan.

Yahoo je 2008. godine surađivao s Computational Research Laboratories (CRL) Tata Group, koji nude superračunske uređaje besplatne akademske institucije u Indiji koje istražuju računarstvo velikih razmjera, osobito oko Hadoopa. Ta suradnja nastavlja, ali je usredotočena na superračunala visokih performansi, rekao je Raghavan.

Partnerstvo s akademskim institucijama na Hadoop pomaže Yahoou izgraditi bazu inženjera upoznati s Hadoop platformom, prema Raghavanu. Neki od njih čak su angažirali i Yahoo, dodao je.

Yahoo je također imao koristi od ideja koje su došle od akademskih institucija koje rade na istraživanju pomoću Hadoopa, rekao je Raghavan. Međutim, nije dao specifične primjere ideja koje su preuzete iz ove suradnje s akademskim institucijama