Car-tech

Cloudera preuzeo Hadoop za Enterprise

hadoop yarn architecture

hadoop yarn architecture
Anonim

Cloudera je predstavio novi set Hadoop alata za upravljanje, nazvan Cloudera Enterprise, koje će tvrtka ponuditi za godišnju pretplatu, objavila je u utorak.

Obje nove verzije, kao i nekoliko nova partnerstva s dobavljačima softvera za upravljanje podacima o računalima, pokazuju tvrtki koja se priprema za pružanje nove tehnologije baze podataka - sada se uglavnom koristi

"Naša kladionica nije samo velika web tvrtke, ali banke, bolnice i osiguravajuća društva će otkriti da trebaju analizirati složene i strukturirane web stranice, kao što su Google i Yahoo. podaci zajedno i Hadoop je napravljen za to ", rekao je direktor tvrtke Cloudera Mike Olson. "Hadoop rješava novi problem na novi način."

Jedan od sve većeg broja ne-SQL ili NoSQL baza podataka, Hadoop se temelji na Google MapReduce, okviru za obradu podataka paralelno na velik broj računala čvorovi. Hadoop, sada razvijen kao otvoreni izvorni projekt Apache Software Foundation, nudi alternativu tradicionalnim relacijskim bazama podataka, barem onim slučajevima za analizu velikih, brzo mijenjati skup podataka.

Može raditi sa SQL i ne -SQL podataka, te je otporniji na neuspjeh poslužitelja nego relacijske baze podataka, rekao je Olson.

Cloudera pakira Hadoop za midlevel organizacije, kako sa svojim Hadoop distribucijom, tako i njenom nedavno objavljenom skupu alata za upravljanje. Oba paketa trebala bi omogućiti organizacijama bez puno dubinskog tehničkog iskustva u Hadoopu za pokretanje softvera, rekao je Olson. "Postoji taj mit da Hadoop može biti upotrebljiv ako imate Google-skalirane podatke. Postoji mnogo korisnika koji ima samo nekoliko terabajta podataka koje žele analizirati", rekao je Olson.

Clouderaova distribucija za Hadoop (CDH) je open-source paket unaprijed integriranih softverskih programa izgrađenih oko Hadoop Common, nekad nazvanog Hadoop Core. Paket uključuje: košnicu, koja pruža infrastrukturu skladišta podataka; HBase, baza podataka koja se temelji na Hadoopu; Svinja, prevodilac za programe smanjenja karte; Zookeper, raspored za pokretanje aplikacija na više poslužitelja i MapReduce.

U novootvorenoj inačici 3, paket uključuje tri programa koji je tvrtka objavila kao otvorene projekte, pod licencom Apache V2 otvorenog koda. Jedan je Flume, koji može pomoći pri učitavanju podataka u Hadoop. Još jedan novi dodatak je Oozie, koji je softver za upravljanje tijekovima rada. Posljednji je kod Hadoop User Environment (HUE) koji daje korisničko sučelje za upravljanje Hadoopom.

"HUE dopušta svakome da izradi aplikacije usmjerene na analitičare i zna razgovarati s Hadoop klasterima", rekao je Olson.

Cloudera Enterprise paket povećava verziju CDH 3 s dodatnim alatima za upravljanje. Ovaj novi softver, koji nije open source, omogućuje administratorima upravljanje upravljanjem pristupom pomoću Lightweight Directory Access Protocol. Programi se također pružaju resursima za pružanje usluga, kako bi se obavila konfiguracija i praćenje uspješnosti.

Olson ne bi raspravljao o tome koliko je Cloudera dosad napravio od pretplate i savjetodavnih naknada, ali primjećuje da je u prvom tromjesečju 2010. godine tvrtka napravila onoliko koliko što je zaradilo polovinom 2009. Među različitim industrijama, financijske usluge, telekomunikacije, maloprodaja, vlada i web trgovine tvrtke pokazale su zanimanje za tehnologiju, rekao je Olson

"stvari koje tvrtke rade s Hadoop variraju. općenito, ti ljudi hvataju puno podataka s puno mjesta i trebaju ih podvrgnuti sofisticiranoj analitici ", rekao je Olson. "Financijske usluge zainteresirane su za korištenje Hadoopa za otkrivanje prijevara. U telekomunikacijama postoji prava potreba za optimizacijom mreža i smanjenju gubitka kupaca."

Osim ponuditi ove pakete, Cloudera je potpora Hadoopu od pružatelja poslovnih inteligencija (BI) i softvera za upravljanje podacima.

Olson planira objaviti, tijekom svog govora na Hadoop summitu 2010, koji se održava u Santa Clari, Kaliforniji u utorak, taj dobavljač BI MicroStrategy će podržati Hadoop upotrebu.

Još jedan novi partner je Talend, dobavljač softverskog softvera za integraciju podataka otvorenog koda. Tvrtka je proširila Talend Integration Suite na sučelje s Hadoop bazama podataka. Njegov paket omogućuje administratorima upravljanje i agregaciju višestrukih izvora podataka s jedne konzole. Uz Hadoop, softver "može nativno umetnuti ili dohvatiti podatke i obraditi podatke unutar Hadoop arhitekture", izjavio je potpredsjednik marketinga Yves de Montcheuil.

Microstrategy i Talend pridružuju se sve većem broju tvrtki koje pripremaju open source ili komercijalne alate za upravljanje za Hadoop. Prošli tjedan, Cloudera i Quest krenuli su na projekt izgradnje softvera koji može povezati Hadoop s Oracle bazama podataka. U svibnju, open-source poslovno-inteligentna tvrtka Pentaho objavila je da će njegov BI suite raditi s Hadoop bazama podataka.

U odvojenom intervjuu s IDG News Serviceom Yahoo CTO Raymie Stata istaknuo je kako Hadoop može smanjiti potrebu za izgradnjom superračunala za analizu velikih skupova podataka. Tradicionalno, veliki skupovi podataka premješteni su iz skladišta u superračunalo, koji je grupirani skup poslužitelja, koji će se analizirati. Nasuprot tome, Hadoop pomiče analitički proračun na mjesto gdje se podaci nalaze, uklanjajući potrebu za srednjim, velikim strojem za izradu crteža.

Osim Cloudera ponude, Hadoop je također komercijaliziran od strane IBM-a, koji je nedavno započeo ponuditi niz analitičkih usluga koje koriste ovu tehnologiju.

Joab Jackson obuhvaća softverski softver i opće tehnološke vijesti za IDG News Service. Slijedite Joab na cvrkut na @Joab_Jackson. Joabova adresa e-pošte je [email protected]