Big Data-Hadoop e il suo impatto sui sistemi di Business Intelligence

Recentemente il mio lavoro ha reso necessario farmi apparire nelle nuove funzionalità aggiunte in informatica 9.1, ma non ho mai pensato che il viaggio mi porterà a esplorare ulteriormente su questo e scrivere un blog Let &'; s vedere come attraversai attraverso diversi nuovi aspetti che sono sempre molto relativi alla gestione dei dati e di Business Intelligence. Prima di tutto vediamo qual è Bigdata e la sua posizione ora.

La gente avrebbe sempre pensare a come le organizzazioni come Yahoo, Google, Facebook archiviare grandi quantità di dati degli utenti. Dovremmo prendere nota che Facebook memorizza altre foto di Google &'; s Picassa. Qualche ipotesi ??

Che cosa è Hadoop

La risposta è Hadoop ed è un modo per memorizzare grandi quantità di dati in petabyte e zettabytes. Questo sistema di archiviazione è chiamato come Hadoop Distributed File di sistema. Hadoop è stato sviluppato da Doug Cutting sulla base di idee suggerite da Google &'; s carte. Per lo più si ottiene una grande quantità di macchine generati dati. Ad esempio, il Large Hadron Collider per studiare le origini dell'universo produce 15 petabyte di dati ogni anno per ogni esperimento effettuato.

MapReduce

La prossima cosa che viene alla nostra mente è quanto rapidamente si può accedere a queste grandi quantità di dati. Hadoop MapReduce utilizza, la cui prima comparsa in documenti di ricerca di Google. Ne consegue &'; Divide and Conquer &' ;. I dati sono organizzati come coppie di valori chiave. Esso elabora tutti i dati che si sviluppa attraverso innumerevoli sistemi in blocchi paralleli da un singolo nodo. Poi sarà ordinare ed elaborare i dati raccolti.

Con un server PC standard, Hadoop si collegherà a tutti i server e distribuisce i file di dati attraverso questi nodi. Ha usato tutti questi nodi come un file system di grandi dimensioni per archiviare ed elaborare i dati, il che rende un puro file system distribuito 100%. Nodi supplementari possono essere aggiunti, se i dati raggiunge la massima capacità installata, rendendo la configurazione altamente scalabile. E 'molto a buon mercato come è open source e doesn &'; t richiedono processori speciali come usato nei server tradizionali. Hadoop è anche una delle implementazioni NoSQL.

Hadoop in tempo reale

La Tennessee Valley Authority (TVA) utilizza i dispositivi di campo smart-grid per raccogliere i dati sul suo potere Linee trasmittentier e strutture in tutto il paese. Tali sensori inviano in dati a una velocità di 30 volte al secondo e- a quel prezzo, la TVA stima avrà la metà un petabyte di dati archiviati nel giro di pochi anni. TVA utilizza Hadoop per memorizzare e analizzare i dati. In India Power Grid Corporation of India intende installare questi dispositivi intelligenti nelle loro reti per la raccolta dei dati per ridurre le perdite di trasmissione. E 'meglio che anche emulare TVA. Recentemente Facebook si trasferì a 30 Petabyte Hadoop, che suona incredibile e difficile da digerire il fatto che stiamo usando un tale volume miriade di dati.

Data Warehouse e Business Intelligence Prodotti di supporto Hadoop e MapReduce

1 ) Greenplum
2) Informatica Pagina 3) Teradata
5) Pentaho
6) Talend

Se sono ampiamente utilizzati Hadoop e altre implementazioni NoSQL, i limiti dei sistemi tradizionali di SQL può essere risolto come l'archiviazione dei dati non strutturati. Con il volume di dati in aumento esponenziale, commercializzazione di Hadoop avverrà in un grande strumenti di scala e integratore di dati avrà un ruolo chiave nel data mining per le imprese.
Lettori di condividere le vostre esperienze, se qualcuno di voi ha lavorato con Hadoop su altri ETL e BI Tools, gli strumenti che sono disponibili sul mercato Hotel  .;