Dataflow in applicazioni MapReduce!

MapReduce è un framework che è stato progettato per elaborare enormi insiemi di dati. Esso utilizza un grande cluster di computer che sono chiamati come nodi per eseguire i calcoli. Questa elaborazione computazionale viene effettuata su dati memorizzati in un file di sistema o in un database. Nelle applicazioni MapReduce, ci sono fondamentalmente due componenti e cioè, la mappa e ridurre. Mappa passo, il nodo master riceve l'input, le partizioni in piccoli sotto-problemi, e la distribuisce, infine, quelli ai nodi dei lavoratori. Questo è ripetuto dal nodo operaio portando ad una struttura ad albero multilivello. I problemi più piccoli che sono fatti nel processo nodo operaio ognuno di essi e passano la risposta al suo nodo master. D'altra parte, la fase di ridurre prende le risposte e li combina in qualche modo per ottenere il risultato finale.

Nel quadro MapReduce c'è un grande distribuito sorta che si compone di punti caldi, come definito

• un lettore di ingresso Hotel • una funzione Map Hotel • Ridurre una funzione di Hotel • una funzione di partizione Hotel • una funzione di confronto Hotel • uno scrittore
uscita

Qui, lettore di ingresso divide fondamentalmente l'ingresso in spaccature di dimensioni adeguate. Il quadro MapReduce quindi assegna una frazione a ciascuna funzione Map. Vi è un file system distribuito da cui il lettore legge i dati di ingresso e genera le coppie chiave /valore richiesto. Un altro componente cioè funzione Map scatta una serie di coppie chiave /valore, li elabora e quindi genera zero o più uscite coppie chiave /valore. Spesso i tipi di ingresso e di uscita della funzione di ridurre è diverso l'uno dall'altro.

Ridurre funzione nel quadro MapReduce chiamate ciascuna ridurre la funzione una volta per ogni chiave univoca in modo ordinato. Questa funzione Ridurre può scorrere i valori che sono alla fine associati con quella chiave. Il valore di uscita può essere 0 o più valori alcuni pure. Un'altra importante funzione è la funzione di partizione in cui ogni uscita la funzione Map è assegnato ad un particolare riduttore. Questo viene fatto con l'aiuto della funzione di partizione dell'applicazione. Poi viene, una funzione di confronto, che viene utilizzato per eseguire la funzione e ordinare mappa. Poi c'è un'altra funzione molto importante chiamato come scrittore uscita. Lo scrittore uscita viene utilizzata per scrivere l'output della funzione Ridurre al file system distribuito, spesso chiamato come deposito stabile.

Ogni componente nelle applicazioni MapReduce è importante e anche se uno manca o non adeguatamente ottimizzate, i risultati non ci si aspetterebbe come. Per definire un quadro MapReduce correttamente è necessario comprendere ogni componente da vicino, per le quali è necessario leggere tutorial online. Esplora le risorse online e fare uso di questa applicazione e servire i vari scopi importanti Hotel  .;