MapReduce原理

在Hadoop框架中最著名的就是MapReduce組件，它的處理邏輯來源于谷歌的舊三駕馬車之一——MapReduce。

MapReduce是解決問題并行任務的一種模型，將一個可拆解的任務分散到多個計算節(jié)點進行計算，最后合并計算結果。

例如，現(xiàn)在需要解決一個問題：盡可能以比較快的速度統(tǒng)計一個圖書館在書架上一共陳列了多少本書。

圖 統(tǒng)計圖書館的書

一種方法是，找一個在數(shù)數(shù)方面有超高本領的人，由他一個人來完成;另一種方法是，雇用一大批資質(zhì)平庸的負責統(tǒng)計圖書數(shù)量的人和一個負責分配任務的人，由分配任務的人負責劃分區(qū)域，確保每個人都分到一部分要統(tǒng)計的書架，不重不漏。然后對所有的人下發(fā)開始統(tǒng)計的指令，統(tǒng)計圖書的人將自己負責的區(qū)域統(tǒng)計完成記錄到紙上，所有統(tǒng)計圖書的人上交統(tǒng)計結果后，負責分配任務的人將所有人的統(tǒng)計結果進行累加，得到圖書統(tǒng)計的結果。如果中途有人因為一些意外原因發(fā)生計數(shù)終止，那么就再派一個人前去重新完成他未完成的工作任務。

不難想象，如果方法得當，后一種方法要比前一種方法靠譜一些。

這個有超高本領的人是不是容易被找到，他一個人會不會有失誤，他的薪水要求是不是太高，這些問題的可控性會變得非常不好。而資質(zhì)平庸的人通常在市場供應方面不會讓我們那么擔心，只要統(tǒng)計的方法論和調(diào)度方式?jīng)]有問題，不僅這種方式的風險更小，而且成本更低，速度更快，MapReduce就是這樣一種并行機制。

下面從辯證的角度來看這種機制的優(yōu)點和缺點。優(yōu)點如下：

(1)隱藏大量技術細節(jié)。開發(fā)人員不需要關注容災管理、負載均衡和并行計算實現(xiàn)的代碼部分，只需要調(diào)用相關的API，設置參數(shù)即可。

(2)可伸縮性好。在Map階段，可以實現(xiàn)每增加一臺服務器就將計算能力接入到集群里，而且能實現(xiàn)在集群運行時添加計算節(jié)點(一般用在線擴容這個技術名詞來描述這一特點)。缺點如下

(1)實時性差。和磁盤交互頻繁，中間要多次將計算結果保存到磁盤，使實時計算能力大打折扣。

(2)編程習慣需要適應。需要將在學習《數(shù)據(jù)結構》或者算法理論中學習到的算法實現(xiàn)方式轉(zhuǎn)換成為MapReduce方式，編程時需要特意構建這種程序邏輯。而且這種方式的局限性導致并非所有的問題都適合用MapReduce方式進行解決。

雖然有不少缺點，但是Hadoop仍然是目前離線計算的利器。