本文分為技術(shù)篇、產(chǎn)業(yè)篇、應(yīng)用篇、展望篇四部分
技術(shù)篇
2006年項(xiàng)目成立的一開始，“Hadoop”這個(gè)單詞只代表了兩個(gè)組件——HDFS和MapReduce。到現(xiàn)在的10個(gè)年頭，這個(gè)單詞代表的是“核心”(即Core Hadoop項(xiàng)目)以及與之相關(guān)的一個(gè)不斷成長的生態(tài)系統(tǒng)。這個(gè)和Linux非常類似，都是由一個(gè)核心和一個(gè)生態(tài)系統(tǒng)組成。
現(xiàn)在Hadoop在一月發(fā)布了2.7.2的穩(wěn)定版， 已經(jīng)從 傳統(tǒng)的Hadoop三駕馬車HDFS，MapReduce和Hbase社區(qū)發(fā)展為60多個(gè)相關(guān)組件組成的龐大生態(tài) ，其中包含在各大發(fā)行版中的組件就有25個(gè)以上，包括數(shù)據(jù)存儲、執(zhí)行引擎、編程和數(shù)據(jù)訪問框架等。
Hadoop在2.0將資源管理從MapReduce中獨(dú)立出來變成通用框架后，就從1.0的三層結(jié)構(gòu)演變?yōu)榱爽F(xiàn)在的四層架構(gòu)：
底層——存儲層，文件系統(tǒng)HDFS
中間層——資源及數(shù)據(jù)管理層，YARN以及Sentry等
上層——MapReduce、Impala、Spark等計(jì)算引擎
頂層——基于MapReduce、Spark等計(jì)算引擎的高級封裝及工具，如Hive、Pig、Mahout等等
存儲層
HDFS已經(jīng)成為了大數(shù)據(jù)磁盤存儲的事實(shí)標(biāo)準(zhǔn)，用于海量日志類大文件的在線存儲。經(jīng)過這些年的發(fā)展，HDFS的架構(gòu)和功能基本固化，像HA、異構(gòu)存儲、本地?cái)?shù)據(jù)短路訪問等重要特性已經(jīng)實(shí)現(xiàn)，在路線圖中除了Erasure Code已經(jīng)沒什么讓人興奮的feature。
隨著HDFS越來越穩(wěn)定，社區(qū)的活躍度也越來越低，同時(shí)HDFS的使用場景也變得成熟和固定，而上層會(huì)有越來越多的文件格式封裝：列式存儲的文件格式，如Parquent，很好的解決了現(xiàn)有BI類數(shù)據(jù)分析場景;以后還會(huì)出現(xiàn)新的存儲格式來適應(yīng)更多的應(yīng)用場景，如數(shù)組存儲來服務(wù)機(jī)器學(xué)習(xí)類應(yīng)用等。未來HDFS會(huì)繼續(xù)擴(kuò)展對于新興存儲介質(zhì)和服務(wù)器架構(gòu)的支持。
2015年Hbase 發(fā)布了1.0版本，這也代表著 Hbase 走向了穩(wěn)定。最新Hbase新增特性包括：更加清晰的接口定義，多Region 副本以支持高可用讀，F(xiàn)amily粒度的Flush以及RPC讀寫隊(duì)列分離等。未來Hbase不會(huì)再添加大的新功能，而將會(huì)更多的在穩(wěn)定性和性能方面進(jìn)化，尤其是大內(nèi)存支持、內(nèi)存GC效率等。
Kudu是Cloudera在2015年10月才對外公布的新的分布式存儲架構(gòu)，與HDFS完全獨(dú)立。其實(shí)現(xiàn)參考了2012年Google發(fā)表的Spanner論文。鑒于Spanner在Google 內(nèi)部的巨大成功，Kudu被譽(yù)為下一代分析平臺的重要組成，用于處理快速數(shù)據(jù)的查詢和分析，填補(bǔ)HDFS和Hbase之間的空白。其出現(xiàn)將進(jìn)一步把Hadoop市場向傳統(tǒng)數(shù)據(jù)倉庫市場靠攏。
Apache Arrow項(xiàng)目為列式內(nèi)存存儲的處理和交互提供了規(guī)范。目前來自Apache Hadoop社區(qū)的開發(fā)者們致力于將它制定為大數(shù)據(jù)系統(tǒng)項(xiàng)目的事實(shí)性標(biāo)準(zhǔn)。
Arrow項(xiàng)目受到了Cloudera、Databricks等多個(gè)大數(shù)據(jù)巨頭公司支持，很多committer同時(shí)也是其他明星大數(shù)據(jù)項(xiàng)目(如Hbase、Spark、Kudu等)的核心開發(fā)人員。再考慮到Tachyon等似乎還沒有找到太多實(shí)際接地氣的應(yīng)用場景，Arrow的高調(diào)出場可能會(huì)成為未來新的內(nèi)存分析文件接口標(biāo)準(zhǔn)。
180-0586-8797