雖然Hadoop確實是當(dāng)今許多大數(shù)據(jù)實現(xiàn)的核心，對于初次接觸數(shù)據(jù)管理的人來說，將大數(shù)據(jù)和Hadoop互換使用是一個常見的錯誤。但它并不是唯一的問題。大數(shù)據(jù)分析可以由許多不同的軟件組成，它們一起收集、存儲、操作和分析所有不同的數(shù)據(jù)類型。通過定義大數(shù)據(jù)的概念有助于更好地理解形勢。一般情況下，行業(yè)將大數(shù)據(jù)歸類為“三個V”。
■ Velocity（速度）：指收集和分析數(shù)據(jù)的速度。Hadoop分布式文件系統(tǒng)旨在快速地獲取和處理數(shù)據(jù)。智能對象能夠以非常快的速度生成機器和傳感器數(shù)據(jù)，并且要求數(shù)據(jù)庫或文件系統(tǒng)具有同樣快速的接收功能。
■ Variety（多樣性）：指不同類型的數(shù)據(jù)。通常我們會看到數(shù)據(jù)被歸類為結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。不同的數(shù)據(jù)庫技術(shù)可能只能接受其中一種類型。Hadoop能夠收集和存儲所有這3種類型。當(dāng)將來自物聯(lián)網(wǎng)設(shè)備的結(jié)構(gòu)化機器數(shù)據(jù)與來自其他來源（如社交媒體或多媒體）的非結(jié)構(gòu)化的數(shù)據(jù)相結(jié)合時，這可能是有益的。
■ Volume（容量）：指數(shù)據(jù)的規(guī)模。通常，數(shù)據(jù)規(guī)模是使用極低的吉字節(jié)、拍字節(jié)，甚至是另一個極端的艾字節(jié)來衡量的。一般而言，大數(shù)據(jù)實現(xiàn)的規(guī)模超出了單個節(jié)點上本地連接的存儲磁盤的可用容量。對于一些大型部署，經(jīng)常可以看到由數(shù)十個、數(shù)百個甚至數(shù)千個節(jié)點組成的服務(wù)器集群。
大數(shù)據(jù)的特征可以通過數(shù)據(jù)的來源和類型來定義。首先是機器數(shù)據(jù)，由物聯(lián)網(wǎng)設(shè)備生成，通常是非結(jié)構(gòu)化數(shù)據(jù)。其次是事務(wù)性數(shù)據(jù)，這些數(shù)據(jù)來自于從這些系統(tǒng)上的事務(wù)中產(chǎn)生數(shù)據(jù)的源，并且具有高容量和結(jié)構(gòu)化的特點。再次是社交數(shù)據(jù)源，通常是高容量和結(jié)構(gòu)化的。最后是企業(yè)數(shù)據(jù)，即體積較小、結(jié)構(gòu)非常復(fù)雜的數(shù)據(jù)。因此，大數(shù)據(jù)由所有這些獨立來源的數(shù)據(jù)組成。
在檢查數(shù)據(jù)源時，還需要考慮從每個數(shù)據(jù)源攝取的數(shù)據(jù)量，這決定了數(shù)據(jù)存儲層的設(shè)計。我們還應(yīng)該考慮從攝取系統(tǒng)獲取數(shù)據(jù)的機制（即推或拉）。數(shù)據(jù)源的類型（數(shù)據(jù)庫、文件、Web服務(wù)、流）也需要考慮，因為它也決定了數(shù)據(jù)的結(jié)構(gòu)。
數(shù)據(jù)攝取層是連接數(shù)據(jù)源和存儲的層。它是對數(shù)據(jù)進行預(yù)處理、驗證、提取和臨時存儲以供進一步處理的層。對于數(shù)據(jù)攝取，有幾種模式需要考慮。首先是多源攝取，它將多個數(shù)據(jù)源連接到攝取系統(tǒng)。在此模式中，攝取節(jié)點接收來自多個源的數(shù)據(jù)流，并在將數(shù)據(jù)傳遞給中間節(jié)點和最終存儲節(jié)點之前進行處理。此模式通常在批處理系統(tǒng)中實現(xiàn)，并且在實時系統(tǒng)中實現(xiàn)（由于數(shù)據(jù)的可用性存在延遲，因此不太常見）。
在有助于定義物聯(lián)網(wǎng)的行業(yè)中，數(shù)據(jù)收集和分析并不是新概念。長期以來工業(yè)垂直行業(yè)一直依賴于從各種過程中獲取、收集和記錄數(shù)據(jù)的能力，以記錄趨勢并跟蹤性能和質(zhì)量。
例如，許多工業(yè)自動化和控制系統(tǒng)將數(shù)據(jù)輸入到兩種不同的數(shù)據(jù)庫類型：關(guān)系數(shù)據(jù)庫和歷史數(shù)據(jù)庫。關(guān)系數(shù)據(jù)庫，如Oracle和Microsoft SQL，適合于事務(wù)或流程數(shù)據(jù)。它們的優(yōu)點是能夠分析一段時間內(nèi)到達(dá)的數(shù)據(jù)之間的復(fù)雜數(shù)據(jù)關(guān)系。歷史數(shù)據(jù)庫對系統(tǒng)和過程中的時間序列數(shù)據(jù)進行了優(yōu)化。它們的核心是數(shù)據(jù)的存儲和檢索速度，將每個數(shù)據(jù)點記錄在一個序列中，并記錄與記錄系統(tǒng)相關(guān)的信息。這些數(shù)據(jù)可能包括傳感器讀數(shù)、材料數(shù)量、溫度讀數(shù)或流量數(shù)據(jù)。
關(guān)系數(shù)據(jù)庫和歷史數(shù)據(jù)是成熟的技術(shù)，已經(jīng)伴隨我們多年，但是數(shù)據(jù)管理市場中的新技術(shù)為傳感器和機器數(shù)據(jù)開辟了新的可能性。這些數(shù)據(jù)庫技術(shù)大致可以分為幾個類別，在物聯(lián)網(wǎng)環(huán)境中使用時，每種技術(shù)都有各自的優(yōu)勢和潛在的缺陷。其中3個最流行的類別是大規(guī)模并行處理系統(tǒng)、NoSQL和Hadoop。
京公網(wǎng)安備 11010802030320號