今天去聽(tīng)了個(gè)講座，關(guān)于大數(shù)據(jù)和云計(jì)算，有一點(diǎn)收獲，有一點(diǎn)想法，有些思路怕時(shí)間久了就忘記，特此寫下來(lái)。主要是關(guān)于大數(shù)據(jù)的認(rèn)識(shí)。

一、大數(shù)據(jù)的概念

    講座上，老師講的大數(shù)據(jù)概念，幾乎和百度百科上的一樣：大數(shù)據(jù)（big data），是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。然而這樣的“大數(shù)據(jù)”對(duì)我們又有什么價(jià)值呢？我覺(jué)得，我們所提到的大數(shù)據(jù)，必須是以能從中挖掘出一定價(jià)值的，能指導(dǎo)我們現(xiàn)實(shí)生活作為前提條件的。

    我理解的大數(shù)據(jù)有兩個(gè)層面：

1、廣義的大數(shù)據(jù)概念。

    廣義的大數(shù)據(jù)，就是“人類通過(guò)信息化手段將現(xiàn)實(shí)世界記錄為數(shù)據(jù)的集合”?；蛘哒f(shuō)，其本質(zhì)是在人類世界目前的所有信息化系統(tǒng)下，產(chǎn)生的數(shù)據(jù)集合，這些數(shù)據(jù)匯集成一個(gè)映射現(xiàn)實(shí)世界的虛擬信息世界。這個(gè)虛擬信息世界的所有數(shù)據(jù)，即廣義大數(shù)據(jù)，也就是說(shuō)，廣義的大數(shù)據(jù)有且只有一個(gè)。

2、狹義的大數(shù)據(jù)概念

    狹義的大數(shù)據(jù)概念，是指圍繞某一對(duì)象，以及某一時(shí)間范圍進(jìn)行考察，該對(duì)象在該段時(shí)間內(nèi)通過(guò)各種信息化途徑產(chǎn)生的數(shù)據(jù)的集合，稱之為“大數(shù)據(jù)”。這里引入“對(duì)象”的概念，是建立在我前面提出的“大數(shù)據(jù)必須是有價(jià)值的”這一基礎(chǔ)上的，要讓大數(shù)據(jù)產(chǎn)生價(jià)值，就要有目的性的去挖掘、分析、統(tǒng)計(jì)，并為某些對(duì)象提供服務(wù)，就好像肉對(duì)狗有價(jià)值，草對(duì)羊有價(jià)值，考察對(duì)象至關(guān)重要。

二、三個(gè)世界

    為了進(jìn)一步闡述我的大數(shù)據(jù)觀點(diǎn)，這里我提出“三個(gè)世界”的觀點(diǎn)，所謂三個(gè)世界，是指“客觀世界”、“記錄世界”、“認(rèn)知世界”

1、客觀世界

    “客觀世界”指的是唯物主義理論中的世界，它不以人類的認(rèn)知為界限，不為人類的意識(shí)所改變。是一個(gè)客觀現(xiàn)實(shí)，不管人類是否探索到，或者是否了解，是否理解。

2、記錄世界

    “記錄世界”可以說(shuō)是數(shù)字化的“客觀世界”，是人類在生產(chǎn)、生活過(guò)程中對(duì)“客觀世界”的發(fā)現(xiàn)和有意或者無(wú)意的信息記錄。一定程度上是對(duì)“客觀世界”的信息化映射。

3、認(rèn)知世界

    “認(rèn)知世界”是指人類對(duì)客觀世界的認(rèn)知，從而產(chǎn)生了一個(gè)在人類文明中的“世界”，這個(gè)世界里包含了人類各個(gè)歷史階段各個(gè)層次的文明，從地心說(shuō)到日心說(shuō)，牛頓定律到相對(duì)論等等，也是指人類科學(xué)和社會(huì)意識(shí)形態(tài)中所理解的“世界”。“認(rèn)知世界”是人類試圖去探索“客觀世界”，去理解“客觀世界”的成果。通常“認(rèn)知世界”是一部分人類專注于對(duì)“記錄世界”的分析研究和歸納總結(jié)后產(chǎn)生的。

    為了更好的說(shuō)明這三個(gè)世界，我舉一個(gè)例子。

描述1：孫波生活在地球上，地球上經(jīng)常有火山噴發(fā)。

描述2：孫波每次打噴嚏都會(huì)寫進(jìn)日記。地球上每次火山噴發(fā)也都有人類記錄。

描述3：若干年后，通過(guò)這些記錄，人們有一個(gè)驚人的發(fā)現(xiàn)：孫波每打100個(gè)噴嚏，就正好會(huì)有一座火山噴發(fā)，于是科學(xué)家推導(dǎo)出這個(gè)理論：每當(dāng)孫波打噴嚏的次數(shù)能被100整除，就會(huì)發(fā)生火山噴發(fā)。從此，每當(dāng)孫波打90個(gè)噴嚏的時(shí)候，火山周圍的村民就會(huì)搬遷或者躲到地下。

    上面三個(gè)描述，描述1就是客觀世界，描述2就是記錄世界，描述3就是認(rèn)知世界。雖然例子舉得荒誕，但是人類文明就是在這樣三個(gè)世界中輪轉(zhuǎn)進(jìn)步的，比如太陽(yáng)歷和月亮歷的建立，看云、看日暈、看月暈識(shí)天氣，等等那些古老的常識(shí)，就是通過(guò)對(duì)客觀世界的觀察記錄，然后再在記錄中分析總結(jié)，得出結(jié)論，人類對(duì)這些推導(dǎo)和理論，在一開(kāi)始往往是知其然而不知其所以然的，新的研究會(huì)解答之前的疑問(wèn)，卻會(huì)帶來(lái)新的問(wèn)題。

    事實(shí)上，人類科學(xué)文明就好比在剝一個(gè)由客觀現(xiàn)實(shí)做成的洋蔥，每剝開(kāi)一層就是科學(xué)文明有一次進(jìn)步，這個(gè)洋蔥會(huì)越剝?cè)叫。怯肋h(yuǎn)剝不到核心，可以一直剝下去。

    這個(gè)就像兒子問(wèn)我的問(wèn)題：“為什們蜻蜓低飛就是要下雨了？”，“因?yàn)橄掠昵皻鈮旱蜐穸却?，飛蟲(chóng)翅膀濕了飛不高”；“為什么翅膀濕了就飛不高？”，“因?yàn)樾∷楸容^重！”；“為什么小水珠重？”，“因?yàn)樗拿芏缺瓤諝獯螅?rdquo;；“為什么水的密度大就重？”，“因?yàn)槿f(wàn)有引力，質(zhì)量越大，引力越大！”，“什么是萬(wàn)有引力？”“……”。 其實(shí)，當(dāng)年勞動(dòng)人民看到低飛的蜻蜓就知道要下雨，根本不知道后面這么多為什么。而萬(wàn)有引力也不是問(wèn)題的終點(diǎn)，至少目前的相對(duì)論指出：萬(wàn)有引力的根本是質(zhì)量對(duì)時(shí)空的扭曲。而即便是大名鼎鼎的“相對(duì)論”，我兒子也能大膽的問(wèn)上更多個(gè)“為什么？”

三、記錄世界的重要性

    很多時(shí)候，人類對(duì)客觀世界進(jìn)行了記錄，然后要在很久之后才能發(fā)現(xiàn)其中的規(guī)律，產(chǎn)生新的認(rèn)知理論。因此，記錄世界是人類主觀意識(shí)下，對(duì)客觀世界的映射，而其中蘊(yùn)藏的秘密，或許等待著我們?nèi)グl(fā)現(xiàn)。

    如實(shí)、客觀、標(biāo)準(zhǔn)化的記錄，并且該記錄可以長(zhǎng)期保存，準(zhǔn)確還原，這樣的記錄具有最大的價(jià)值。

四、“大數(shù)據(jù)”時(shí)代為什么現(xiàn)在到來(lái)

    先讓我們回到“大數(shù)據(jù)”的官方定義，以及它的特性，我們看到，大數(shù)據(jù)有以下幾個(gè)特性：

    容量（Volume）：數(shù)據(jù)的大小決定所考慮的數(shù)據(jù)的價(jià)值的和潛在的信息；

    種類（Variety）：數(shù)據(jù)類型的多樣性；

    速度（Velocity）：指獲得數(shù)據(jù)的速度；

    可變性（Variability）：妨礙了處理和有效地管理數(shù)據(jù)的過(guò)程。

    真實(shí)性（Veracity）：數(shù)據(jù)的質(zhì)量；

    復(fù)雜性（Complexity）：數(shù)據(jù)量巨大，來(lái)源多渠道；

    大數(shù)據(jù)為什么現(xiàn)在到來(lái)？因?yàn)楝F(xiàn)在的人類技術(shù)讓“大數(shù)據(jù)”有了存在的可能。

    記得1997年的時(shí)候，我在大學(xué)念書(shū)，好友汪明寫信告訴我，他買了一個(gè)4.3G的大腳硬盤，哇！4.3G啊，讓我激動(dòng)不已，那時(shí)候還是用10多張1.44M軟盤裝win95的年代，一張600M光盤里有200多個(gè)游戲，就像寶貝一樣，我這個(gè)計(jì)算機(jī)專業(yè)的人家里，硬盤是540M的，還分了C:D:E:F:4個(gè)區(qū)，現(xiàn)在人家居然買了4.3G的硬盤。

    別的方面，我就不再講一遍計(jì)算機(jī)的發(fā)展史了，知名的摩爾定律說(shuō)明了一切。

    據(jù)我所知，目前的大數(shù)據(jù)相關(guān)概念，其實(shí)很早以前就有了，當(dāng)年我學(xué)過(guò)一門課程叫做“數(shù)據(jù)挖掘”。在某些時(shí)候，其研究的對(duì)象，就類似與目前的“大數(shù)據(jù)”，只是很多時(shí)候，供分析研究的數(shù)據(jù)僅限于專業(yè)領(lǐng)域，其復(fù)雜性，多樣性和實(shí)時(shí)性不足，這一方面和“大數(shù)據(jù)”理論有偏差。

    而互聯(lián)網(wǎng)發(fā)展到大約2010年，智能手機(jī)把移動(dòng)數(shù)據(jù)終端，GPS放到每個(gè)人的口袋里，這可以說(shuō)是一個(gè)“大數(shù)據(jù)”理論的“奇點(diǎn)”。

    回到那個(gè)我打噴嚏的故事中來(lái)，我每次打噴嚏都寫在日記中，所以可能有一本包著塑料紅書(shū)皮的《孫波日記》在我床頭的抽屜里。而每次火山噴發(fā)，都有史料記載，然而，不同地方的火山噴發(fā)情況卻分別獨(dú)自記錄在各地的某些科學(xué)家的書(shū)本上，有羅馬文的，有英文的，有中文的……，這些記錄都是對(duì)現(xiàn)實(shí)世界的記錄，也共同組成了我理論中的“記錄世界”。然而，《孫波日記》放在我的抽屜里，各地的火山記錄也散布各處，這樣的情況下，就算一萬(wàn)年，也不會(huì)有人發(fā)現(xiàn)“孫波每打100個(gè)噴嚏，就會(huì)有1個(gè)火山噴發(fā)”。

    直到如今，信息化時(shí)代到來(lái)，各地的地質(zhì)學(xué)家和歷史學(xué)家把各自的火山噴發(fā)數(shù)據(jù)按照時(shí)間索引匯集成冊(cè)，纂書(shū)一本《地球火山歷史》然后發(fā)到互聯(lián)網(wǎng)，同時(shí)，我把我的日記放到了QQ空間，再然后，孫波的一個(gè)學(xué)地理的網(wǎng)上好友無(wú)意間發(fā)現(xiàn)了這個(gè)驚人的規(guī)律：孫波每100個(gè)噴嚏就會(huì)讓一座火山噴發(fā)。

    補(bǔ)充說(shuō)明，這個(gè)“孫波打噴嚏引發(fā)火山”理論，如果時(shí)間和實(shí)踐證明這一理論可以指導(dǎo)現(xiàn)實(shí)，那么即便現(xiàn)在看似無(wú)厘頭，但是背后一定有一個(gè)還不為人所知的科學(xué)。同樣，如果之前的依據(jù)只是巧合，必然會(huì)在時(shí)間的考驗(yàn)中被檢驗(yàn)，被否定。這是人類文明的發(fā)展規(guī)律。

   如果說(shuō)無(wú)意識(shí)的數(shù)據(jù)整合后，發(fā)現(xiàn)了新的規(guī)律，叫做“驚人的發(fā)現(xiàn)”，那么有意識(shí)的去融合多樣化的、復(fù)雜的、巨大的數(shù)據(jù)去發(fā)現(xiàn)規(guī)律，得出總結(jié)，這就是“大數(shù)據(jù)應(yīng)用”了。

五、數(shù)據(jù)融合是大數(shù)據(jù)的關(guān)鍵

    信息化技術(shù)的日新月異，讓很多不可能變?yōu)榭赡?，催生了很多服?wù)人類的專業(yè)應(yīng)用，比如智能手機(jī)、汽車導(dǎo)航、網(wǎng)上購(gòu)物、遠(yuǎn)程醫(yī)療、或者細(xì)化到目前智能手機(jī)上的各個(gè)APP，這些應(yīng)用無(wú)時(shí)無(wú)刻都在運(yùn)作，在它們運(yùn)作的時(shí)候，都附屬產(chǎn)生了數(shù)據(jù)，這些數(shù)據(jù)基本是標(biāo)準(zhǔn)化的，及時(shí)的，真實(shí)的。

    汽車行駛的坐標(biāo)、人們購(gòu)買的物品、你的血壓心律、等等都被保存在每個(gè)不同應(yīng)用的數(shù)據(jù)庫(kù)中。也就說(shuō)，目前爆炸式增長(zhǎng)的信息系統(tǒng)正在以前所未有的規(guī)模和各式各樣的方式即時(shí)記錄著我們的客觀世界。如今是“記錄世界”大爆炸的年代，“記錄世界”就是廣義概念的“大數(shù)據(jù)世界”。

    各個(gè)應(yīng)用雖然也能通過(guò)各自為政的數(shù)據(jù)信息中分析統(tǒng)計(jì)和數(shù)據(jù)挖掘，但是價(jià)值有限，于是，“大數(shù)據(jù)”被提了出來(lái)。從廣義上講“大數(shù)據(jù)”已經(jīng)放在那里了，就看怎么應(yīng)用了。

    “孫波打噴嚏引發(fā)火山”的理論，是以時(shí)間線為基礎(chǔ)，將火山噴發(fā)時(shí)間和孫波打100的整數(shù)倍噴嚏的時(shí)間作為融合點(diǎn)，研究分析得出的理論，試想，如果在《孫波日記》中忘記寫日期，那么這個(gè)理論也就無(wú)從考證了。

    所以，在大數(shù)據(jù)應(yīng)用實(shí)踐中，也就是狹義的“大數(shù)據(jù)”理論中，有一個(gè)考察對(duì)象的概念，該考察對(duì)象的某些屬性，應(yīng)該是融合數(shù)據(jù)的核心基礎(chǔ)。舉例來(lái)說(shuō)，如果結(jié)合手機(jī)定位和淘寶購(gòu)物兩個(gè)不同系統(tǒng)的數(shù)據(jù)分析不同地區(qū)的人的購(gòu)物習(xí)慣，那么考察對(duì)象就是人，而這兩個(gè)系統(tǒng)必須有一個(gè)融合點(diǎn)，就比方說(shuō)是身份證號(hào)，或者手機(jī)號(hào)，通過(guò)融合點(diǎn)，可以把兩塊本來(lái)不相關(guān)的數(shù)據(jù)融合起來(lái)，才能形成有價(jià)值的大數(shù)據(jù)，從而分析出，比如：上海人喜歡買鮮肉月餅，北京人喜歡買甜月餅。這個(gè)融合點(diǎn)類似于關(guān)系數(shù)據(jù)庫(kù)的主鍵和外鍵一樣，可以把兩個(gè)數(shù)據(jù)表聯(lián)合起來(lái)。

六、總結(jié)陳詞

    要總結(jié)的是怎么做“大數(shù)據(jù)應(yīng)用”，為什么要加上“應(yīng)用”，因?yàn)榇髷?shù)據(jù)本身已經(jīng)存在了，且本身也不會(huì)自動(dòng)產(chǎn)生價(jià)值，只有人們有意識(shí)的去融合數(shù)據(jù)、挖掘信息、并總結(jié)歸納，然后再用于新的領(lǐng)域起到指導(dǎo)作用，才會(huì)產(chǎn)生價(jià)值，這就是“大數(shù)據(jù)應(yīng)用”。

    要讓大數(shù)據(jù)價(jià)值最大化我認(rèn)為要做到以下幾點(diǎn)

1、信息化系統(tǒng)數(shù)據(jù)規(guī)范的統(tǒng)一

    雖然在“大數(shù)據(jù)”名詞解釋中稱大數(shù)據(jù)是“無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理”，但是讓“記錄世界”的各項(xiàng)記錄標(biāo)準(zhǔn)化，是更加有利于大數(shù)據(jù)融合的，前面說(shuō)的，對(duì)什么地方的人的購(gòu)物習(xí)慣的大數(shù)據(jù)分析就是基于身份證號(hào)碼和手機(jī)號(hào)碼的標(biāo)準(zhǔn)化。

2、客觀記錄盡可能多和真實(shí)的數(shù)據(jù)

    比如淘寶系統(tǒng)，或者陽(yáng)光太倉(cāng)人才網(wǎng)。在開(kāi)發(fā)設(shè)計(jì)系統(tǒng)時(shí)，用戶什么時(shí)候下單，求職者什么時(shí)候應(yīng)聘，數(shù)據(jù)記錄中可以精確到日，也能精確到秒，可以保留ip地址信息，也能不保留。但是，如今的信息技術(shù)，讓記錄更加精確的數(shù)據(jù)的代價(jià)變得很小，有些數(shù)據(jù)，雖然以目前的眼光或者以割裂的方式來(lái)看價(jià)值不大，但是還是應(yīng)該盡可能去記錄，也就是說(shuō)，在代價(jià)不大的情況下“記錄世界”越詳細(xì)越好，越有利于大數(shù)據(jù)的應(yīng)用。

3、盡可能的融合更多的數(shù)據(jù)

    將地理位置和購(gòu)物記錄融合起來(lái)，能分析出不同地區(qū)的人的購(gòu)物癖好，那么融合再融合入職位和收入信息呢？是不是可以又可以推導(dǎo)出不同月薪層次的人的旅游愛(ài)好和購(gòu)物價(jià)值觀？

4、大數(shù)據(jù)挖掘的信息要發(fā)揮指導(dǎo)作用

    孫波打噴嚏滿100，就會(huì)火山噴發(fā)，這個(gè)理論在每次孫波打90個(gè)噴嚏就疏散居民的時(shí)候發(fā)揮了指導(dǎo)作用，產(chǎn)生了價(jià)值。同樣，分析出上海人喜歡買鮮肉月餅，就能對(duì)籌建月餅廠，優(yōu)化豬肉物流配送等方面產(chǎn)生指導(dǎo)作用。只有發(fā)揮指導(dǎo)作用的大數(shù)據(jù)才是有價(jià)值的，才是我說(shuō)的大數(shù)據(jù)。