大數(shù)據(jù)給我們帶來了哪些改變

大數(shù)據(jù)時代的兩個階段

我們現(xiàn)在處在一個數(shù)據(jù)的海洋當中。

2019年的春運被媒體戲稱為“世界上最大的人口遷徙”，有30億人次流動。2018年“雙十一”網(wǎng)購達到了2135億元的銷售額度?，F(xiàn)在，每天會產(chǎn)生450億的微信條目。用手機的網(wǎng)民已經(jīng)達到8.17億?？傮w來說，我們國家的GDP數(shù)字經(jīng)濟占比已經(jīng)達到了34.8%，超過了1/3，這方面實際能夠體現(xiàn)出，我們這個社會已經(jīng)開始越來越數(shù)字化了。

說起大數(shù)據(jù)、大數(shù)據(jù)時代，主要的時代背景是什么呢？我們現(xiàn)實世界有多大程度上可以被數(shù)據(jù)表示？用一個形象的話來講，我們的社會像素正在急劇提升。這個“像素”來自到處可見的感測設(shè)備——探頭、智能手機、可穿戴設(shè)備、車載設(shè)備，林林總總。這些使我們這個社會的數(shù)字化程度越來越高，數(shù)據(jù)的粒度因此也越來越細。也就是說，數(shù)字化生活的兩個要素之一：像素、數(shù)據(jù)的粒度已經(jīng)具備。像素夠高的時候我們要干什么？形象地說就是“成像”，就像手機、相機，像素越高成像的質(zhì)量可能越好，因此，成像是我們數(shù)字化生活中另外一個重要的要素，像素和成像對應(yīng)起來，就把數(shù)據(jù)和算法聯(lián)系起來了。這就是我們所說的大數(shù)據(jù)的時代背景。

我認為，大數(shù)據(jù)時代可以分成兩個階段。

第一階段是數(shù)據(jù)商務(wù)階段。不斷地把現(xiàn)實生活中的要素，人財物，都進一步數(shù)據(jù)化，同時根據(jù)這些數(shù)據(jù)化的人財物進行算法的應(yīng)用。

第二階段是算法商務(wù)階段。當像素足夠高的時候，重點就變成了成像了，也就是說，重點變成算法應(yīng)用。

數(shù)據(jù)商務(wù)階段和算法商務(wù)階段都圍繞著數(shù)據(jù)和算法進行，但是重點有所不同。數(shù)據(jù)商務(wù)階段就像做菜一樣，數(shù)據(jù)化的過程就是不斷準備材料的過程，不停地增加和豐富材料，然后根據(jù)已有的材料提供不同的菜品。但是在算法商務(wù)階段，材料已經(jīng)足夠豐富了，這個時候要比的就是手藝了，你是不是能夠做得更好、更多。這就是我們所說的算法進階及應(yīng)用創(chuàng)新，如“智能+”，我們可以用更加高尖的智能技術(shù)，包括人工智能的很多技術(shù)，在現(xiàn)有的大規(guī)模數(shù)據(jù)下進行應(yīng)用。

大數(shù)據(jù)的數(shù)據(jù)特征

那么，什么是大數(shù)據(jù)？首先看它的數(shù)據(jù)特征，可以從4個維度來理解，即4V：volume（規(guī)模）、variety（多樣）、value（價值）、velocity（速度）。大家對這四個維度沒有什么大的爭議，但是對它們的含義的理解還是有相當不同的認識的。

第一是規(guī)模，我們稱之為超規(guī)模。大數(shù)據(jù)規(guī)模會很大，但是沒有絕對的量綱標準，沒有說一定要達到多少G多少P多少Z才是大數(shù)據(jù)，這個不一定，因為大數(shù)據(jù)的大規(guī)模和問題、領(lǐng)域有關(guān)。只要這個大的規(guī)模超出了這個領(lǐng)域和問題的傳統(tǒng)邊界，那就是大規(guī)模里的超規(guī)模。

第二是多樣，即富媒體的意思?，F(xiàn)在80%～90%的數(shù)據(jù)都是文本、語音、圖像、視頻，不再是特別傳統(tǒng)的二維的整齊的結(jié)構(gòu)化的數(shù)據(jù)了。

第三是價值。我們處在數(shù)據(jù)的海洋中，四周都是數(shù)據(jù)，但是跟我個人有關(guān)，跟我企業(yè)有關(guān)的那種有價值的信息相對少了，因為數(shù)據(jù)量的分母太大了，即密度在降低，這個后面直接的隱喻就是要深度挖掘才能發(fā)現(xiàn)我們希望的價值。

第四是速度。數(shù)據(jù)就像開著的水龍頭一樣，源源不斷地出來，而不是我們上傳下載圖片要等很久。因此，大數(shù)據(jù)里的數(shù)據(jù)是一個流數(shù)據(jù)的概念。

大數(shù)據(jù)的問題特征

那么，什么樣的問題才是大數(shù)據(jù)問題？這要看它的問題特征。

第一個特征，是粒度縮放。粒度縮放是指我們碰到的這個問題的要素一定是數(shù)據(jù)化的，即這個要素不管是宏觀的還是微觀的，一定能通過數(shù)據(jù)表示。同時，可以像地圖一樣，可以在特別大的范圍和特別細的范圍之間縮放，能夠在宏觀、微觀之間進行映射。

第二個特征，是大數(shù)據(jù)外部性導致的特征，稱之為跨界關(guān)聯(lián)?？紤]問題的時候要看視角，問題邊界是在哪兒，如果考慮問題的時候這個邊界到了傳統(tǒng)邊界之外，就是跨界了，而且你把這個外部的要素和內(nèi)部要素聯(lián)系起來了，所以你在關(guān)聯(lián)。

第三個特征，全局視圖。大數(shù)據(jù)實際是希望了解全貌的，它最后是要看畫像，因為前面我的每一個點、每一個環(huán)節(jié)的數(shù)據(jù)叫作粒度縮放，同時和我相關(guān)的要素我又關(guān)聯(lián)了，但是我最后要干什么，要了解全貌，要有個人畫像、企業(yè)畫像、政府畫像、社會畫像等，所以這個畫像本身又是全景式的，從范圍來講是全景式的，從內(nèi)涵來講，我們希望既關(guān)聯(lián)又因果。

這里，我舉一個共享單車的例子，方便大家審視大數(shù)據(jù)問題的特點。有的人會認為共享單車其實就是我們的代步工具，但是這是傳統(tǒng)的概念?，F(xiàn)在一般每輛共享單車都有自己的感應(yīng)器和定位裝置，也就是說感測的數(shù)據(jù)粒度到了車和部件。這時候就不單是一個單車了，可能我走到什么地方，共享單車的App就告訴我附近有什么商圈、酒店、餐館，我在什么地方買東西可能還可以用移動支付，當視角從單車走到了其他行業(yè)、要素時，就開始跨界關(guān)聯(lián)了?？赡茉谶@個地區(qū)人特別多，共享單車不夠，可能在另外的地方單車冗余了。因此，共享單車的平臺應(yīng)該清楚什么地方需要車，什么地方不需要車，怎樣調(diào)動，這就是全局視圖。當共享單車具備粒度縮放、跨界關(guān)聯(lián)和全局視圖時，共享單車的運營、優(yōu)化，就是一個大數(shù)據(jù)問題。

這些年來，社會上比較流行一個論斷，說“大數(shù)據(jù)只講關(guān)聯(lián)不講因果”。這個論斷雖然有一定道理，但是總體來講是誤導的。特別是在重要決策的時候，如果涉及的后果可能會有嚴重的人財物的損失，然后我告訴你“你就這么干吧，沒有為什么”，誰敢作決策？所以，在大數(shù)據(jù)環(huán)境下作管理決策，既要看關(guān)聯(lián)也要看因果。另外，因果是認識論的基本訴求，我們要知道原因。

大數(shù)據(jù)沖擊各行各業(yè)

我們作為個人不僅是數(shù)據(jù)的接收者，也是數(shù)據(jù)的生產(chǎn)者。一方面我們下載、閱讀、瀏覽，因此我們在消費數(shù)據(jù)；另一方面，我們又上傳、撰寫、參加各種活動，各種活動就可以留下我們的很多痕跡，因此我們也在留痕，我們實際又在產(chǎn)生數(shù)據(jù)。在這樣一個既是消費又是生產(chǎn)的環(huán)境中，我們從方方面面已經(jīng)和數(shù)據(jù)分不開了。

大數(shù)據(jù)已經(jīng)在沖擊各行各業(yè)。

比如經(jīng)濟金融領(lǐng)域。股價的預(yù)測其實一直是個難題，傳統(tǒng)的股價預(yù)測，實際是通過一些專業(yè)的模型來估計風險、收益、評價企業(yè)，有專門的理論和方法來估計股價。但是影響股價的除了這些因素之外還有人們的“期望”，而估計“期望”是非常難的，因為“期望”既涉及外部因素，又涉及心理預(yù)期?，F(xiàn)在一個新視角是考慮公眾關(guān)注，比如搜索。若對某些企業(yè)比較關(guān)心，可能就搜索其企業(yè)狀況、新聞事件，這種搜索體現(xiàn)了大眾對具體企業(yè)的股票價格和價值走向的關(guān)心。這是一個跟過去特別不同的角度，因為這不是特別專業(yè)的角度，它是從專業(yè)外人士的行為來估計的角度。這種關(guān)注和搜索與股價的走勢有相當強的關(guān)聯(lián)度。但是，要特別指出，僅用這一個因素來估計股價是不夠的，還有大量的因素需要專業(yè)模型。因此，一方面能夠擴展或者沖擊傳統(tǒng)的定式和視角，另外應(yīng)該把其他視角引入進來，大數(shù)據(jù)的股價預(yù)測應(yīng)該是包括內(nèi)部與外部、專業(yè)與非專業(yè)因素的模型構(gòu)建。

大數(shù)據(jù)也開始在改變會計學。傳統(tǒng)的會計學衡量企業(yè)的狀況是通過三張報表：資產(chǎn)負債表、現(xiàn)金流量表、利潤表，這三張報表反映了一個企業(yè)的運營能力、償債能力和盈利能力。雖然這三張報表是非常基礎(chǔ)和非常重要的，但是大家突然發(fā)現(xiàn)，有一大類企業(yè)是高風險的，特別是一些IT企業(yè)、創(chuàng)業(yè)企業(yè)、新行業(yè)企業(yè)，長期負債，但同時又有非常高的市值，人們又有非常強的忠誠度，如果用這三張報表衡量，似乎不能完全體現(xiàn)它的價值，也就是說，傳統(tǒng)會計學的三張報表現(xiàn)在可能就不夠用了。因此，人們正在呼喚“第四張報表”的出現(xiàn)，業(yè)界和學界都在做這方面的研究。長周期、高負債、高不確定性企業(yè)的價值可能受到的是口碑、忠誠度、品牌、公允價值，包括無形資產(chǎn)的影響。這些東西，我們可以稱之為數(shù)據(jù)資產(chǎn)。

大數(shù)據(jù)也在為體育界帶來變革?；@球項目像美職籃NBA就做得非常好，他們通過收集肌肉、血液、心臟、動作、戰(zhàn)術(shù)、團隊等全景式的數(shù)據(jù)來幫助訓練和比賽，因為這些因素，都有可能影響整個比賽的結(jié)果?？萍俭w育這幾年有巨大的空間，傳統(tǒng)的師傅帶徒弟，師傅的傳幫帶確實非常重要，但是應(yīng)該有更細粒度，更加多角度、更加全景式的手段，采用大數(shù)據(jù)技術(shù)來提升整體的競賽水平。

大數(shù)據(jù)在藝術(shù)上也有很多影響。傳統(tǒng)繪畫，不管是古典的還是現(xiàn)代的畫，都有自己的素材和表現(xiàn)形式?，F(xiàn)在出現(xiàn)了一種新的素材——數(shù)據(jù)素材，也就有了新的表現(xiàn)形式。比如飛機航班的數(shù)據(jù)軌跡就可以構(gòu)成一幅新穎的畫。

大數(shù)據(jù)在其他領(lǐng)域也有非常多的應(yīng)用，比如農(nóng)業(yè)方面就有蔬菜革命、精準扶貧。在醫(yī)療健康領(lǐng)域，醫(yī)院內(nèi)醫(yī)院外，得病和未得病之間的關(guān)聯(lián)，也是大數(shù)據(jù)問題。文學上通過大數(shù)據(jù)技術(shù)對一些詞語、作者、關(guān)系、背景等進行分析。這些都是利用大數(shù)據(jù)的例子。

哲學里一個重要的方向是認識論和方法論，這里包括我們近些年提煉出來的新的研究成果。傳統(tǒng)的哲學認識論追求探索因果關(guān)系，因此基本叫作模型驅(qū)動范式，也就是說通過刻畫變量之間的聯(lián)系，比如自變量和因變量，通過構(gòu)建這兩個之間的函數(shù)關(guān)系，比如線性、非線性等，可以知道一個自變量一個單位的變化會導致因變量有幾個單位的變化，這里試圖反映變量之間的邏輯的因果上的機理。但是，這個模型驅(qū)動的范式，在大數(shù)據(jù)時代會受到一些挑戰(zhàn)，或者說它碰到一些問題時會捉襟見肘。比如，當數(shù)據(jù)變量的組合數(shù)特別多時，當很多變量是潛變量和隱變量時，當很多變量雖然重要，但是不可測不可獲時，還有當數(shù)據(jù)的樣本規(guī)模特別大時，這些問題用傳統(tǒng)的模型驅(qū)動做法就會比較困難。因此，就出現(xiàn)了一個新的范式轉(zhuǎn)變，催生了大數(shù)據(jù)驅(qū)動范式。這個范式想表達的是，對于管理決策，我們希望能夠?qū)崿F(xiàn)既有關(guān)聯(lián)又有因果的訴求，這個新范式簡單地說由外部嵌入、技術(shù)增強和使能創(chuàng)新三方面構(gòu)成。外部嵌入是指引入視角之外的變量，有些變量我們知道重要，但是沒有辦法放進模型里，比如我知道股價，我預(yù)測股價有個計量模型，但是如果今天這個公司出了一件事情，或者是有個關(guān)聯(lián)新聞，或者行業(yè)里有個新的政策，我們覺得可能會影響股價，但是這些變化很可能是視頻、語音或者文本，沒有辦法融入傳統(tǒng)的模型中去。所以，需要引入外部視角。這些圖像、視頻、新聞文本要引入進來，就是要使得我們引入的變量可測、可獲，這就需要技術(shù)上的增強。當這些變量引入進來的時候，我的變量空間就發(fā)生了變化，這時候我們可能會研究新的X到Y(jié)的轉(zhuǎn)換，也就是變量關(guān)系和映射要重新定義和審視，這就是使能創(chuàng)新。

歷史學其實也和大數(shù)據(jù)密不可分。傳統(tǒng)的歷史記錄內(nèi)容都是帝王將相、英雄豪杰、國家、政治、重大的軍事事件等，很難在歷史中看到平民和我們自己。一個是過去的粒度不夠，第二手段也不行，存不下來。大數(shù)據(jù)環(huán)境下就可能自下而上反映歷史。比如國家圖書館互聯(lián)網(wǎng)信息戰(zhàn)略保存項目，就是和新浪網(wǎng)合作，把新浪公開的相關(guān)博客文章作為歷史資料記錄下來，通過自上而下與自下而上的史學觀的融合，能夠讓我們在更細粒度上反映歷史和社會，同時也可以獲得更加全面的歷史畫面。

法律也和大數(shù)據(jù)相關(guān)。比如說，我作為一個消費者，在網(wǎng)上購物、瀏覽，我的網(wǎng)絡(luò)痕跡、數(shù)據(jù)腳印都被相關(guān)公司采集了，那么，我有沒有權(quán)利要求你把我的這些痕跡抹掉、遺忘掉？這就是“被遺忘權(quán)”。所謂被遺忘權(quán)是指數(shù)據(jù)主體有權(quán)要求數(shù)據(jù)控制者永久刪除有關(guān)數(shù)據(jù)主體的個人數(shù)據(jù)，有權(quán)被互聯(lián)網(wǎng)遺忘，除非數(shù)據(jù)的保留有合法的理由。2018年歐盟出臺了《通用數(shù)據(jù)保護條例》，強調(diào)了被遺忘權(quán)，我們國家2018年的高考II卷一篇閱讀文章的題目，也是要考生來思考、評論這個被遺忘權(quán)的問題。

大數(shù)據(jù)與人工智能的交會

大數(shù)據(jù)的沖擊力量現(xiàn)在看來還在加劇，其中有一個力量非常值得關(guān)注，那就是人工智能。

當人工智能遇到大數(shù)據(jù)的時候，現(xiàn)在井噴式的發(fā)展才變成了可能。其實人工智能是現(xiàn)在這個時代中很多技術(shù)的一類，它本身已經(jīng)發(fā)展了好幾十年，但是為什么在近些年才得到快速發(fā)展？其實人工智能技術(shù)和這幾個關(guān)鍵詞有關(guān)，那就是“學習、訓練、推理、演化、智能、智慧”，也就是說，它是關(guān)于這些關(guān)鍵詞的一類技術(shù)。特別重要的一點，它要根據(jù)大量的數(shù)據(jù)來進行學習和預(yù)測，就是從數(shù)據(jù)中學習，建立模型，并用于預(yù)測未來。過去數(shù)據(jù)的粒度不夠，進入大數(shù)據(jù)時代，當數(shù)據(jù)有足夠的粒度和像素時它才成為可能，因為人工智能的主流技術(shù)首先是要基于大規(guī)模數(shù)據(jù)進行學習。其次，人工智能算法本身需要非常強的計算能力，只有在大數(shù)據(jù)時代，有了云計算平臺、數(shù)據(jù)傳輸、數(shù)據(jù)的流通、數(shù)據(jù)的管理，諸如5G技術(shù)等，才能為人工智能的發(fā)展提供非常好的支持。我們身邊其實已經(jīng)有很多人工智能產(chǎn)品了，比如工業(yè)機器人、財務(wù)機器人、下棋機器人、能做詩作畫作曲的機器人等，這些機器人可以做很多我們過去認為不可能的事情。

人工智能在未來會波濤洶涌，一浪高過一浪地發(fā)展。但是它本身也有局限，目前的人工智能技術(shù)特別是深度神經(jīng)網(wǎng)絡(luò)這樣的技術(shù)，基本上屬于“黑盒子”技術(shù)，可以算得非常準，但是“為什么”還說不大清楚。在這種情況下，在一些重要的應(yīng)用領(lǐng)域就受到局限，因為如果不知道“為什么”就不敢用這個方法作重要決策，如果不能通過非常清楚的機理來說明，實際它未來的應(yīng)用也是有局限的?，F(xiàn)在，業(yè)界和學界都在攻關(guān)“可解釋人工智能”，實際就是人工智能在輸入和輸出之間，在數(shù)據(jù)和預(yù)測的結(jié)果之間，從數(shù)學上來講需要一點定理，一些形式化的機理。從認識論上來講需要一些因果關(guān)系。

不管怎么說，人工智能的應(yīng)用已經(jīng)深刻地影響到我們了。作為人類，我們自己創(chuàng)造了一個“亞種”叫作機器人。機器人的行為是不是都在我們?nèi)祟惖脑O(shè)想之中呢？會不會干一些我們想不到的事情呢？似乎這個擔憂是必要的。所以機器行為學應(yīng)運而生。傳統(tǒng)社會學、管理學、經(jīng)濟學、心理學等都是研究人、由人構(gòu)成的組織的行為，由人形成的網(wǎng)絡(luò)的行為。隨著各式各樣的機器人越來越多地替代人的工作，越來越多地挑戰(zhàn)人們在智力、計算上的能力，這樣的研究是非常必要的。所以，我們要研究機器如何塑造人類的行為，人類如何塑造機器的行為，以及人機協(xié)作的行為。

運用大數(shù)據(jù)要重視商業(yè)倫理

在實際中，大數(shù)據(jù)的使用本身仍有很多令人擔憂之處。雖然科技發(fā)展飛速，但是人們使用科技是帶有價值取向的。

比如“大數(shù)據(jù)殺熟”。在傳統(tǒng)的營銷、管理中，我們都希望了解客戶的行為，更好地為他們服務(wù)。在市場的環(huán)境下我們也說，既然有人愿意用高價買，那就可能要給他提供更好的服務(wù)。但是在大數(shù)據(jù)環(huán)境下，這種處理就有一個度的問題。第一是客戶是否知道他的信息被收集，第二是他是否愿意真的出高價買。作為企業(yè)來講，又需要有經(jīng)營哲學上的思考：企業(yè)是以盈利為中心，還是以客戶為中心？當以客戶為中心時，客戶滿意與否就變成了主要的KPI，就是主要的決策考量，如果光考慮企業(yè)的盈利，而不考慮客戶，可能就不太會考慮用戶的感受。實際上，“大數(shù)據(jù)殺熟”涉及的是商業(yè)倫理層面的問題。

在大數(shù)據(jù)時代我們跟數(shù)據(jù)打交道會碰到一系列社會問題、法律問題、道德問題，需要在企業(yè)層面、商業(yè)層面，在社會和政府層面立法立規(guī)，在個人層面、在道德的層面大家來共同努力解決這些問題。

感測和響應(yīng)大數(shù)據(jù)時代

過去的20年我們經(jīng)歷了特別大的技術(shù)變化。20年前，中國網(wǎng)民是62萬，互聯(lián)網(wǎng)普及率只有0.03%，網(wǎng)站1000多家?，F(xiàn)在中國網(wǎng)民有8.29億，互聯(lián)網(wǎng)普及率達到59.6%，網(wǎng)站523萬個，上網(wǎng)時間每天人均4小時。

時代的變化太快，我們應(yīng)該敏銳地主動地感測和了解這個變化，同時不管是企業(yè)還是個人，要作出自己的準備和自己的響應(yīng)，因為大數(shù)據(jù)作為一個時代會伴隨我們相當長的時間。在未來的某一天，可能由大數(shù)據(jù)衍生出一個新的概念、一個新的內(nèi)涵、一類新的技術(shù)，可能會變成一個新時代的符號。