大數(shù)據(jù)落地前企業(yè)要做的事情還有很多

　　大數(shù)據(jù)也可能出錯(cuò)結(jié)果

　　近日，兩則關(guān)于大數(shù)據(jù)的新聞令人關(guān)注。其一，國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，為我國(guó)大數(shù)據(jù)發(fā)展進(jìn)行頂層設(shè)計(jì)和統(tǒng)籌部署;其二，我國(guó)正在制定《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》，支持大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)創(chuàng)新發(fā)展。

　　正如谷歌公司憑借對(duì)搜索數(shù)據(jù)的分析，成功預(yù)測(cè)2013年美國(guó)流感爆發(fā)，大數(shù)據(jù)這一全新數(shù)據(jù)科學(xué)發(fā)展至今，已被公認(rèn)為全球各行業(yè)提升能級(jí)的要素之一。然而，在這股洶涌熱潮中，新技術(shù)難免被誤讀、炒作，甚至可能陷入“從概念到概念”的封閉圈，而阻礙其良性發(fā)展。

　　大數(shù)據(jù)，如何避免成為“概念股”?

　　“大數(shù)據(jù)是一座信息富礦，通過(guò)有效提取方式，相較小數(shù)據(jù)樣本研究可以獲得更多以往看不見(jiàn)的寶藏?！睆?fù)旦大學(xué)大數(shù)據(jù)學(xué)院院長(zhǎng)、教授范劍青坦言。大數(shù)據(jù)有多大?假設(shè)個(gè)人電腦的硬盤(pán)容量是1TB，2003年全世界數(shù)據(jù)大約可裝滿500萬(wàn)臺(tái)電腦，現(xiàn)在能裝滿80億臺(tái)，到2020年，全世界數(shù)據(jù)預(yù)計(jì)能裝滿400億臺(tái)電腦。

　　如此巨大的“礦山”中，許多不可能正在發(fā)生。微軟公司通過(guò)大數(shù)據(jù)分析處理，對(duì)奧斯卡金像獎(jiǎng)作出“預(yù)言”，結(jié)果除“最佳導(dǎo)演”外，其余13項(xiàng)大獎(jiǎng)全部命中。而今，大數(shù)據(jù)技術(shù)已進(jìn)入金融、科研等領(lǐng)域。國(guó)內(nèi)外均有企業(yè)通過(guò)分析社會(huì)人群對(duì)股票的關(guān)注熱度，做出在證券市場(chǎng)的買(mǎi)賣(mài)決定，獲得高額回報(bào)。范劍青說(shuō)，當(dāng)過(guò)去不曾被關(guān)注的信息在大數(shù)據(jù)推動(dòng)下被妥善應(yīng)用，就成為了獨(dú)一無(wú)二的“盈利點(diǎn)”。

　　“但必須強(qiáng)調(diào)的是，它并不是萬(wàn)能的，也可能帶來(lái)錯(cuò)誤的結(jié)果?！狈秳η嗾f(shuō)。

　　首先，是“假相關(guān)”問(wèn)題。他舉例，若在一個(gè)小村莊里，兩個(gè)人面貌相似，那么判斷其兩者具有血緣關(guān)系的準(zhǔn)確性就較高。但若在幾千萬(wàn)人口的大城市，做出這一判斷，其可信度就大大降低了。在大數(shù)據(jù)分析中，由于信息海量且多元異構(gòu)，影響結(jié)果的要素繁多，若不能精準(zhǔn)驗(yàn)證，往往會(huì)誤解兩個(gè)參數(shù)之間具有相關(guān)性，而影響整個(gè)結(jié)論。

　　另一個(gè)問(wèn)題，是誤差疊加。大數(shù)據(jù)涉及幾萬(wàn)個(gè)、幾百萬(wàn)個(gè)乃至數(shù)百億個(gè)變量，這意味著如果每一個(gè)變量都造成一點(diǎn)點(diǎn)誤差，最后的預(yù)測(cè)會(huì)是很多誤差的疊加，失之毫厘，差之千里。

　　在他看來(lái)，理性看待這一新技術(shù)、新學(xué)科，是其發(fā)展的基礎(chǔ)，通過(guò)技術(shù)創(chuàng)新，更科學(xué)地抽取樣本、解讀數(shù)據(jù)，更好地解決先天軟肋，也是大數(shù)據(jù)技術(shù)向更高層次發(fā)展的驅(qū)動(dòng)力之一。

　　以往談到大數(shù)據(jù)發(fā)展，存在兩大瓶頸。

　　其一，數(shù)據(jù)價(jià)值的體現(xiàn)，離不開(kāi)共享，但由于相當(dāng)一部分?jǐn)?shù)據(jù)涉及普通人隱私，因此數(shù)據(jù)的使用尤其是商業(yè)使用，應(yīng)有權(quán)益邊界。在大數(shù)據(jù)更好地服務(wù)生活的同時(shí)，如何兼顧個(gè)人隱私安全，成為重要課題。其二，可公開(kāi)信息尚存諸多屏障。多位信息技術(shù)研究者發(fā)現(xiàn)，他們最大的苦惱在于獲取信息不易。大數(shù)據(jù)分析處理過(guò)程中，有相當(dāng)一部分?jǐn)?shù)據(jù)來(lái)源于政府部門(mén)可公開(kāi)信息，然而，有時(shí)部分條塊部門(mén)不愿提供，令研究者難為無(wú)米之炊。

　　不過(guò)，范劍青認(rèn)為，當(dāng)前最重要的難點(diǎn)，在于人才緊缺，缺乏人才支撐，新技術(shù)帶來(lái)的新產(chǎn)業(yè)往往難以真正落地。

　　上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任朱揚(yáng)勇在近日發(fā)表的《大數(shù)據(jù)時(shí)代的數(shù)據(jù)科學(xué)家培養(yǎng)實(shí)踐》一文中透露：國(guó)外有機(jī)構(gòu)預(yù)測(cè)到2018年，僅美國(guó)本土就可能面臨缺乏19萬(wàn)名具備深入分析數(shù)據(jù)能力人才的情況，同時(shí)具備通過(guò)分析大數(shù)據(jù)并為企業(yè)作出有效決策的數(shù)據(jù)管理人員和分析師也有150萬(wàn)人的缺口。大數(shù)據(jù)時(shí)代，最熱門(mén)的職業(yè)是數(shù)據(jù)科學(xué)家。

　　與此同時(shí)，大數(shù)據(jù)技術(shù)所涉及的知識(shí)體系的復(fù)雜性，給人才培養(yǎng)帶來(lái)新挑戰(zhàn)。事實(shí)上，全球的大學(xué)開(kāi)始探索培養(yǎng)數(shù)據(jù)科學(xué)研究人才，至今僅有5年。普林斯頓大學(xué)去年開(kāi)始有統(tǒng)計(jì)與機(jī)器學(xué)習(xí)(大數(shù)據(jù)方向)的輔修課程，今年開(kāi)始正式招生。清華大學(xué)去年成立數(shù)據(jù)科學(xué)研究院，推出大數(shù)據(jù)碩士項(xiàng)目。昨天，復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院、大數(shù)據(jù)研究院正式成立。由于大數(shù)據(jù)本身是統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)以及多種學(xué)科的交叉新興學(xué)科，在這些高校中傳統(tǒng)的按學(xué)科分類(lèi)培養(yǎng)人才的模式“被迫”創(chuàng)新。

　　大數(shù)據(jù)應(yīng)用“創(chuàng)意為王”

　　范劍青如今同時(shí)任美國(guó)普林斯頓大學(xué)統(tǒng)計(jì)委員會(huì)主任，他說(shuō)，“如何設(shè)計(jì)課程，全世界都在摸索，我們也一樣，初步考慮，統(tǒng)計(jì)學(xué)和計(jì)算機(jī)數(shù)據(jù)處理，將成為構(gòu)成課程體系的核心?！闭n程體系將融匯經(jīng)濟(jì)管理、生命科學(xué)、醫(yī)療衛(wèi)生、能源環(huán)境、社會(huì)統(tǒng)計(jì)和新聞傳播等眾多學(xué)科，打造跨學(xué)科的創(chuàng)新性人才培養(yǎng)平臺(tái)。

　　在大數(shù)據(jù)處理的軟硬件領(lǐng)域，國(guó)外已相繼推出成熟產(chǎn)品。SAP公司的HANA系統(tǒng)、EMC公司的reenplumUAP系統(tǒng)、微軟公司的AzureHadoop系統(tǒng)等多個(gè)商用或半商用產(chǎn)品強(qiáng)勢(shì)投入市場(chǎng)，爭(zhēng)奪份額。在推出單一功能產(chǎn)品的同時(shí)，海外IT巨頭還推出一體化服務(wù)，以數(shù)據(jù)處理技術(shù)為核心，將存儲(chǔ)、數(shù)據(jù)庫(kù)維護(hù)等打包出售。這些基礎(chǔ)工具令大數(shù)據(jù)處理、分析更為便捷，門(mén)檻也更低。

　　但問(wèn)題同時(shí)出現(xiàn)。復(fù)旦大學(xué)能源經(jīng)濟(jì)與戰(zhàn)略研究中心常務(wù)副主任吳力波坦言，在當(dāng)前大數(shù)據(jù)領(lǐng)域中，流傳著一句話，說(shuō)明專(zhuān)業(yè)發(fā)展中的“可怕陷阱”：“garbagein，garbageout(廢料進(jìn)廢料出)?！焙?jiǎn)而言之，就是在大數(shù)據(jù)處理過(guò)程中，往往過(guò)度依賴基本工具，而忽視了所在專(zhuān)業(yè)領(lǐng)域的特殊性，隨之而來(lái)的是，輸入海量數(shù)據(jù)后，處理獲得的數(shù)據(jù)也是無(wú)效的，為數(shù)據(jù)而數(shù)據(jù)，難以真正服務(wù)于社會(huì)實(shí)際。

　　作為投身能源大數(shù)據(jù)分析的專(zhuān)家，吳力波認(rèn)為，在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和布局中，應(yīng)始終強(qiáng)調(diào)其“創(chuàng)意為王”的天然屬性，從數(shù)以億萬(wàn)計(jì)的信息中提取關(guān)聯(lián)要素，真正為生產(chǎn)、生活提供服務(wù)。用她的話來(lái)說(shuō)，就是不再?gòu)臄?shù)據(jù)到數(shù)據(jù)，而是從數(shù)據(jù)到故事。

　　舉例來(lái)說(shuō)，她研究的能源大數(shù)據(jù)，企業(yè)、甚至居民每分鐘的用電數(shù)據(jù)是數(shù)據(jù)來(lái)源，面對(duì)如此高頻海量的信息，首先要將其可視化處理，再清洗、修正、挖掘，找到真正相關(guān)聯(lián)的要素，許多意想不到的結(jié)論就此產(chǎn)生。例如，分析用電情況發(fā)現(xiàn)，居民對(duì)階梯電價(jià)敏感程度各異，其中收入、年齡、教育背景等屬性的參差疊加，往往形成一個(gè)個(gè)特征群體，這些都可以成為今后能源政策制定、節(jié)能措施推廣的有效參考。在國(guó)外電網(wǎng)的大數(shù)據(jù)應(yīng)用中，更是將溫度、濕度、風(fēng)向、季節(jié)等非結(jié)構(gòu)性因素納入數(shù)據(jù)分析，對(duì)電網(wǎng)發(fā)電預(yù)測(cè)、價(jià)格制定、錯(cuò)峰安排等決策提供重要依據(jù)。