物聯(lián)傳媒 旗下網(wǎng)站
登錄 注冊

數(shù)據(jù)量爆發(fā)增長 物聯(lián)網(wǎng)引入大數(shù)據(jù)技術(shù)迫在眉睫

作者:RFID世界網(wǎng)收錄
來源:比特網(wǎng)
日期:2013-07-19 14:55:53
摘要:根據(jù)IDC公布的數(shù)據(jù),2005年由M2M產(chǎn)生的數(shù)據(jù)占全世界數(shù)據(jù)總量的11%,預(yù)計到2020年這一數(shù)值將增加到42%。這一比例表明,物聯(lián)網(wǎng)快速發(fā)展的同時也制造了海量數(shù)據(jù),如何妥善處理及合理利用這些海量數(shù)據(jù)是物聯(lián)網(wǎng)下一步發(fā)展的關(guān)鍵?!痹诮沼芍袊娮訉W(xué)會召開的2013(第四屆)中國物聯(lián)網(wǎng)大會上,中國工程院院士鄔賀銓強烈呼吁。

  根據(jù)IDC公布的數(shù)據(jù),2005年由M2M產(chǎn)生的數(shù)據(jù)占全世界數(shù)據(jù)總量的11%,預(yù)計到2020年這一數(shù)值將增加到42%。這一比例表明,物聯(lián)網(wǎng)快速發(fā)展的同時也制造了海量數(shù)據(jù),如何妥善處理及合理利用這些海量數(shù)據(jù)是物聯(lián)網(wǎng)下一步發(fā)展的關(guān)鍵?!痹诮沼芍袊娮訉W(xué)會召開的2013(第四屆)中國物聯(lián)網(wǎng)大會上,中國工程院院士鄔賀銓強烈呼吁。

  然而,無論是大數(shù)據(jù),還是物聯(lián)網(wǎng),在我國都處于起步階段,至于兩者的交叉領(lǐng)域目前人們更是涉及甚少,而物聯(lián)網(wǎng)所產(chǎn)生數(shù)據(jù)本身的復(fù)雜性,更是進一步加大了物聯(lián)網(wǎng)領(lǐng)域大數(shù)據(jù)落地的難度。

  幾何級數(shù)增長

  形象地講,物聯(lián)網(wǎng)是物體對外界進行感知并做出反應(yīng)的過程,在這一過程中,無論是感知外界還是做出反應(yīng),都涉及數(shù)據(jù)的產(chǎn)生和處理。尤其是在某些領(lǐng)域,比如安防、移動醫(yī)療、智能交通,更是由于應(yīng)用的特殊性而會產(chǎn)生海量數(shù)據(jù)。

  以安防為例,為了有效發(fā)現(xiàn)異常情況,系統(tǒng)需要對所監(jiān)控的區(qū)域進行7×24小時監(jiān)控,這就會產(chǎn)生海量的視頻數(shù)據(jù),出于事后追蹤的考慮,這些數(shù)據(jù)往往需要保存一段時間,此外,系統(tǒng)還需要對不同時刻的數(shù)據(jù)進行對比分析,以便能夠在異常情況發(fā)生時做出及時反應(yīng)。而在移動醫(yī)療領(lǐng)域,為了實現(xiàn)不同地點之間醫(yī)生資源的共享,統(tǒng)一標準的病情診斷不可或缺,因此很多醫(yī)院都主張對患者進行CT檢查,而一個病人的CT往往會達到幾十個GB,按照每年我國住院病人多達兩億人次,以及患者的數(shù)據(jù)通常需要保留50年以上的規(guī)定,由移動醫(yī)療產(chǎn)生的數(shù)據(jù)量也相當可觀。

  使得情況進一步嚴峻的是,在ITU等看來,物聯(lián)網(wǎng)所需要分析的數(shù)據(jù),不僅僅是傳感器收集到的數(shù)據(jù),還應(yīng)該包括虛擬物件所產(chǎn)生的數(shù)據(jù),因為只有將物聯(lián)網(wǎng)數(shù)據(jù)放在虛擬網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)的大背景下,才能挖掘出更大的數(shù)據(jù)價值,目前來看,這些數(shù)據(jù)主要來自社交網(wǎng)絡(luò)、政務(wù)網(wǎng)站。而鄔賀銓表示,Teitter網(wǎng)站每天增加2億條微博,F(xiàn)acebook上每天上載2.5億張照片,到2015年,大概1個人要用5年時間才能看完互聯(lián)網(wǎng)上一秒鐘所傳的所有視頻,由此可見互聯(lián)網(wǎng)上數(shù)據(jù)量之龐大。

  盡管數(shù)據(jù)呈現(xiàn)海量增長態(tài)勢,數(shù)據(jù)的處理能力卻沒有同步增長?!叭蛐庐a(chǎn)生的數(shù)據(jù)每年增長40%,全球信息總量兩年就可以翻番,而對新增數(shù)據(jù)的處理能力以及利用率的增長則不足5%?!编w賀銓表示。因此,加快引入大數(shù)據(jù)技術(shù)以推進物聯(lián)網(wǎng)發(fā)展已經(jīng)迫在眉睫。

  物聯(lián)網(wǎng)大數(shù)據(jù)存特殊性

  物聯(lián)網(wǎng)運營者也認識到了大數(shù)據(jù)運用的重要性。中國電信股份有限公司上海研究院院長李安民表示:“根據(jù)實際經(jīng)驗,的確在很多應(yīng)用中,物聯(lián)網(wǎng)不僅僅是單一的物聯(lián)網(wǎng)技術(shù),還涉及對大數(shù)據(jù)、云計算等技術(shù)的有效融合。物聯(lián)網(wǎng)的普及將城市引入大數(shù)據(jù)時代,我們需要關(guān)注大數(shù)據(jù)的應(yīng)用需求,從技術(shù)、業(yè)務(wù)、商業(yè)模式等方面提前做好應(yīng)對。”

  不過,大數(shù)據(jù)的在物聯(lián)網(wǎng)的應(yīng)用并非那么簡單。這首先是由物聯(lián)網(wǎng)數(shù)據(jù)的特點決定的。

  鄔賀銓認為,物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)與一般的大數(shù)據(jù)有不同的特點。物聯(lián)網(wǎng)的數(shù)據(jù)是異構(gòu)的、多樣性的、有噪聲的,其增長率非常高,從而增加了數(shù)據(jù)處理分析的難度。此外,物聯(lián)網(wǎng)的數(shù)據(jù)有明顯的顆粒性,其數(shù)據(jù)通常帶有時間、位置、環(huán)境和行為等信息,物聯(lián)網(wǎng)數(shù)據(jù)也是社交數(shù)據(jù),但這又不是人與人的交往信息,而是物與物、物與人的社會合作信息。因此,物聯(lián)網(wǎng)的混搭使得只有將物聯(lián)網(wǎng)的數(shù)據(jù)與通過社交媒體所獲得的數(shù)據(jù)以及政府發(fā)布的信息相結(jié)合,才能方便系統(tǒng)做出更科學(xué)的決策。

  拋開物聯(lián)網(wǎng)領(lǐng)域的特殊性,大數(shù)據(jù)產(chǎn)業(yè)自身發(fā)展也存在一些障礙。雖然近年來大數(shù)據(jù)概念火熱,然而大數(shù)據(jù)的發(fā)展呈現(xiàn)出了不平衡性,一方面是技術(shù)發(fā)展較快,另一方面如何從大數(shù)據(jù)中獲取價值,現(xiàn)在仍在討論階段。尤其是電信運營商,雖然也認識到了大數(shù)據(jù)的價格,但是對于自身在大數(shù)據(jù)產(chǎn)業(yè)中的定位,以及大數(shù)據(jù)的商業(yè)模式,現(xiàn)在還沒有形成清晰統(tǒng)一的認識。這一狀況制約了大數(shù)據(jù)的發(fā)展,從而也影響了大數(shù)據(jù)在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用。

  大數(shù)據(jù)和物聯(lián)網(wǎng)可相互推動

  考慮到大數(shù)據(jù)在物聯(lián)網(wǎng)領(lǐng)域應(yīng)用的緊迫性和相對落后的狀況,鄔賀銓認為加快引入大數(shù)據(jù)已經(jīng)刻不容緩。針對海量數(shù)據(jù)的特點,鄔賀銓認為,雖然數(shù)據(jù)資源非常重要,但是許多數(shù)據(jù)是復(fù)雜冗余的信息,比如在視頻監(jiān)控中,人們需要關(guān)注的是視頻信息中的異常事件,而不是常規(guī)的、沒有變化的數(shù)據(jù),因此要兼顧分析歷史數(shù)據(jù)和新的數(shù)據(jù),壓縮掉那些重復(fù)的數(shù)據(jù),重點保存分析異常的突發(fā)數(shù)據(jù)。

  顆?;?、非結(jié)構(gòu)化數(shù)據(jù)也是物聯(lián)網(wǎng)中大數(shù)據(jù)的一大特點。盡管這種特性的數(shù)據(jù)處理起來非常復(fù)雜,然而它們對系統(tǒng)作出正確的決策至關(guān)重要,因此解析非結(jié)構(gòu)信息是不可忽視的重要環(huán)節(jié)。此外,還可以通過統(tǒng)一物聯(lián)網(wǎng)架構(gòu)設(shè)計,將非結(jié)構(gòu)化的數(shù)據(jù)變得結(jié)構(gòu)化,將不同系統(tǒng)之間不同結(jié)構(gòu)的數(shù)據(jù)盡可能地統(tǒng)一。

  不同部門之間數(shù)據(jù)信息的共享有助于物聯(lián)網(wǎng)發(fā)揮更大的價值,因此鄔賀銓認為,雖然目前看來將電力、交通、工業(yè)等不同行業(yè)合為一個物聯(lián)網(wǎng)不大可能,但是將不同行業(yè)的數(shù)據(jù)信息進行共享還是可行的。

  而對于大數(shù)據(jù)商業(yè)化進度相對滯后的問題,有專家認為,一方面物聯(lián)網(wǎng)的發(fā)展需要業(yè)界加快對大數(shù)據(jù)應(yīng)用模式和商業(yè)模式的研究,另一方面物聯(lián)網(wǎng)的應(yīng)用也有助于明晰大數(shù)據(jù)的商業(yè)模式,為大數(shù)據(jù)發(fā)展提供契機。

人物訪談