姜浩端:數(shù)據(jù)驅動決策的挑戰(zhàn)
決策可以由三種方式分別或混合驅動:直覺、經(jīng)驗和邏輯。雖然有時直覺和經(jīng)驗在決策過程中是無可替代的,例如喬布斯對蘋果產(chǎn)品需求的直覺把握,或者招聘者對應聘者從業(yè)經(jīng)驗的要求,但通過邏輯方式做出決策通常被認為具有高確定性的特點,更易于被接受。數(shù)據(jù)是填充邏輯過程的基石。
自計算機和網(wǎng)絡進入商業(yè)應用以來,以信息化技術對數(shù)據(jù)進行分析來驅動決策的努力就已開始。企業(yè)信息化管理系統(tǒng)不斷發(fā)展,按照時間順序先后出現(xiàn)了庫存控制IC 、物料需求計劃(MRP)、制造資源計劃(MRP II)、企業(yè)資源計劃ERP 、供應鏈管理SCM 、客戶關系管理(CRM)、決策輔助DSS 、商業(yè)智能BI 等主流體系。其發(fā)展歷程大致可分為三個階段,分別是數(shù)據(jù)處理階段、知識處理階段和智能處理階段。早期的信息化系統(tǒng)以管理內(nèi)部數(shù)據(jù)、維護企業(yè)相關信息資源為主。從企業(yè)資源計劃(ERP)開始,信息化系統(tǒng)開始加強、改進和再造業(yè)務流程,并逐漸將業(yè)務上、下游企業(yè)數(shù)據(jù)和關聯(lián)企業(yè)數(shù)據(jù)納入系統(tǒng),跳出了傳統(tǒng)企業(yè)內(nèi)部的邊界。隨著數(shù)據(jù)倉庫技術和數(shù)據(jù)挖掘技術的發(fā)展,進一步有效利用數(shù)據(jù)形成決策的洞察力成為可能,商業(yè)智能系統(tǒng)(BI)得以發(fā)展。典型商業(yè)智能系統(tǒng)(BI)的模式,是通過對數(shù)據(jù)進行抽取、轉換和裝載(即ETL過程),合并到數(shù)據(jù)倉庫里,利用合適的數(shù)據(jù)挖掘技術、查詢和分析模型、聯(lián)機處理(OLAP)工具等進行分析和處理,將數(shù)據(jù)轉化為知識,為決策服務。廣義上的BI(商業(yè)智能),覆蓋、發(fā)展了之前企業(yè)處理數(shù)據(jù)的信息化系統(tǒng)思想,代表了“大數(shù)據(jù)”前期可商業(yè)化推廣的數(shù)據(jù)分析模式和技術主流。
“大數(shù)據(jù)”夯實決策基礎
在“大數(shù)據(jù)時代”之前,雖然數(shù)據(jù)分析的重要性也被普遍認可,但局限于“小”數(shù)據(jù)的特點,關系數(shù)據(jù)庫中的結構化數(shù)據(jù)多年來一直主導著信息化應用。企業(yè)信息化系統(tǒng)在提高生產(chǎn)和管理效率方面發(fā)揮了作用,但遠未形成可做決策依據(jù)的洞察力。直覺和經(jīng)驗在決策過程中的地位仍無可替代。
互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動通訊的快速發(fā)展,以及遍布物理世界的RFID、無線傳感器催生了“大數(shù)據(jù)時代”的來臨。海量數(shù)據(jù)使得支持某些決策的“全樣本”數(shù)據(jù)成為可能,“小”數(shù)據(jù)分析依賴的假設前提可能不復存在。同時,幾何級增長的非結構性數(shù)據(jù)、流數(shù)據(jù)使得分析對象發(fā)生改變,傳統(tǒng)數(shù)據(jù)管理和分析技術難以適應要求。大數(shù)據(jù)環(huán)境下企業(yè)需要應用新的分析模式。在成本可承受的條件下,通過快速采集、發(fā)現(xiàn)和分析,從海量、多類別的數(shù)據(jù)中提取價值,并形成有效的可做決策依據(jù)的“洞察力”,將是信息化系統(tǒng)的發(fā)展方向。當前階段從非結構化數(shù)據(jù)和流數(shù)據(jù)中探求知識和進行洞察的計算機工具正在快速發(fā)展,比如自然語言處理、模式識別以及機器學習等,預示著數(shù)據(jù)驅動決策模式的美好前景。
目前大數(shù)據(jù)剛剛步入企業(yè)的應用階段,幾乎對于所有行業(yè),應用大數(shù)據(jù)分析都是創(chuàng)造新的競爭優(yōu)勢之源。隨著時間的推移,那些能更好地利用大數(shù)據(jù)的組織將有可能實現(xiàn)更多的創(chuàng)新,并保持敏捷性。麥肯錫的調(diào)查顯示:數(shù)據(jù)驅動型的公司在生產(chǎn)率和盈利水平方面普遍好于競爭者。在“大數(shù)據(jù)時代”,對于某些類型的問題,機器和信息化系統(tǒng)可以比人做出更好的決策。這種數(shù)據(jù)驅動決策的模式已經(jīng)初露端倪,比如在金融市場領域,計算機基于大數(shù)據(jù)做出了相當大部分的投資決策??梢灶A料,隨著數(shù)據(jù)的不斷變“大”,數(shù)據(jù)驅動決策的重要性會越來越高。
數(shù)據(jù)驅動決策在大數(shù)據(jù)趨勢下面臨的挑戰(zhàn)
一是大數(shù)據(jù)本身的局限。首先是數(shù)據(jù)質量,不能反映真實情況或者在關鍵點上隱藏錯誤的數(shù)據(jù)無疑是極具危害的,保證數(shù)據(jù)質量需要有效的制度和法律環(huán)境。另外,數(shù)據(jù)本身仍可能局限決策的洞察力。例如那個著名的例子,如果你在汽車出現(xiàn)以前能使用大數(shù)據(jù)來分析社會對交通工具的需求,你可能得出一個結論,那就是需要更快的馬車。得出這個結論后,沒過多久,福特造出了汽車。大數(shù)據(jù)盡管夠“大”,但它不能基于沒有的事件。過分依賴于數(shù)據(jù)的決策,有可能忽略那些不需要數(shù)據(jù)驅動、而依靠直覺和經(jīng)驗形成的創(chuàng)新。當然,目前基于大數(shù)據(jù)進行創(chuàng)新的例子也比比皆是,比如谷歌的語言翻譯系統(tǒng)。這就需要綜合考慮數(shù)據(jù)類型和決策類型,明確大數(shù)據(jù)在驅動決策中的優(yōu)勢和劣勢,設定明確的目標,向大數(shù)據(jù)問正確的問題。
二是大數(shù)據(jù)分析技術的局限。雖然目前在分析數(shù)據(jù)的大容量、異質性、實時性方面仍存在技術上的困難,但技術總在進步,某些來自數(shù)據(jù)本身特點的困難可能最終被克服。真正的局限性也許內(nèi)置于大數(shù)據(jù)分析技術本身。比如,信息化系統(tǒng)的預測性模型中,缺陷常常來自模型假設本身。雖然有研究聲稱:大數(shù)據(jù)分析不需要那些有假設缺陷的模型,但大數(shù)據(jù)分析技術仍需要算法和機器學習。機器學習通常假設環(huán)境是穩(wěn)定的,對作為復雜系統(tǒng)的環(huán)境進行穩(wěn)定假設是不完美的,由此可能帶來與實際情況偏離的結果。如果假設環(huán)境是不穩(wěn)定的,就難以窮盡不穩(wěn)定的因素。再比如,大數(shù)據(jù)分析是對觀測數(shù)據(jù)之間規(guī)律的分析,其對相關性的洞察力必然要強于對因果性的洞察力,而忽略因果關系的決策依據(jù),是有局限性的。
三是對決策管理模式的挑戰(zhàn)。在數(shù)據(jù)缺乏的時候,組織內(nèi)核心管理人員的直覺和經(jīng)驗在決策過程中發(fā)揮重要作用。從直覺和經(jīng)驗驅動決策向數(shù)據(jù)驅動決策轉化的過程,也是決策主體從精英階層轉向團隊及社會公眾的過程,這個過程可能并不順暢,那些沒有足夠靈活性來適應大數(shù)據(jù)趨勢、創(chuàng)造數(shù)據(jù)驅動決策模式和文化的企業(yè)可能在競爭中失敗。信息化系統(tǒng)在大數(shù)據(jù)分析中可能會強調(diào)協(xié)作分析和過程公開,這就需要企業(yè)創(chuàng)造適宜的數(shù)據(jù)驅動文化,并根據(jù)業(yè)務內(nèi)容把握好直覺和經(jīng)驗驅動決策與數(shù)據(jù)驅動決策的關系。
巴菲特在投資忠告中說“警惕那些使用公式的怪家伙”(Beware of geeks bearing formulas)。我們可以理解為這是對不需要直覺和經(jīng)驗的決策的敬畏,也可以理解為這是對脫離直覺和經(jīng)驗的決策的不信任。無論如何,大數(shù)據(jù)正在改變決策的驅動方式。
?。ㄗ髡邽閲鴦赵喊l(fā)展研究中心信息中心副研究員)