物聯(lián)網(wǎng)時(shí)代中關(guān)于邊緣計(jì)算的那些事兒
邊緣計(jì)算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè),融合網(wǎng)絡(luò)、計(jì)算、存儲、應(yīng)用核心能力的開放平臺。邊緣計(jì)算與云計(jì)算互相協(xié)同,共同助力各行各業(yè)的數(shù)字化轉(zhuǎn)型。它就近提供智能互聯(lián)服務(wù),滿足行業(yè)在數(shù)字化變革過程中對業(yè)務(wù)實(shí)時(shí)、業(yè)務(wù)智能、數(shù)據(jù)聚合與互操作、安全與隱私保護(hù)等方面的關(guān)鍵需求。
根據(jù)國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局ITU-T的研究報(bào)告,到2020年,每個(gè)人每秒將產(chǎn)生1.7MB的數(shù)據(jù),IoT可穿戴設(shè)備的出貨量將達(dá)到2.37億。IDC也發(fā)布了相關(guān)預(yù)測,到2018年,50%的物聯(lián)網(wǎng)網(wǎng)絡(luò)將面臨網(wǎng)絡(luò)帶寬的限制,40%的數(shù)據(jù)需要在網(wǎng)絡(luò)邊緣側(cè)分析、處理與儲存,到2025年,這一數(shù)字將超過50%。
圖1:邊緣計(jì)算與云計(jì)算的關(guān)系
邊緣計(jì)算的巨大價(jià)值
美國部署了3000余萬個(gè)監(jiān)控?cái)z像頭,每周生成超過40億小時(shí)的海量視頻數(shù)據(jù)。物聯(lián)網(wǎng)領(lǐng)域擁有海量的終端設(shè)備,如果這些設(shè)備產(chǎn)生的數(shù)據(jù)聚在一起,會是個(gè)天文數(shù)字。海量數(shù)據(jù)的分析與儲存對網(wǎng)絡(luò)帶寬提出了巨大的挑戰(zhàn),而邊緣計(jì)算的誕生,就是為了解決這一問題。
1)分布式和低延遲計(jì)算
云計(jì)算往往并不是最佳策略,計(jì)算需要在更加靠近數(shù)據(jù)源的地方執(zhí)行。這個(gè)優(yōu)點(diǎn)可以擴(kuò)展到任何基于Web的應(yīng)用程序上:包括 Foursqure和Google Now在內(nèi)的APP能更快的做出響應(yīng),所以在移動用戶中變得越來越受歡迎。這說明在更靠近用戶的邊緣節(jié)點(diǎn)上,邊緣計(jì)算可以用于改進(jìn)服務(wù)。
許多數(shù)據(jù)流由邊緣設(shè)備生成,但是通過“遠(yuǎn)處”的云計(jì)算處理和分析,不可能做出實(shí)時(shí)決策。例如使用可穿戴式攝像頭的視覺服務(wù),響應(yīng)時(shí)間需要在25ms至50ms之間,使用云計(jì)算會造成嚴(yán)重的延遲;再比如工業(yè)系統(tǒng)檢測、控制、執(zhí)行的實(shí)時(shí)性高,部分場景實(shí)時(shí)性要求在10ms以內(nèi),如果數(shù)據(jù)分析和控制邏輯全部在云端實(shí)現(xiàn),則難以滿足業(yè)務(wù)要求;還有那些會生成龐大數(shù)據(jù)流的多媒體應(yīng)用,如視頻或是基于云平臺的網(wǎng)絡(luò)游戲,依賴云計(jì)算也會為玩家造成類似于等待時(shí)間過長的問題,無法滿足用戶的需求。
作為云計(jì)算的有益補(bǔ)充,可以利用邊緣節(jié)點(diǎn)(例如,路由器或離邊緣設(shè)備最近的基站),用以減少網(wǎng)絡(luò)等待時(shí)間。
2)超越終端設(shè)備的資源限制
與數(shù)據(jù)中心的服務(wù)器相比,用戶終端(例如智能手機(jī))的硬件條件相對受限。這些終端設(shè)備以文本、音頻、視頻、手勢或運(yùn)動的形式獲得數(shù)據(jù)輸入,但由于中間件和硬件的限制,終端設(shè)備無法執(zhí)行復(fù)雜的分析,而且執(zhí)行過程也極為耗電。因此,通常需要將數(shù)據(jù)發(fā)送到云端,進(jìn)行處理和運(yùn)算,然后再把有意義的信息通過中繼返回終端。
然而,并非來自終端設(shè)備的所有數(shù)據(jù)都需要由云計(jì)算執(zhí)行,數(shù)據(jù)可以利用適合數(shù)據(jù)管理任務(wù)的空閑計(jì)算資源,在邊緣節(jié)點(diǎn)處過濾或者分析。
3)可持續(xù)的能源消耗
大量研究顯示,云計(jì)算會消耗龐大的能源,未來十年數(shù)據(jù)中心所消耗的能源量可能是如今消耗量的3倍。隨著越來越多的應(yīng)用轉(zhuǎn)移到云,能量需求會日益增長,甚至無法滿足。因此,采用能量效率最大化的計(jì)算策略顯得尤為迫切。
一些嵌入式小型設(shè)備的基礎(chǔ)信息采集處理完全可以在端完成,即手機(jī)傳感器把數(shù)據(jù)傳送到網(wǎng)關(guān)后,就通過邊緣計(jì)算進(jìn)行數(shù)據(jù)過濾和處理,沒必要每條原始數(shù)據(jù)都傳送到云,這省去了大量的能源成本。
4)應(yīng)對數(shù)據(jù)爆炸和網(wǎng)絡(luò)流量壓力
邊緣設(shè)備的數(shù)量正在超速增長——到2018年,世界上三分之一的人口將擁有智能手機(jī)或者可穿戴設(shè)備,到2020年,這些設(shè)備將生成43萬億GB的數(shù)據(jù)。處理這些數(shù)據(jù)需要進(jìn)一步擴(kuò)展數(shù)據(jù)中心,這再次引起了人們對網(wǎng)絡(luò)流量壓力的廣泛關(guān)注。
通過在邊緣設(shè)備上執(zhí)行數(shù)據(jù)分析,可有效應(yīng)對數(shù)據(jù)爆炸,減輕網(wǎng)絡(luò)的流量壓力。邊緣計(jì)算能夠縮短設(shè)備的響應(yīng)時(shí)間,減少從設(shè)備到云數(shù)據(jù)中心的數(shù)據(jù)流量,以便在網(wǎng)絡(luò)中更有效的分配資源。
5)智能計(jì)算
不僅是消費(fèi)級的物聯(lián)網(wǎng)終端,邊緣計(jì)算還將在工業(yè)應(yīng)用中發(fā)揮重要作用。計(jì)算可以分層執(zhí)行,利用網(wǎng)絡(luò)遠(yuǎn)端的資源完成。例如,典型的生產(chǎn)流水線可以過濾設(shè)備上生成的數(shù)據(jù),在傳輸數(shù)據(jù)的邊緣節(jié)點(diǎn)上執(zhí)行部分分析工作,之后再通過云端執(zhí)行更加復(fù)雜的計(jì)算任務(wù)。邊緣節(jié)點(diǎn)可以通過分擔(dān)云計(jì)算的部分任務(wù),增強(qiáng)數(shù)據(jù)中心的計(jì)算能力。
業(yè)務(wù)流程優(yōu)化、運(yùn)維自動化與業(yè)務(wù)創(chuàng)新驅(qū)動業(yè)務(wù)走向智能,邊緣側(cè)智能能夠帶來顯著的效率提升與成本優(yōu)勢。事實(shí)上,對于從事工業(yè)自動化工作的人而言,邊緣計(jì)算并不陌生。比如,在目前普遍采用的基于PLC、DCS、工控機(jī)和工業(yè)網(wǎng)絡(luò)的控制系統(tǒng)中,位于底層、嵌于設(shè)備中的計(jì)算資源,或多或少都是邊緣計(jì)算的資源。
目前規(guī)模以上冶金企業(yè),其信息化已經(jīng)做得頗具成效,但缺少的恰恰是末端智能。冶金方面的數(shù)據(jù)經(jīng)常會出現(xiàn)完整性和一致性的問題,俗稱“臟”數(shù)據(jù)。解決不好這方面的問題,會給能源管理和智能管理環(huán)節(jié)造成很大的困擾。邊緣計(jì)算在其中發(fā)揮著重要作用,成為工業(yè)物聯(lián)網(wǎng)技術(shù)的有效補(bǔ)充。
邊緣計(jì)算所面臨的挑戰(zhàn)
邊緣計(jì)算仍處于起步階段,當(dāng)前的云計(jì)算服務(wù)(如Amazon Web Service,Microsoft Azure和Google App Engine)可以支持?jǐn)?shù)據(jù)密集型的應(yīng)用程序,但在網(wǎng)絡(luò)邊緣進(jìn)行實(shí)時(shí)的數(shù)據(jù)處理仍是一個(gè)有待開拓的領(lǐng)域。
此外,若想更好的在邊緣節(jié)點(diǎn)上部署應(yīng)用程序的工作負(fù)載,需要考慮以下幾個(gè)方面:
部署策略:如何部署工作負(fù)載
連接策略:何時(shí)使用邊緣節(jié)點(diǎn)
異構(gòu)性:如何處理不同類型的節(jié)點(diǎn)
為了實(shí)現(xiàn)邊緣計(jì)算,我們認(rèn)為在硬件、中間件和軟件層面,有以下5個(gè)挑戰(zhàn)需要解決。
挑戰(zhàn)1:邊緣節(jié)點(diǎn)上的通用計(jì)算能力
理論上,可以在位于邊緣設(shè)備和云平臺之間的某幾個(gè)節(jié)點(diǎn)上完成邊緣計(jì)算,包括接入點(diǎn)、基站、網(wǎng)關(guān)、業(yè)務(wù)節(jié)點(diǎn)、路由器、交換機(jī)等。例如,基站可以根據(jù)工作負(fù)載能力,執(zhí)行數(shù)字信號處理(DSP)。但是在實(shí)踐中,基站可能并不適合處理分析工作,因?yàn)镈SP并不是為通用計(jì)算設(shè)計(jì)的。此外,這些節(jié)點(diǎn)是否可以執(zhí)行除了現(xiàn)有工作之外的計(jì)算還不太清楚。
由CAVIUM提供的OCTEON Fusion? Family是一個(gè)小型“芯片上基站”單元,可擴(kuò)展從6個(gè)到14個(gè)的內(nèi)核,以支持32到300+的用戶。這種基站可在非高峰時(shí)間使用多個(gè)計(jì)算核心的運(yùn)算能力。
許多供應(yīng)商也已經(jīng)邁出了使用軟件解決方案實(shí)現(xiàn)邊緣計(jì)算的第一步。例如,諾基亞針對移動邊緣計(jì)算(MEC)的軟件解決方案旨在為基站站點(diǎn)提供邊緣計(jì)算能力。同樣,思科的IOx為其集成的服務(wù)路由器提供了一個(gè)邊緣計(jì)算環(huán)境。這些解決方案應(yīng)用于特定硬件,因此不適合部署在異構(gòu)環(huán)境中。
軟件解決方案面臨的一個(gè)挑戰(zhàn)是如何開發(fā)跨越不同環(huán)境的可移植的解決方案。某些公司正在研究升級邊緣節(jié)點(diǎn),以支持通用計(jì)算需求。例如,可以升級無線家庭路由器以支持額外的計(jì)算任務(wù)。英特爾的Smart Cell Platform使用虛擬化技術(shù),支持額外的計(jì)算任務(wù)。通用CPU替換專用DSP提供了另一種解決方案,但卻需要巨大的投資。
挑戰(zhàn)2:發(fā)現(xiàn)邊緣節(jié)點(diǎn)
到2020年將有500億的終端和設(shè)備聯(lián)網(wǎng),除了邊緣設(shè)備與終端聯(lián)網(wǎng)最大的“異構(gòu)”特征之外,產(chǎn)品生命周期越來越短、個(gè)性化需求越來越高、全生命周期管理和服務(wù)化的趨勢越來越明顯,這些新趨勢都需要邊緣計(jì)算提供強(qiáng)大的技術(shù)支撐。
如何在分布式計(jì)算環(huán)境中發(fā)現(xiàn)資源和服務(wù)是一個(gè)有待拓展的領(lǐng)域。為了充分利用網(wǎng)絡(luò)的邊緣設(shè)備,需要建立某種發(fā)現(xiàn)機(jī)制,找到可以分散式部署的適當(dāng)節(jié)點(diǎn)。因?yàn)榭捎迷O(shè)備的數(shù)量龐大,這些機(jī)制不能依靠人工手動。此外,還需要使用多種異構(gòu)設(shè)備滿足最新的計(jì)算需求,比如大規(guī)模的機(jī)器學(xué)習(xí)任務(wù)。
這些機(jī)制必須在不增加等待時(shí)間或損害用戶體驗(yàn)的前提下,實(shí)現(xiàn)不同層次和等級的計(jì)算工作流中無縫集成,原有的基于云計(jì)算的機(jī)制在邊緣計(jì)算領(lǐng)域不再適用。
挑戰(zhàn)3:分區(qū)和拆分任務(wù)
對于邊緣計(jì)算來說,最大的難點(diǎn)在于如何動態(tài)、大規(guī)模地部署運(yùn)算和存儲能力以及云端和設(shè)備端如何高效協(xié)同、無縫對接。
不斷發(fā)展的分布式計(jì)算已經(jīng)催生了許多技術(shù)用來促進(jìn)在多個(gè)地理位置分區(qū)執(zhí)行任務(wù)。任務(wù)分區(qū)通常在編程語言或管理工具中明確表示。
然而,利用邊緣節(jié)點(diǎn)來實(shí)現(xiàn)分區(qū)計(jì)算不僅僅帶來了有效分割計(jì)算任務(wù)的挑戰(zhàn),對于如何能在不需要明確定義邊緣節(jié)點(diǎn)的能力或位置,以自動化的方式進(jìn)行計(jì)算的問題上,也遇到了瓶頸。因此,需要一種新型的調(diào)度方式,以便將分割的任務(wù)部署到各個(gè)邊緣節(jié)點(diǎn)上。
挑戰(zhàn)4:高水準(zhǔn)的服務(wù)質(zhì)量(QoS)和服務(wù)體驗(yàn)(QoE)
另一個(gè)挑戰(zhàn)是需要確保邊緣節(jié)點(diǎn)實(shí)現(xiàn)高吞吐量,并且在承接額外計(jì)算工作量時(shí)運(yùn)行可靠。例如,當(dāng)基站過載時(shí),可能影響連接到基站的其他邊緣設(shè)備。
因此需要對邊緣節(jié)點(diǎn)的峰值時(shí)間全面了解,以便可以用靈活的方式來分割和調(diào)度任務(wù)。復(fù)雜的算法如何在云端和邊緣設(shè)備之間合理分解和整合,需要一個(gè)對云管端三者都有控制力的技術(shù)來實(shí)現(xiàn)。
挑戰(zhàn)5:開放和安全的使用邊緣節(jié)點(diǎn)
安全橫跨云計(jì)算和邊緣計(jì)算,需要實(shí)施端到端的防護(hù)。由于更貼近萬物互聯(lián)的設(shè)備,網(wǎng)絡(luò)邊緣側(cè)訪問控制與威脅防護(hù)的廣度和難度因此大幅提升。邊緣側(cè)安全主要包含設(shè)備安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全與應(yīng)用安全。此外,關(guān)鍵數(shù)據(jù)的完整性、保密性是安全領(lǐng)域需要重點(diǎn)關(guān)注的內(nèi)容。
如果把終端設(shè)備(例如交換機(jī)、路由器和基站)當(dāng)作可共享接入的邊緣節(jié)點(diǎn),則需要解決許多問題:首先,需要定義邊緣設(shè)備使用者和擁有者相關(guān)聯(lián)的風(fēng)險(xiǎn)。其次,當(dāng)設(shè)備用于邊緣計(jì)算節(jié)點(diǎn)時(shí),設(shè)備的原有的功能不能被損害。第三,邊緣節(jié)點(diǎn)上的多重用戶都需要將安全性作為首要關(guān)注指標(biāo)。第四,需要向邊緣節(jié)點(diǎn)的用戶保證最低服務(wù)水平。最后,需要考慮工作負(fù)載、計(jì)算能力、數(shù)據(jù)位置和遷移、維護(hù)成本和能源消耗,以便建立合適的定價(jià)模型。
邊緣計(jì)算的潛在機(jī)會
邊緣計(jì)算仍處于起步階段,有可能為更高效的分布式計(jì)算鋪平道路。盡管在實(shí)現(xiàn)邊緣計(jì)算時(shí)出現(xiàn)了不少挑戰(zhàn),但邊緣計(jì)算將會催生更多的發(fā)展機(jī)遇,在此我們明確了5個(gè)潛在機(jī)會:
機(jī)會1:標(biāo)準(zhǔn)、基準(zhǔn)和市場
統(tǒng)一數(shù)據(jù)連接和數(shù)據(jù)聚合是業(yè)務(wù)智能的基礎(chǔ),面對當(dāng)前工業(yè)現(xiàn)場存在的多樣化與異構(gòu)的技術(shù)和標(biāo)準(zhǔn),離不開跨廠商、跨領(lǐng)域的數(shù)據(jù)集成與互操作。網(wǎng)絡(luò)邊緣側(cè)的本地計(jì)算服務(wù)無疑會在異構(gòu)環(huán)境中迎來IT廠商、IT方案商以及開發(fā)者集成融合服務(wù)的挑戰(zhàn),標(biāo)準(zhǔn)化亟待形成。
許多組織正在定義各種邊緣計(jì)算標(biāo)準(zhǔn),例如美國國家標(biāo)準(zhǔn)和技術(shù)協(xié)會(NIST)、IEEE標(biāo)準(zhǔn)協(xié)會、國際標(biāo)準(zhǔn)化組織(ISO)、云計(jì)算標(biāo)準(zhǔn)客戶委員會(CSCC)和國際電信聯(lián)盟(ITU)等。只有當(dāng)邊緣節(jié)點(diǎn)的性能可以根據(jù)廣泛認(rèn)可的度量指標(biāo)可靠的進(jìn)行基準(zhǔn)測試時(shí),才能形成標(biāo)準(zhǔn)。
機(jī)會2:架構(gòu)和語言
隨著支持通用計(jì)算的邊緣節(jié)點(diǎn)不斷增加,開發(fā)框架和工具包的需求也會隨之增長。邊緣分析與現(xiàn)有流程不同,由于邊緣分析將在用戶驅(qū)動的應(yīng)用程序中實(shí)現(xiàn),現(xiàn)有框架可能不適合表達(dá)邊緣分析的工作流。
編程模型需要利用邊緣節(jié)點(diǎn)支持任務(wù)和數(shù)據(jù)的并行,并且同時(shí)在多個(gè)層級的硬件上執(zhí)行計(jì)算。編程語言需要考慮工作流中硬件的異構(gòu)性和各種資源的計(jì)算能力。這比云計(jì)算的現(xiàn)有模型更加復(fù)雜。
機(jī)會3:輕量級庫和算法
與大型服務(wù)器不同,由于硬件限制,邊緣節(jié)點(diǎn)不支持大型軟件。例如,Intel T3K并發(fā)雙模SoC的小型基站具有4核ARM的CPU和有限內(nèi)存,不足以執(zhí)行復(fù)雜的數(shù)據(jù)處理工作。再比如Apache Spark需要至少8核的CPU和8 GB的內(nèi)存以獲得良好的性能。邊緣分析需要輕量級算法,可以進(jìn)行合理的機(jī)器學(xué)習(xí)或數(shù)據(jù)處理任務(wù)。
例如,Apache Quarks是一種輕量級庫,可以在小型邊緣設(shè)備(如智能手機(jī))上使用,以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析。但是Quarks支持的基本數(shù)據(jù)處理,例如過濾和窗口聚合,不足以滿足高級分析任務(wù)。消耗更少內(nèi)存和使用更小磁盤的機(jī)器學(xué)習(xí)資源庫有利于實(shí)現(xiàn)邊緣節(jié)點(diǎn)的數(shù)據(jù)分析。TensorFlow是另一個(gè)支持深度學(xué)習(xí)算法并支持異構(gòu)分布式系統(tǒng)的示例框架,但其邊緣分析的潛力仍有待探索。
機(jī)會4:微型操作系統(tǒng)和虛擬化
基于微型操作系統(tǒng)或微型內(nèi)核的研究可以解決在異構(gòu)邊緣節(jié)點(diǎn)上部署應(yīng)用的挑戰(zhàn)。
有研究表明,跨越多個(gè)虛擬設(shè)備復(fù)用設(shè)備硬件的移動容器可以提供與本地硬件接近的性能。容器技術(shù)(如Docker)正在成熟,并且能夠在異構(gòu)平臺上快速部署應(yīng)用程序。
機(jī)會5:產(chǎn)學(xué)研合作
邊緣計(jì)算為產(chǎn)業(yè)界和學(xué)術(shù)界提供了獨(dú)特的發(fā)展機(jī)會。邊緣計(jì)算領(lǐng)域的研究可以由行業(yè)合作伙伴(例如移動運(yùn)營商和開發(fā)人員、軟件工具開發(fā)商和云服務(wù)提供商等)以及感興趣的學(xué)術(shù)合作伙伴共同驅(qū)動,以實(shí)現(xiàn)雙方的共同利益。