微軟并行數(shù)據(jù)倉庫一體機首單落戶國家審計總署
微軟并行數(shù)據(jù)倉庫全球卓越中心總監(jiān)Russ Cavan借訪華之機,向中國市場介紹了微軟大數(shù)據(jù)戰(zhàn)略及并行數(shù)據(jù)倉庫一體機2012產(chǎn)品路線圖,同時宣布微軟并行數(shù)據(jù)倉庫一體機國內(nèi)首單落戶國家審計總署。
2013年,中國將進(jìn)入十二五規(guī)劃的第三年,是進(jìn)一步調(diào)整和優(yōu)化經(jīng)濟結(jié)構(gòu)、促進(jìn)工業(yè)轉(zhuǎn)型升級、實現(xiàn)國家由大到強關(guān)鍵性的一年。從國家經(jīng)濟建設(shè)到各行各業(yè)的產(chǎn)業(yè)升級與轉(zhuǎn)型,各項工作都將進(jìn)入攻堅階段。而隨著新技術(shù)對于傳統(tǒng)產(chǎn)業(yè)及商業(yè)產(chǎn)生的重要影響,特別是云計算、物聯(lián)網(wǎng)、智慧城市、大數(shù)據(jù)技術(shù)的發(fā)展,大數(shù)據(jù)戰(zhàn)略有望成為經(jīng)濟發(fā)展的核心及神經(jīng)中樞。
自云計算和大數(shù)據(jù)概念被提出后,針對該市場應(yīng)運而生的解決方案層出不窮,軟硬件一體化設(shè)備做為大數(shù)據(jù)解決方案中的一員,扮演著重要的角色。微軟并行數(shù)據(jù)倉庫一體機,將多種先進(jìn)的數(shù)據(jù)存儲與處理技術(shù)結(jié)合為一體,是微軟大數(shù)據(jù)戰(zhàn)略的重要組成部分。
微軟為大數(shù)據(jù)提供可執(zhí)行的洞察力
微軟大數(shù)據(jù)戰(zhàn)略幫助政府與企業(yè)應(yīng)對海量數(shù)據(jù)的挑戰(zhàn)。據(jù)IDC報告,全球信息總量每過兩年就會增長一倍,而2011年全球產(chǎn)生的數(shù)據(jù)總量為1.8ZB,相比2010年增長了1ZB,相當(dāng)于全球歷史數(shù)據(jù)總和。大數(shù)據(jù)的出現(xiàn),引發(fā)了全球范圍內(nèi)深刻的社會與商業(yè)變革。
據(jù)Russ Cavan介紹,微軟大數(shù)據(jù)戰(zhàn)略致力于讓所有用戶能夠從幾乎任何數(shù)據(jù)中獲得可轉(zhuǎn)換為業(yè)務(wù)執(zhí)行的洞察力,包括之前隱藏在非結(jié)構(gòu)化數(shù)據(jù)中的洞察力。微軟的大數(shù)據(jù)戰(zhàn)略及解決方案包括:
數(shù)據(jù)管理層,可對所有類型的數(shù)據(jù)進(jìn)行搜集和管理,包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)等。
擴展層,通過數(shù)據(jù)發(fā)現(xiàn)以豐富數(shù)據(jù)集,與來自于全球的多種類型數(shù)據(jù)互連,以及通過高級數(shù)據(jù)分析將數(shù)據(jù)變成信息以及知識。。
洞察力層,通過用戶所熟悉的類似Excel、PowerPivot、PowerView這樣的工具,為用戶提供全面、深入的洞察力,為從領(lǐng)導(dǎo)層到每個員工提供直觀易用的決策支持,即實現(xiàn)數(shù)據(jù)以及信息的消費化。
微軟大數(shù)據(jù)解決方案的主要優(yōu)勢包括:
前端使用大家所熟悉的微軟OfficeExcel, IE, Sharepoint等工具, 同時可以使用多種設(shè)備,包括筆記本,移動終端等,從任何數(shù)據(jù)中隨時獲得所需要的信息,以提供決策支持。
隨時與全球的數(shù)據(jù)互連,從而發(fā)現(xiàn)隱藏的價值,將內(nèi)部與公用的數(shù)據(jù)和服務(wù)相結(jié)合。
通過支持任何數(shù)據(jù)的現(xiàn)代數(shù)據(jù)管理平臺,處理任意大小和種類的數(shù)據(jù),不僅具有Windows的易用性,同時兼具云的彈性和可擴展性。
為了幫助企業(yè)快速部署大數(shù)據(jù)解決方案,兼容當(dāng)前最為流行的非結(jié)構(gòu)化數(shù)據(jù)體系Hadoop,微軟在Microsoft Windows Azure平臺上提供了基于云的HDInsight服務(wù),同時在Windows Server上提供了基于私有云的HDInsight Server。微軟HDInsight解決方案100%與Apache的Hadoop標(biāo)準(zhǔn)兼容,可幫助企業(yè)從任何結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)中獲得業(yè)務(wù)洞察力。Windows Azure進(jìn)一步簡化了Hadoop的部署難度,用戶可以在10分鐘內(nèi)在云端部署Hadoop集群,并能通過Microsoft System Center實現(xiàn)輕松管理。
面向大數(shù)據(jù)的現(xiàn)代數(shù)據(jù)管理平臺
基于SQL Server的微軟并行數(shù)據(jù)倉庫一體機是微軟大數(shù)據(jù)戰(zhàn)略的重要基礎(chǔ),是現(xiàn)代的數(shù)據(jù)管理平臺,可實現(xiàn)對任何大小數(shù)據(jù)、隨時隨地的處理,簡單且具有彈性。微軟并行數(shù)據(jù)倉庫一體機是針對企業(yè)數(shù)據(jù)倉庫、高度可擴展的設(shè)備,使用 Microsoft SQL Server 中的“并行數(shù)據(jù)倉庫”及其“大規(guī)模并行處理”(MPP)體系結(jié)構(gòu),獲得可伸縮的性能和靈活性,并提供功能最為全面的數(shù)據(jù)倉庫解決方案。
基于SQL Server 2008 R2的微軟并行數(shù)據(jù)倉庫一體機目前已經(jīng)發(fā)布了四個更新版本,并將于2013年初推出基于SQL Server 2012的新一代并行數(shù)據(jù)倉庫一體機。SQL Server 2012并行數(shù)據(jù)倉庫一體機面向大數(shù)據(jù)服務(wù)設(shè)計,在數(shù)據(jù)處理方面實現(xiàn)了突破:
為大數(shù)據(jù)而建:SQL Server 2012并行數(shù)據(jù)倉庫提供了全新的PolyBase它是數(shù)據(jù)處理突破性的技術(shù),實現(xiàn)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫表與非關(guān)系型Hadoop數(shù)據(jù)表的統(tǒng)一查詢。
新一代性能與規(guī)模:采用 xVelocity 列存儲,查詢速度大幅提升10至50倍、并可以滿足實時數(shù)據(jù)倉庫需求;采用高密度 Direct Attached Storage,存儲容量提升7倍之多;采用更加高效的架構(gòu)設(shè)計,在大幅提升性能的同時,總體成本大幅降低。
最優(yōu)化的系統(tǒng)價值:通過Windows Server 2012虛擬化技術(shù)一系列創(chuàng)新,SQL Server 2012并行數(shù)據(jù)倉庫一體機實現(xiàn)業(yè)界每TB更低成本。
由于軟硬件一體,并行數(shù)據(jù)倉庫一體機只需要很少的調(diào)整和優(yōu)化,可有助于降低 IT 成本。該設(shè)備開箱即用,可以以非??斓乃俣劝惭b并開始加載數(shù)據(jù),在服務(wù)器調(diào)整和優(yōu)化上也僅需很少時間,從而顯著縮短部署時間、減少工作量和降低成本。此外,還能夠非常快地運行大規(guī)模查詢,企業(yè)可以運行更多報表、完成更復(fù)雜的分析、處理更大的數(shù)據(jù)集以及分析更詳細(xì)的數(shù)據(jù)。
變革商業(yè)、提升生產(chǎn)力
微軟并行數(shù)據(jù)倉庫一體機自推出以來,已經(jīng)被全球多家企業(yè)采用,幫助應(yīng)對大數(shù)據(jù)的挑戰(zhàn)、提升了生產(chǎn)力、降低了IT總體成本。目前,中國首單花落國家審計總署。
據(jù)微軟高級數(shù)據(jù)倉庫架構(gòu)師喬怡介紹,現(xiàn)在的審計業(yè)務(wù),面臨的數(shù)據(jù)總量已經(jīng)上升為TB級、甚至PB級,并且數(shù)據(jù)查詢分析的復(fù)雜性也在不斷提高。同時,審計需求本身為具有隨機性和突發(fā)性,審計人員需要根據(jù)判斷進(jìn)行海量數(shù)據(jù)的查詢、匯總和關(guān)聯(lián)分析,這就需要針對大數(shù)據(jù)的統(tǒng)一高度和并行訪問,并需要多種計算模式和分析方法,同時滿足宏觀或特定審計目標(biāo)。與此同時,更加無法忽視“時效性”的要求,審計署的處理效率受到更為嚴(yán)苛的挑戰(zhàn)。
如何以更為容易部署的方式建議分布式存儲和計算集群,在統(tǒng)一的架構(gòu)下實現(xiàn)對各種類型和各種規(guī)模數(shù)據(jù)的管理和并行處理,并能夠根據(jù)需求實現(xiàn)縮放和篇?如何支持TB/PB級數(shù)據(jù)的高效加載,滿足多源異構(gòu)數(shù)據(jù)的即席查詢、聯(lián)合查詢和復(fù)雜關(guān)系處理,對大規(guī)模審計數(shù)據(jù)進(jìn)行快速、深入的分析和挖掘?國家審計總署選擇了基于微軟SQL Server并行數(shù)據(jù)倉庫一體機的大數(shù)據(jù)云平臺方案,用于解決海量數(shù)據(jù)大規(guī)模并行分析處理、分布式存儲及管理問題。
微軟并行數(shù)據(jù)倉庫一體機在保持與審計署現(xiàn)在數(shù)據(jù)平臺兼容的前提下,提供對數(shù)據(jù)進(jìn)行全方位管理、高性能處理的能力。同時基于上述審計業(yè)務(wù)的隨機性、突發(fā)性、分析多樣性等特征,微軟并行數(shù)據(jù)倉庫一體機平臺在數(shù)據(jù)存儲和處理架構(gòu)上兼具了資源池共享、按需可擴展、高可用保障、統(tǒng)一運維監(jiān)控等典型云計算平臺特性。
微軟并行數(shù)據(jù)倉庫全球卓越中心總監(jiān)Russ Cavan表示,微軟并行數(shù)據(jù)倉庫與微軟的多種商業(yè)智能工具實現(xiàn)緊密集成,例如Excel, Powerpivot, SQL Server Integration Services、Analysis Services 以及 Reporting Services等。微軟的大規(guī)模數(shù)據(jù)倉庫解決方案,不僅僅為客戶提供后臺大規(guī)模數(shù)據(jù)存儲、管理與處理,同時也為客戶的決策支持提供靈活、易用、可視化而且豐富的前端展現(xiàn),是真正實現(xiàn)數(shù)據(jù)消費化的大數(shù)據(jù)解決方案。目前,包括Gartner在內(nèi)的全球分析師機構(gòu),已經(jīng)把微軟列為全球數(shù)據(jù)倉庫的主要領(lǐng)導(dǎo)者之一。
針對2013年及今后中國經(jīng)濟發(fā)展,微軟并行數(shù)據(jù)倉庫全球卓越中心總監(jiān)Russ Cavan表示,當(dāng)前IT已經(jīng)成為政府和企業(yè)不可缺失的組成部分,是政府與企業(yè)提高工作效率,實現(xiàn)服務(wù)轉(zhuǎn)型的重要柱,IT已經(jīng)從最初的服務(wù)部門,變成了戰(zhàn)略部門,微軟致力于與中國政府和企業(yè)一起,通過大數(shù)據(jù)、云計算等新興的技術(shù),實現(xiàn)中國由大到強的戰(zhàn)略轉(zhuǎn)型。