一、概念
“大數據”是指以多元形式,自許多來(lái)源搜集而來(lái)的龐大數據組,往往具有實(shí)時(shí)性。在企業(yè)對企業(yè)銷(xiāo)售的情況下,這些數據可能得自社交網(wǎng)絡(luò )、電子商務(wù)網(wǎng)站、顧客來(lái)訪(fǎng)紀錄,還有許多其他來(lái)源。這些數據,并非公司顧客關(guān)系管理數據庫的常態(tài)數據組。
從技術(shù)上看,大數據[1]與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數據必然無(wú)法用單臺的計算機進(jìn)行處理,必須采用分布式計算架構。它的特色在于對海量數據的挖掘,但它必須依托云計算的分布式處理、分布式數據庫、云存儲和/或虛擬化技術(shù)。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫(xiě)的《大數據時(shí)代[4]》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而采用所有數據的方法)大數據的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。
早在1980年,著(zhù)名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中,將大數據熱情地贊頌為“第三次浪潮的華彩樂(lè )章”。不過(guò),大約從2009年開(kāi)始,“大數據”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。美國互聯(lián)網(wǎng)數據中心指出,互聯(lián)網(wǎng)上的數據每年將增長(cháng)50%,每?jì)赡瓯銓⒎环?,而目前世界?0%以上的數據是最近幾年才產(chǎn)生的。此外,數據又并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息,全世界的工業(yè)設備、汽車(chē)、電表上有著(zhù)無(wú)數的數碼傳感器,隨時(shí)測量和傳遞著(zhù)有關(guān)位置、運動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,也產(chǎn)生了海量的數據信息。
大數據的意義是由人類(lèi)日益普及的網(wǎng)絡(luò )行為所伴生的,受到相關(guān)部門(mén)、企業(yè)采集的,蘊含數據生產(chǎn)者真實(shí)意圖、喜好的,非傳統結構和意義的數據 。2013年5月10日,阿里巴巴集團董事局主席馬云在淘寶十周年晚會(huì )上,卸任阿里集團CEO的職位,并在晚會(huì )上做卸任前的演講,馬云說(shuō),大家還沒(méi)搞清PC時(shí)代的時(shí)候,移動(dòng)互聯(lián)網(wǎng)來(lái)了,還沒(méi)搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候,大數據時(shí)代來(lái)了。
借著(zhù)大數據時(shí)代的熱潮,微軟公司生產(chǎn)了一款數據驅動(dòng)的軟件,主要是為工程建設節約資源提高效率。在這個(gè)過(guò)程里可以為世界節約40%的能源。拋開(kāi)這個(gè)軟件的前景不看,從微軟團隊致力于研究開(kāi)始,可以看他們的目標不僅是為了節約了能源,更加關(guān)注智能化運營(yíng)。通過(guò)跟蹤取暖器、空調、風(fēng)扇以及燈光等積累下來(lái)的超大量數據,捕捉如何杜絕能源浪費?!敖o我提供一些數據,我就能做一些改變。如果給我提供所有數據,我就能拯救世界?!蔽④浭访芩惯@樣說(shuō)。而智能建筑正是他的團隊專(zhuān)注的事情。
從海量數據中“提純”出有用的信息,這對網(wǎng)絡(luò )架構和數據處理能力而言也是巨大的挑戰。在經(jīng)歷了幾年的批判、質(zhì)疑、討論、炒作之后,大數據終于迎來(lái)了屬于它的時(shí)代。2012年3月22日,奧巴馬政府宣布投資2億美元拉動(dòng)大數據相關(guān)產(chǎn)業(yè)發(fā)展,將“大數據戰略”上升為國家戰略。奧巴馬政府甚至將大數據定義為“未來(lái)的新石油”。
大數據時(shí)代已經(jīng)來(lái)臨,它將在眾多領(lǐng)域掀起變革的巨浪。但我們要冷靜的看到,大數據的核心在于為客戶(hù)挖掘數據中蘊藏的價(jià)值,而不是軟硬件的堆砌。因此,針對不同領(lǐng)域的大數據應用模式、商業(yè)模式研究將是大數據產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。我們相信,在國家的統籌規劃與支持下,通過(guò)各地方政府因地制宜制定大數據產(chǎn)業(yè)發(fā)展策略,通過(guò)國內外IT龍頭企業(yè)以及眾多創(chuàng )新企業(yè)的積極參與,大數據產(chǎn)業(yè)未來(lái)發(fā)展前景十分廣闊。
大數據就是互聯(lián)網(wǎng)發(fā)展到現今階段的一種表象或特征而已,沒(méi)有必要神話(huà)它或對它保持敬畏之心,在以云計算為代表的技術(shù)創(chuàng )新大幕的襯托下,這些原本很難收集和使用的數據開(kāi)始容易被利用起來(lái)了,通過(guò)各行各業(yè)的不斷創(chuàng )新,大數據會(huì )逐步為人類(lèi)創(chuàng )造更多的價(jià)值。
二、意義
現在的社會(huì )是一個(gè)高速發(fā)展的社會(huì ),科技發(fā)達,信息流通,人們之間的交流越來(lái)越密切,生活也越來(lái)越方便,大數據就是這個(gè)高科技時(shí)代的產(chǎn)物。 阿里巴巴創(chuàng )辦人馬云來(lái)臺演講中就提到,未來(lái)的時(shí)代將不是IT時(shí)代,而是DT的時(shí)代,DT就是Data Technology數據科技,顯示大數據對于阿里巴巴集團來(lái)說(shuō)舉足輕重。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi),而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似,大數據并不在“大”,而在于“有用”。價(jià)值含量、挖掘成本比數量更為重要。對于很多行業(yè)而言,如何利用這些大規模數據是成為贏(yíng)得競爭的關(guān)鍵。
大數據的價(jià)值體現在以下幾個(gè)方面:
1)對大量消費者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數據進(jìn)行精準營(yíng)銷(xiāo);
2) 做小而美模式的中長(cháng)尾企業(yè)可以利用大數據做服務(wù)轉型;
3) 面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統企業(yè)需要與時(shí)俱進(jìn)充分利用大數據的價(jià)值;
不過(guò),“大數據”在經(jīng)濟發(fā)展中的巨大意義并不代表其能取代一切對于社會(huì )問(wèn)題的理性思考,科學(xué)發(fā)展的邏輯不能被湮沒(méi)在海量數據中。著(zhù)名經(jīng)濟學(xué)家路德維?!ゑT·米塞斯曾提醒過(guò):“就今日言,有很多人忙碌于資料之無(wú)益累積,以致對問(wèn)題之說(shuō)明與解決,喪失了其對特殊的經(jīng)濟意義的了解?!边@確實(shí)是需要警惕的。
在這個(gè)快速發(fā)展的智能硬件時(shí)代,困擾應用開(kāi)發(fā)者的一個(gè)重要問(wèn)題就是如何在功率、覆蓋范圍、傳輸速率和成本之間找到那個(gè)微妙的平衡點(diǎn)。企業(yè)組織利用相關(guān)數據和分析可以幫助它們降低成本、提高效率、開(kāi)發(fā)新產(chǎn)品、做出更明智的業(yè)務(wù)決策等等。例如,通過(guò)結合大數據和高性能的分析,下面這些對企業(yè)有益的情況都可能會(huì )發(fā)生:
1)及時(shí)解析故障、問(wèn)題和缺陷的根源,每年可能為企業(yè)節省數十億美元。
2)為成千上萬(wàn)的快遞車(chē)輛規劃實(shí)時(shí)交通路線(xiàn),躲避擁堵。
3)分析所有SKU,以利潤最大化為目標來(lái)定價(jià)和清理庫存。
4)根據客戶(hù)的購買(mǎi)習慣,為其推送他可能感興趣的優(yōu)惠信息。
5)從大量客戶(hù)中快速識別出金牌客戶(hù)。
6)使用點(diǎn)擊流分析和數據挖掘來(lái)規避欺詐行為。