首(shou)頁慕課課程正文

彩神8app

  現如今(jin),我們(men)身邊(bian)很多人對一些熱(re)門的新技術、新趨勢往(wang)往(wang)趨之若鶩卻又很難(nan)說得(de)透徹(che),比re)鞜笫ju),如果被問大數據(ju)和你有什(shi)麼關系,估計很少能(neng)說出一二三(san)來(lai)。究其(qi)原因,一是因為大家對新技術有著相同的原始渴(ke)求,至少知其(qi)然,在聊天時(shi)不會(hui)顯(xian)得(de)mei)塴巴tu)鱉”;二是在工作和生活環境中,真正能(neng)參與(yu)實踐的大數據(ju)案例實在太少了,所以大家沒有機會(hui)花(hua)時(shi)間去知其(qi)所以然。

  我希望有些不一樣,所以對該如何去認識大數據(ju)進(jin)行了一番思(si)索,包括查閱了資料,翻閱了最新的專業(ye)書籍(ji),但(dan)我並不想(xiang)把那些零散的資料碎片或(huo)不同理解論述簡(jian)單規整並堆積起(qi)來(lai)形成毫無價值的轉述或(huo)評(ping)論,我很真誠的希望進(jin)入事物探(tan)尋本質。

  如果你說大數據(ju)就是數據(ju)大,或(huo)者侃侃而(er)談4個(ge)V,也許很有深(shen)度的談到BI或(huo)預測的價值,又或(huo)者拿Google和Amazon舉例,技術流可能(neng)會(hui)聊起(qi)Hadoop和Cloud Computing,不管對錯,只是無法勾勒對大數據(ju)的整體認識,不說是片面,但(dan)至少有些管窺蠡測、隔衣瘙(sao)癢了。……也許,“解構”是最好的方法。

  怎樣結構大數據(ju)?

  首(shou)先,我認為大數據(ju)就是qiang)hu)聯網發展到現今(jin)階(jie)段的一種表(biao)象或(huo)特征而(er)已(yi),沒有必(bi)要神(shen)話它或(huo)對它保持敬ci)分(fen) 模 諞栽萍撲suan)為代表(biao)的技術創(chuang)新大幕的襯(chen)托下(xia),這(zhe)些原本很難(nan)收(shou)集(ji)和使用的數據(ju)開始容易被利(li)用起(qi)來(lai)了,通過(guo)各行各業(ye)的不斷創(chuang)新,大數據(ju)會(hui)逐步(bu)為人類(lei)創(chuang)造更多的價值。

  其(qi)次(ci),想(xiang)要系統的認知大數據(ju),必(bi)須要全(quan)面而(er)細(xi)致的分(fen)解它,我著手從三(san)個(ge)層面來(lai)展開︰

  第一層面是理論,理論是認知的必(bi)經途徑,也是被廣泛認同和傳播的基線。我會(hui)從大數據(ju)的特征定義理解行業(ye)對大數據(ju)的整體描繪和定性;從對大數據(ju)價值的探(tan)討來(lai)深(shen)入解析大數據(ju)的珍(zhen)貴(gui)所在;從對大數據(ju)的現在和未(wei)來(lai)去洞悉大數據(ju)的發展趨勢;從大數據(ju)隱私這(zhe)個(ge)特別(bie)而(er)重(zhong)要的視(shi)角審視(shi)人和數據(ju)之間的長久博弈。

  第二層面是技術,技術是大數據(ju)價值體現的手段和前進(jin)的基石(shi)。我將分(fen)別(bie)從雲計算(suan)、分(fen)布式處(chu)理技術、存儲(chu)技術和感知技術的發展來(lai)說de)鞔笫ju)從采集(ji)、處(chu)理、存儲(chu)到形成結果的整個(ge)過(guo)程。

  第三(san)層面是實踐,實踐是大數據(ju)的最終價值體現。我將分(fen)別(bie)從互(hu)聯網的大數據(ju),政府(fu)的大數據(ju),企業(ye)的大數據(ju)和個(ge)人的大數據(ju)四(si)個(ge)方面來(lai)描繪大數據(ju)已(yi)經展現的美好景象及即(ji)將實現的藍圖。

  和大數據(ju)相關的理論

   特征定義

  最早提出大數據(ju)時(shi)代到來(lai)的是麥肯錫︰“數據(ju),已(yi)經滲透到當今(jin)每(mei)一個(ge)行業(ye)和業(ye)務(wu)職能(neng)領域,成為重(zhong)要的生產(chan)因素。人們(men)對于海(hai)量(liang)ke)ju)的挖掘(jue)和運用,預示(shi)著新一波生產(chan)率增長和消費者盈余浪shun)鋇牡嚼lai)。”

  業(ye)界(IBM 最早定義)將大數據(ju)的特征歸納為4個(ge)“V”(量(liang)Volume,多樣Variety,價值Value,速Velocity),或(huo)者說特點有四(si)個(ge)層面︰第一,數據(ju)體量(liang)巨大。大數據(ju)的起(qi)始計量(liang)單位(wei)至少是P(1000個(ge)T)、E(100萬個(ge)T)或(huo)Z(10億個(ge)T);第二,數據(ju)類(lei)型(xing)繁bei)唷1熱(re)紓 縟ri)志、視(shi)頻、圖片、地理位(wei)置信息(xi)等等qu)5諶san),價值de)芏鵲停 桃ye)價值高。第四(si),處(chu)理速度快(kuai)。最後這(zhe)一點也是和傳統的數據(ju)挖掘(jue)技術有著本質的不同。

  其(qi)實這(zhe)些V並不能(neng)真正說清楚大數據(ju)的nai)刑卣鰨 xia)面這(zhe)張圖對大數據(ju)的一些相關特性做出了有效的nai)得(de)鰲/p>

  古語雲︰三(san)分(fen)技術,七分(fen)數據(ju),得(de)數據(ju)者得(de)天下(xia)。先不論誰說的,但(dan)是這(zhe)句話的正確(que)性已(yi)經不用去論證了。維(wei)克(ke)托?邁爾-舍恩伯(bo)格在《大數據(ju)時(shi)代》一書中舉了百般例證,都(du)是為了說de)饕桓ge)道理︰在大數據(ju)時(shi)代已(yi)經到來(lai)的時(shi)候要用大數據(ju)思(si)維(wei)去發掘(jue)大數據(ju)的潛在價值。書中,作者提及最多的是Google如何利(li)用人們(men)的nai)閹骷鍬紀誥jue)數據(ju)二次(ci)利(li)用價值,比re)繚?餑車亓韝斜  那魘Amazon如何利(li)用用戶(hu)的購(gou)買和瀏覽歷史數據(ju)進(jin)行有針(zhen)對性的書籍(ji)購(gou)買推薦(jian),以此有效提升(sheng)銷售(shou)量(liang);Farecast如何利(li)用過(guo)去十年所有的航線機票價格打折數據(ju),來(lai)預測用戶(hu)購(gou)買機票的時(shi)機是否合適。

  那麼,什(shi)麼是大數據(ju)思(si)維(wei)?維(wei)克(ke)托?邁爾-舍恩伯(bo)格認為,1-需(xu)要全(quan)部(bu)ke)ju)樣本而(er)不是抽樣;2-關注效率而(er)不是精確(que)度;3-關注相關性而(er)不是因果關系。

  阿里巴巴的王堅(jian)對于大數據(ju)也有一些獨特的見解,比re)紓/p>

  “今(jin)天的數據(ju)不是大,真正有意思(si)的是數據(ju)變(bian)得(de)在線了,這(zhe)個(ge)恰恰是qiang)hu)聯網的特點。”

  “非(fei)互(hu)聯網時(shi)期的產(chan)品(pin),功(gong)能(neng)一定是它的價值,今(jin)天互(hu)聯網的產(chan)品(pin),數據(ju)一定是它的價值。”

  “你千(qian)萬不要想(xiang)著拿數據(ju)去改進(jin)一個(ge)業(ye)務(wu),這(zhe)不是大數據(ju)。你一定是去做了一件以前做不了的事情。”

  特別(bie)是最後一點,我是非(fei)常(chang)認同的,大數據(ju)的真正價值在于創(chuang)造,在于填補無數個(ge)還未(wei)實現過(guo)的mu)瞻住/p>

  有人把數據(ju)比喻為蘊藏能(neng)量(liang)的煤(mei)礦。煤(mei)炭按照性質shi)薪姑mei)、無煙煤(mei)、肥煤(mei)、貧煤(mei)等que)擲lei),而(er)露(lu)天煤(mei)礦、深(shen)山煤(mei)礦的挖掘(jue)成本又不一樣。與(yu)此類(lei)似,大數據(ju)並不在“大”,而(er)在于“有用”。價值含量(liang)、挖掘(jue)成本比數量(liang)更為重(zhong)要。

   價值探(tan)討

  大數據(ju)是什(shi)麼?投資shou) 劾鍤牆jin)光閃(shan)閃(shan)的兩(liang)個(ge)字(zi)︰資shi)1熱(re)紓acebook上市(shi)時(shi),評(ping)估機構評(ping)定的有效資shi)寫蟛bu)分(fen)都(du)是其(qi)社交網站上的數據(ju)。

  如果把大數據(ju)比作一種產(chan)業(ye),那麼這(zhe)種產(chan)業(ye)實現盈利(li)的關鍵,在于提高對數據(ju)的“加工能(neng)力”,通過(guo)“加工”實現數據(ju)的“增值”。

  Target 超市(shi)以20多種懷孕期間孕婦可能(neng)會(hui)購(gou)買的商品(pin)為基礎(chu),將所有用戶(hu)的購(gou)買記錄作為數據(ju)來(lai)源,通過(guo)構建模型(xing)分(fen)析購(gou)買者的行為相關性,能(neng)準確(que)的推斷出孕婦的具體臨盆時(shi)間,這(zhe)樣Target的銷售(shou)部(bu)門就可以有針(zhen)對的在每(mei)個(ge)懷孕顧客的不同階(jie)段寄nai)拖嚶ying)的產(chan)品(pin)優(you)惠卷。

  Target的例子是一個(ge)很典型(xing)的案例,這(zhe)樣印證了維(wei)克(ke)托?邁爾-舍恩伯(bo)格提過(guo)的一個(ge)很有指導意義的觀點︰通過(guo)找出一個(ge)關聯物並監控它,就可以預測未(wei)來(lai)。Target通過(guo)監測購(gou)買者購(gou)買商品(pin)的時(shi)間和品(pin)fen)擲lai)準確(que)預測顧客的孕期,這(zhe)就是對數據(ju)的二次(ci)利(li)用的典型(xing)案例。如果,我們(men)通過(guo)采集(ji)駕駛員手機的GPS數據(ju),就可以分(fen)析出當前哪些道路正在堵車,並可以及時(shi)發布道路交通提醒(xing);通過(guo)采集(ji)汽車的GPS位(wei)置數據(ju),就可以分(fen)析城(cheng)市(shi)的哪些區域停車較多,這(zhe)也代表(biao)該men)蠐凶漚餃 鈐鏡娜巳海(hai) zhe)些分(fen)析數據(ju)適合xia) 愀gao)投放(fang)商。

  不管大數據(ju)的核心價值是不是預測,但(dan)是qiang)詿笫ju)形成shan)霾叩哪J揭yi)經為不少的企業(ye)帶(dai)來(lai)了盈利(li)和聲譽。

  從大數據(ju)的價值鏈條(tiao)來(lai)分(fen)析,存在三(san)種模式︰

  1- 手握大數據(ju),但(dan)是沒有利(li)用mei)比較典型(xing)的是金(jin)融機構,電信行業(ye),政府(fu)機構等qu)/p>

  2- 沒有數據(ju),但(dan)是知道如何幫助有數據(ju)的人利(li)用它;比較典型(xing)的是IT咨詢和服務(wu)企業(ye),比re)紓 I 埽BM,Oracle等qu)/p>

  3- 既有數據(ju),又有大數據(ju)思(si)維(wei);比較典型(xing)的是Google,Amazon,Mastercard等qu)/p>

  未(wei)來(lai)在大數據(ju)領域最具有價值的是兩(liang)種事物︰1-擁(yong)有大數據(ju)思(si)維(wei)的人,這(zhe)種人可以將大數據(ju)的潛在價值轉化為實際利(li)益(yi);2-還未(wei)有被大數據(ju)觸及過(guo)的業(ye)務(wu)領域。這(zhe)些是qiang)刮wei)被挖掘(jue)的油井(jing),金(jin)礦,是所謂的藍海(hai)。

  Wal-Mart作為零售(shou)行業(ye)的巨頭,他(ta)們(men)的分(fen)析人員會(hui)對每(mei)個(ge)階(jie)段的銷售(shou)記錄進(jin)行了全(quan)面的分(fen)析,有一次(ci)他(ta)們(men)無意中發現雖不相關但(dan)很有價值的數據(ju),在美國的颶風來(lai)臨季節,超市(shi)的蛋撻(ta)和抵御颶風物品(pin)竟然銷量(liang)都(du)有大幅增加,于是他(ta)們(men)做了一個(ge)明智決策,就是將蛋撻(ta)的銷售(shou)位(wei)置移到了颶風物品(pin)銷售(shou)區域旁邊(bian),看起(qi)來(lai)是為了方便(bian)用戶(hu)挑選,但(dan)是沒有想(xiang)到蛋撻(ta)的銷量(liang)因此又提高了很多。

  還有一個(ge)有趣的例子,1948年遼沈戰役期間,司令員林彪要求每(mei)天要進(jin)行例常(chang)的“每(mei)日(ri)軍情匯報”,由(you)值班參謀bei)臉魷xia)屬各個(ge)縱隊、師(shi)、團用電台報告(gao)的當日(ri)戰況和繳獲情況。那幾乎是重(zhong)復著千(qian)篇一律枯(ku)燥無味的數據(ju)︰每(mei)支部(bu)隊殲敵多少、俘虜bu)嗌繳獲的火炮、車輛(liang)多少,槍支、物資多少……有一天,參謀照例匯報當日(ri)的戰況,林彪突然打斷他(ta)︰“剛才念的在胡家窩棚那個(ge)戰斗的繳獲,你們(men)听(ting)到了嗎?”大家都(du)ji) H唬 蛭 鞜甦蕉訪(fang)刻於du)有幾十起(qi),不都(du)是差不多一模一樣的mu)ku)燥數字(zi)嗎?林彪掃視(shi)一周,見無人回答,便(bian)接連問了三(san)句︰“為什(shi)麼那里繳獲的短槍與(yu)長槍的比例比其(qi)它戰斗略高?”“為什(shi)麼那里繳獲和擊(ji)毀(hui)的小車與(yu)大車的比例比其(qi)它戰斗略高?”“為什(shi)麼在那里俘虜和擊(ji)斃(bi)的軍官與(yu)士兵的比例比其(qi)它戰斗略高?”林彪司令員大步(bu)jie)呦蜆衣man)軍用地圖的牆壁,指著地圖上的那個(ge)點說︰“我猜想(xiang),不,我斷定!敵人的指揮所就在這(zhe)里!”果然,部(bu)隊很快(kuai)就抓住了敵方的指揮官廖耀湘,並取(qu)得(de)這(zhe)場(chang)重(zhong)要戰役的勝利(li)。

  這(zhe)些例子真實的反映(ying)在各行各業(ye),探(tan)求數據(ju)價值取(qu)決于把握數據(ju)的人,關鍵是人的數據(ju)思(si)維(wei);與(yu)其(qi)說是大數據(ju)創(chuang)造了si)壑擔 蝗縊凳譴笫ju)思(si)維(wei)觸發了新的價值增長。

   現在和未(wei)來(lai)

  我們(men)先看看chuang)笫ju)在當下(xia)有怎樣的杰出表(biao)現︰

  大數據(ju)幫助政府(fu)實現市(shi)場(chang)經濟調控、公共(gong)衛生安全(quan)防(fang)範ding) 幟nan)預警(jing)、社會(hui)輿論監督;

  大數據(ju)幫助城(cheng)市(shi)預防(fang)犯罪(zui),實現智qiang)勱煌  嶸sheng)緊急應(ying)急能(neng)力;

  大數據(ju)幫助醫療(liao)機構建立患者的疾病風險(xian)跟蹤機制,幫助醫藥企業(ye)提升(sheng)藥品(pin)的臨床使用效果,幫助艾滋病研究機構為患者提供定制的藥物;

  大數據(ju)幫助航空公司節省運營成本,幫助電信企業(ye)實現售(shou)後服務(wu)質量(liang)提升(sheng),幫助保險(xian)企業(ye)識別(bie)欺詐騙保行為,幫助快(kuai)遞公司監測分(fen)析運輸車輛(liang)的故shou)舷xian)情以提前預警(jing)維(wei)修,幫助電力公司有效識別(bie)預警(jing)即(ji)將發生故shou)系納she)備(bei);

  大數據(ju)幫助電商公司向用戶(hu)推薦(jian)商品(pin)和服務(wu),幫助旅游網站為旅游者提供心儀(yi)的旅游路線,幫助二手市(shi)場(chang)的買賣雙方找ye)階(jie)詈鮮實慕灰啄mu)標,幫助用戶(hu)找ye)階(jie)詈鮮實納唐pin)購(gou)買時(shi)期、商家和最優(you)惠價格;

  大數據(ju)幫助企業(ye)提升(sheng)營銷的針(zhen)對性,降低物流和庫存的成本,減(jian)少投資的風險(xian),以及幫助企業(ye)提升(sheng)廣告(gao)投放(fang)精準度;

  大數據(ju)幫助娛樂行業(ye)預測歌(ge)手,歌(ge)曲,電影,電視(shi)劇的受歡迎程度,並為投資shou)叻fen)析評(ping)估拍一部(bu)電影需(xu)要投入多少錢才最合適,否則就有可能(neng)收(shou)不回成本;

  大數據(ju)幫助社交網站提供更準確(que)的好友推薦(jian),為用戶(hu)提供更精準的企業(ye)招聘信息(xi),向用戶(hu)推薦(jian)可能(neng)喜歡的游戲以及適合購(gou)買的商品(pin)。

  其(qi)實,這(zhe)些還遠遠不夠,未(wei)來(lai)chuang)笫ju)的身影應(ying)該無處(chu)不在,就算(suan)無法準確(que)預測大數據(ju)終會(hui)將人類(lei)社會(hui)帶(dai)往(wang)到哪種最終形態,但(dan)我相信只要發展腳步(bu)在繼續,因大數據(ju)而(er)產(chan)生的變(bian)革浪shun)苯 芸kuai)淹沒地球的每(mei)一個(ge)角落。

  比re)紓mazon的最終期望是︰“最成功(gong)的書籍(ji)推薦(jian)應(ying)該只有一本書,就是用戶(hu)要買的下(xia)一本書。”

  Google也希望當用戶(hu)在搜索時(shi),最好的體驗是搜索結果只包含用戶(hu)所需(xu)要的內容,而(er)這(zhe)並不需(xu)要用戶(hu)給予(yu)Google太多的提示(shi)。

  而(er)當物聯網發展到達一定規模時(shi),借助條(tiao)形碼、二維(wei)碼、RFID等能(neng)夠唯一標識產(chan)品(pin),傳感器、可穿戴設(she)備(bei)、智能(neng)感知、視(shi)頻采集(ji)、增強現實等技術可實現實時(shi)的信息(xi)采集(ji)和分(fen)析,這(zhe)些數據(ju)能(neng)夠支撐智qiang)鄢cheng)市(shi),智qiang)勱煌  腔(qiang)勰neng)源,智qiang) 攪liao),智qiang)芻繁5睦砟鐶xu)要,這(zhe)些都(du)所謂的智qiang)勱 譴笫ju)的采集(ji)數據(ju)來(lai)源和服務(wu)範圍。

  未(wei)來(lai)的大數據(ju)除了將更好的解決社會(hui)問題,商業(ye)營銷問題,科學(xue)技術問題,還有一個(ge)可預見的趨勢是以人為本的大數據(ju)方針(zhen)。人才是地球的主宰,大部(bu)分(fen)的數據(ju)都(du)與(yu)人類(lei)有關,要通過(guo)大數據(ju)解決人的問題。

  比re)紓   ge)人的數據(ju)中心,將每(mei)個(ge)人的日(ri)常(chang)生活習(xi)慣,身體體征,社會(hui)網絡,知識能(neng)力,愛好性情,疾病嗜(shi)好,情緒波動……換言之就是記錄人從ying)鏨且豢唐qi)的每(mei)一分(fen)每(mei)一秒,將除了思(si)維(wei)外的一切都(du)儲(chu)存下(xia)來(lai),這(zhe)些數據(ju)可以被充分(fen)的利(li)用︰

  醫療(liao)機構將實時(shi)的監測用戶(hu)的身體健康狀況;

  教育機構更有針(zhen)對的制定用戶(hu)喜歡的教育培訓(xun)計劃;

  服務(wu)行業(ye)為用戶(hu)提供即(ji)時(shi)健康的符合用戶(hu)生活習(xi)慣的食物和其(qi)它服務(wu);

  社交網絡能(neng)為你提供合適的交友對象,並為志同道合的人群組織各種聚會(hui)活動;

  政府(fu)能(neng)在用戶(hu)的心理健康出現問題時(shi)有效的干(gan)預,防(fang)範自殺,刑事案件的發生;

  金(jin)融機構能(neng)幫助用戶(hu)進(jin)行有效的理財管理,為用戶(hu)的資金(jin)提供更有效的使用建議(yi)和規劃;

  道路交通、汽車租賃及運輸行業(ye)可以為用戶(hu)提供更合適的出行線路和路途服務(wu)安排;

  ……

  當然,上面的一切看起(qi)來(lai)都(du)ji) 籃茫 dan)是否是以犧牲了用戶(hu)的自由(you)為前提呢?只能(neng)說當bi)孿適攣鉲dai)來(lai)了革新的同時(shi)也同樣帶(dai)來(lai)了“病菌(jun)”。比re)紓 謔只wei)普及前,大家喜歡聚在一起(qi)聊天,自從手機普及後特別(bie)是有了互(hu)聯網,大家不用聚在一起(qi)也bu)梢運媸shi)隨地的聊天,只是“病菌(jun)”滋生了另外一種情形,大家慢慢習(xi)慣了和手機共(gong)bu)墑shi)光,人與(yu)人之間情感交流仿佛(fu)永遠隔著一張“網”。

   大數據(ju)隱私

  你或(huo)許並不敏感,當你在不同的網站上xian) 崍爍ge)人信息(xi)後,可能(neng)這(zhe)些信息(xi)已(yi)經被擴散出去了,當你莫名其(qi)妙的接yong)礁髦鐘始 緇埃 絛諾淖倘攀shi),你不會(hui)想(xiang)到jie)約ji)的電話號碼,郵箱,生日(ri),購(gou)買記錄,收(shou)入水平,家庭(ting)住址,親朋(peng)好友xun)人餃誦畔xi)早就被各種商業(ye)機構非(fei)法存儲(chu)或(huo)賤賣給其(qi)它任何有需(xu)要的企業(ye)或(huo)個(ge)人了。

  更可怕的是,這(zhe)些信息(xi)你永遠無法刪(shan)除,它們(men)永遠存在于互(hu)聯網的某些你不知道的角落。除非(fei)你更換掉(diao)自己(ji)的nai)行畔xi),但(dan)是這(zhe)代價太大了。

  用戶(hu)隱私問題一直是大數據(ju)應(ying)用難(nan)以繞開的一個(ge)問題,如被央視(shi)曝光過(guo)的分(fen)眾無線、羅(luo)維(wei)鄧(deng)白氏以及網易郵箱都(du)涉及侵犯用戶(hu)隱私。目(mu)前,中國並沒有專門的法律法規來(lai)界定用戶(hu)隱私,處(chu)理相關問題時(shi)bei)嗖捎悶qi)他(ta)相關法規條(tiao)例來(lai)解釋(shi)。但(dan)隨著民眾隱私意識的日(ri)益(yi)增強,合法合規地獲取(qu)數據(ju)、分(fen)析數據(ju)和應(ying)用數據(ju),是進(jin)行大數據(ju)分(fen)析時(shi)必(bi)須遵循的原則。

  說到隱私被侵犯,愛德華斯諾登應(ying)該佔據(ju)一席之地,這(zhe)位(wei)前美國中xing)肭楸 CIA)雇(gu)員一手引(yin)爆了美國“稜鏡計劃”(PRISM)的內幕消息(xi)。“稜鏡”項目(mu)ke)且幌鈑you)美國國家安全(quan)局(NSA)自2007年起(qi)開始實施的絕密電子監听(ting)計劃,年耗資近2000億美元,用于監听(ting)全(quan)美電話通話記錄,據(ju)稱還可以使情報人員通過(guo)“後門”進(jin)入9家主要科技公司的服務(wu)器,包括微(wei)軟(ruan)、雅虎、谷歌(ge)、Facebook、PalTalk、美國在線、Skype、YouTube、隻果。這(zhe)個(ge)事件引(yin)發了人們(men)對政府(fu)使用大數據(ju)時(shi)bei)怨 褚角址傅牡P摹/p>

  再看看ci)頤men)身邊(bian),當微(wei)博,微(wei)信,QQ空間這(zhe)些社交平台肆意的吞(tun)噬著數億用戶(hu)的各種信息(xi)時(shi),你就不要指望你還有隱私權了,就算(suan)你在某個(ge)地方刪(shan)除了,但(dan)也許這(zhe)些信息(xi)已(yi)經被其(qi)他(ta)人轉載或(huo)保存了,更有可能(neng)已(yi)經被百度或(huo)Google存為快(kuai)照,早就tun) └我庥沒hu)搜索了。

  因此在大數據(ju)的背景下(xia),很多人都(du)在積極的抵制無底線的數字(zi)化,這(zhe)種大數據(ju)和個(ge)體之間的博弈還會(hui)一直繼續下(xia)去……

  專家給予(yu)了我們(men)一些如何有效保護大數據(ju)背景下(xia)隱私權的建議(yi)︰1-減(jian)少信息(xi)的數字(zi)化;2-隱私權立法;3-數字(zi)隱私權基礎(chu)設(she)施(類(lei)似DRM數字(zi)版(ban)權管理);4-人類(lei)改變(bian)認知(接受忽略過(guo)去);5-創(chuang)造良性的信息(xi)生態;6-語境化。

  但(dan)是這(zhe)些都(du)ji)苣nan)立即(ji)見效或(huo)者有實質shi)緣母納shan)。

  比re)紓 衷謨幸恢種耙ye)叫刪(shan)帖(tie)人,專門負責幫人到各大網站刪(shan)帖(tie),刪(shan)除評(ping)論。其(qi)實這(zhe)些人就是通過(guo)黑客技術侵入各大網站,破獲管理員的密碼然後進(jin)行手工定向刪(shan)除。只不過(guo)他(ta)們(men)保護的不是客戶(hu)的隱私,而(er)大多是丑(chou)聞。還有一種職業(ye)叫人肉專家,他(ta)們(men)負責從互(hu)聯網上xian)業(ye)揭桓ge)與(yu)他(ta)們(men)根本就無關系用戶(hu)的任意信息(xi)。這(zhe)是很可怕的事情,也就是說,如果有人想(xiang)找ye)僥悖 恍xu)要兩(liang)個(ge)條(tiao)件︰1-你上過(guo)網,留下(xia)過(guo)痕(hen)跡;2-你的親朋(peng)好友或(huo)僅僅是認識你的人上過(guo)網,留下(xia)過(guo)你的痕(hen)跡。這(zhe)兩(liang)個(ge)條(tiao)件滿(man)足其(qi)一,人肉專家就可以很輕松的找ye)僥悖 贍neng)還知道你現在正在某個(ge)餐tun)退 黃qi)共(gong)進(jin)晚餐。

  當很多互(hu)聯網企業(ye)意識到隱私對于用戶(hu)的重(zhong)要性時(shi),為了si)絛de)到用戶(hu)的信任,他(ta)們(men)采取(qu)了很多辦法,比re)oogle承諾僅保留用戶(hu)的nai)閹骷鍬個(ge)月,瀏覽器廠(chang)商提供了無痕(hen)沖浪si)J劍 緗煌揪芫 gong)搜索引(yin)擎的爬(pa)蟲進(jin)入,並將提供出去的數據(ju)全(quan)部(bu)采取(qu)匿(ni)名方式處(chu)理等qu)/p>

  在這(zhe)種復雜yong)幕肪忱錈媯 芏噯艘廊幻揮薪  雜諦畔xi)隱私的保護意識,讓自己(ji)一直處(chu)于被滋擾,被精心設(she)計,被利(li)用,被監視(shi)yong)拇chu)境中。可是,我們(men)能(neng)做的幾乎微(wei)乎其(qi)微(wei),因為個(ge)人隱私數據(ju)已(yi)經無法由(you)我們(men)自己(ji)掌控了,就像一首(shou)詩(shi)里說到的︰“如果你現在繼續麻木,那就別(bie)指望這(zhe)麻木能(neng)抵擋得(de)住被”扒光”那一刻的驚恐和絕望……”

  和大數據(ju)相關的技術

   雲技術

  大數據(ju)常(chang)和雲計算(suan)聯系到一起(qi),因為實時(shi)的大型(xing)數據(ju)集(ji)分(fen)析需(xu)要分(fen)布式處(chu)理框架來(lai)向數十、數百或(huo)甚至數萬的電腦分(fen)配工作。可以說,雲計算(suan)充當了工業(ye)革命時(shi)期的發動機的角色,而(er)大數據(ju)則是電。

  雲計算(suan)思(si)想(xiang)的起(qi)源是麥卡(ka)錫在上世紀60年代提出的︰把計算(suan)能(neng)力作為一種像水和電一樣的公用事業(ye)提供給用戶(hu)。

  如今(jin),在Google、Amazon、Facebook等一批(pi)互(hu)聯網企業(ye)引(yin)領下(xia),一種行之有效的模式出現了︰雲計算(suan)提供基礎(chu)架構平台,大數據(ju)應(ying)用運行在這(zhe)個(ge)平台上。

  業(ye)內是這(zhe)麼形容兩(liang)者的關系︰沒有大數據(ju)的信息(xi)積澱(dian),則雲計算(suan)的計算(suan)能(neng)力再強大,也難(nan)以找ye)接夢渲 沒有雲計算(suan)的處(chu)理能(neng)力,則大數據(ju)的信息(xi)積澱(dian)再豐富,也終究只是鏡花(hua)水月。

  那麼chuang)笫ju)到底需(xu)要哪些雲計算(suan)技術呢?

  這(zhe)里暫(zan)且列舉一些,比re)縲檳ni)化技術,分(fen)布式處(chu)理技術,海(hai)量(liang)ke)ju)的存儲(chu)和管理技術,NoSQL、實時(shi)流數據(ju)處(chu)理、智能(neng)分(fen)析技術(類(lei)似模式識別(bie)以及自然語言理解)等qu)/p>

  雲計算(suan)和大數據(ju)之間的關系可以用下(xia)面的一張圖來(lai)說de)鰨 liang)者之間結合後會(hui)產(chan)生如下(xia)效應(ying)︰可以提供更多基于海(hai)量(liang)業(ye)務(wu)數據(ju)的創(chuang)新型(xing)服務(wu);通過(guo)雲計算(suan)技術的不斷發展降低大數據(ju)業(ye)務(wu)的創(chuang)新成本。

  如果將雲計算(suan)與(yu)大數據(ju)進(jin)行一些比較,最明顯(xian)的區分(fen)在兩(liang)個(ge)方面︰

  第一,在概(gai)念上兩(liang)者有所不同,雲計算(suan)改變(bian)了IT,而(er)大數據(ju)則改變(bian)了業(ye)務(wu)。然而(er)大數據(ju)必(bi)須有雲作為基礎(chu)架構,才能(neng)得(de)以順(shun)暢運營。

  第二,大數據(ju)和雲計算(suan)的目(mu)標受眾不同,雲計算(suan)是CIO等關心的技術層,是一個(ge)進(jin)階(jie)的IT解決方案。而(er)大數據(ju)是CEO關注的、是業(ye)務(wu)層的產(chan)品(pin),而(er)大數據(ju)的決策者是業(ye)務(wu)層。

   分(fen)布式處(chu)理技術

  分(fen)布式處(chu)理系統可以將不同地點的或(huo)具有不同功(gong)能(neng)的或(huo)擁(yong)有不同數據(ju)的多台計算(suan)機用通信網絡連接起(qi)來(lai),在控制系統的統一管理控制下(xia),協調地完成信息(xi)處(chu)理任務(wu)—這(zhe)就是分(fen)布式處(chu)理系統的定義。

  以Hadoop(Yahoo)為例進(jin)行說de)鰨adoop是一個(ge)實現了MapReduce模式的能(neng)夠對大量(liang)ke)ju)進(jin)行分(fen)布式處(chu)理的軟(ruan)件框架,是以一種可靠、高效、可伸縮的方式進(jin)行處(chu)理的。

  而(er)MapReduce是Google提出的一種雲計算(suan)的核心計算(suan)模式,是一種分(fen)布式運算(suan)技術,也是簡(jian)化的分(fen)布式編程模式,MapReduce模式的主要思(si)想(xiang)是將自動分(fen)割要執行的問題(例如程序)拆(chai)解成map(映(ying)射)和reduce(化簡(jian))的方式,在數據(ju)被分(fen)割後通過(guo)Map 函(han)數的程序將數據(ju)映(ying)射成不同的區塊,分(fen)配給計算(suan)機機群處(chu)理達到分(fen)布式運算(suan)的效果,在通過(guo)Reduce 函(han)數的程序將結果匯整,從而(er)輸出開發者需(xu)要的結果。

  再來(lai)看看Hadoop的特性,第一,它是可靠的,因為它假設(she)計算(suan)元素和存儲(chu)會(hui)失敗,因此它維(wei)護多個(ge)工作數據(ju)副本,確(que)保能(neng)夠針(zhen)對失敗的節點重(zhong)新分(fen)布ji)chu)理。其(qi)次(ci),Hadoop 是高效的,因為它以並行的方式工作,通過(guo)並行處(chu)理加快(kuai)處(chu)理速度qu)adoop 還是可伸縮的,能(neng)夠處(chu)理 PB 級數據(ju)。此外,Hadoop 依賴于社區服務(wu)器,因此它的成本比較低,任何人都(du)可以使用。

  你也bu)梢哉zhe)麼理解Hadoop的構成,Hadoop=HDFS(文件系統chang) ju)存儲(chu)技術相關) HBase(數據(ju)庫) MapReduce(數據(ju)處(chu)理) ……Others

  Hadoop用到的一些技術有︰

  HDFS: Hadoop分(fen)布式文件系統(Distributed File System) - HDFS (HadoopDistributed File System)

  MapReduce︰並行計算(suan)框架

  HBase: 類(lei)似Google BigTable的分(fen)布式NoSQL列數據(ju)庫。

  Hive︰數據(ju)倉庫工具,由(you)Facebook貢獻(xian)。

  Zookeeper︰分(fen)布式鎖設(she)施,提供類(lei)似Google Chubby的功(gong)能(neng),由(you)Facebook貢獻(xian)。

  Avro︰新的數據(ju)序列化格式與(yu)傳輸工具,將逐步(bu)取(qu)代Hadoop原有的IPC機制。

  Pig:大數據(ju)分(fen)析平台,為用戶(hu)提供多種接口。

  Ambari︰Hadoop管理工具,可以快(kuai)捷的監控、部(bu)ke)稹 芾砑ji)群。

  Sqoop︰用于在Hadoop與(yu)傳統的數據(ju)庫間進(jin)行數據(ju)的傳遞。

  說了這(zhe)麼多,舉個(ge)實際的例子,雖然這(zhe)個(ge)例子有些陳舊,但(dan)是淘(tao)寶的海(hai)量(liang)ke)ju)技術架構還是有助于我們(men)理解對于大數據(ju)的運作處(chu)理機制:

  如上圖所示(shi),淘(tao)寶的海(hai)量(liang)ke)ju)產(chan)品(pin)技術架構分(fen)為五個(ge)層次(ci),從you)現料xia)來(lai)看它們(men)分(fen)別(bie)是︰數據(ju)源,計算(suan)層,存儲(chu)層,查詢層和產(chan)品(pin)層。

  數據(ju)來(lai)源層。存放(fang)著淘(tao)寶各店的交易數據(ju)。在數據(ju)源層產(chan)生的數據(ju),通過(guo)DataX,DbSync和Timetunel準實時(shi)的傳輸到下(xia)面第2點所述的“雲梯”。

  計算(suan)層。在這(zhe)個(ge)計算(suan)層內,淘(tao)寶采用的是Hadoop集(ji)群hai) zhe)個(ge)集(ji)群hai) 頤men)暫(zan)且稱之為雲梯,是計算(suan)層的主要組成部(bu)分(fen)。在雲梯上,系統每(mei)天會(hui)對數據(ju)產(chan)品(pin)進(jin)行不同的MapReduce計算(suan)。

  存儲(chu)層。在這(zhe)一層,淘(tao)寶采用了兩(liang)個(ge)東西(xi),一個(ge)使MyFox,一個(ge)是Prom。MyFox是qiang)ySQL的分(fen)布式關系型(xing)數據(ju)庫的集(ji)群hai)rom是qiang)adoop Hbase技術的一個(ge)NoSQL的存儲(chu)集(ji)群。

  查詢層。在這(zhe)一層中,Glider是以HTTP協議(yi)對外提供restful方式的接口。數據(ju)產(chan)品(pin)通過(guo)一個(ge)唯一的URL來(lai)獲取(qu)到它想(xiang)要的數據(ju)。同時(shi),數據(ju)查詢即(ji)是通過(guo)MyFox來(lai)查詢的。

  最後一層是產(chan)品(pin)層,這(zhe)個(ge)就不用解釋(shi)了。

   存儲(chu)技術

  大數據(ju)可以抽象的分(fen)為大數據(ju)存儲(chu)和大數據(ju)分(fen)析,這(zhe)兩(liang)者的關系是︰大數據(ju)存儲(chu)的目(mu)的是支撐大數據(ju)分(fen)析。到目(mu)前為止,還是兩(liang)種截然不同的計算(suan)機技術領域︰大數據(ju)存儲(chu)致力于研發可以擴展至PB甚至EB級別(bie)的數據(ju)存儲(chu)平台;大數據(ju)分(fen)析關注在最短時(shi)間內處(chu)理大量(liang)不同類(lei)型(xing)的數據(ju)集(ji)。

  提到存儲(chu),有一個(ge)著(zhu)名的摩爾定律相信大家都(du)听(ting)過(guo)︰18個(ge)月集(ji)成電路的復雜性就增加you)槐bei)。所以,存儲(chu)器的成本大約每(mei)18-24個(ge)月就下(xia)降一半。成本的不斷下(xia)降也造就tu)舜笫ju)的mu)紗媧chu)性。

  比re)紓oogle大約管理著超過(guo)50萬台服務(wu)器和100萬塊硬盤,而(er)且Google還在不斷的擴大計算(suan)能(neng)力和存儲(chu)能(neng)力,其(qi)中很多的擴展都(du)是qiang)讜諏 鄯wu)器和普通存儲(chu)硬盤的基礎(chu)上進(jin)行的,這(zhe)大大降低tu)似qi)服務(wu)成本,因此可以將更多的資金(jin)投入到技術的nan)蟹 敝小/p>

  以Amazon舉例,Amazon S3 是一種面向 Internet 的存儲(chu)服務(wu)。該服務(wu)旨在讓mei) ?嗽蹦neng)更輕松的進(jin)行xing)綣婺<撲suan)。Amazon S3 提供一個(ge)簡(jian)明的 Web 服務(wu)界面,用戶(hu)可通過(guo)它隨時(shi)在 Web 上的任何位(wei)置存儲(chu)和檢索的任意大小的數據(ju)。此服務(wu)讓所有開發人員bei)寄neng)訪(fang)問shi) 桓ge)具備(bei)高擴展性、可靠性、安全(quan)性和快(kuai)速價廉的基礎(chu)設(she)施,Amazon 用它來(lai)運行其(qi)全(quan)球的網站網絡。再看看S3的設(she)計指標︰在特定年度內為數據(ju)元提供 99.999999999% 的耐久性和 99.99% 的mu)捎眯裕  neng)夠承受兩(liang)個(ge)設(she)施中的數據(ju)同時(shi)bei) ?/p>

  S3很成功(gong)也確(que)實卓(zhuo)有成效,S3雲的存儲(chu)對象已(yi)達到萬億級別(bie),而(er)且性能(neng)表(biao)現相當良ji)謾3雲已(yi)經擁(yong)萬億跨(kua)地域存儲(chu)對象,同時(shi)AWS的對象執行請求也達到百萬的峰值數量(liang)。目(mu)前全(quan)球範圍內已(yi)經有數以十萬計的企業(ye)在通過(guo)AWS運行自己(ji)的全(quan)部(bu)或(huo)者部(bu)分(fen)日(ri)常(chang)業(ye)務(wu)。這(zhe)些企業(ye)用戶(hu)遍布190多個(ge)國家,幾乎世界上的每(mei)個(ge)角落都(du)有Amazon用戶(hu)的身影。

   感知技術

  大數據(ju)的采集(ji)和感知技術的發展是緊密聯系的。以傳感器技術,指紋識別(bie)技術,RFID技術,坐標定位(wei)技術等為基礎(chu)的感知能(neng)力提升(sheng)同樣是物聯網發展的基石(shi)。全(quan)世界的工業(ye)設(she)備(bei)、汽車、電表(biao)上有著無數的數碼傳感器,隨時(shi)測量(liang)和傳遞著有關位(wei)置、運動、震動、溫lu)取(qu)? 饒nai)至liang)掌謝 xue)物質的變(bian)化,都(du)會(hui)產(chan)生海(hai)量(liang)的數據(ju)信息(xi)。

  而(er)隨著智能(neng)手機的普及,感知技術可謂迎來(lai)了發展的高峰期,除了地理位(wei)置信息(xi)被廣泛的應(ying)用外,一些新的感知手段也bu) 嫉巧餃杼  熱(re)紓 鐶碌摹Phone 5S”在home鍵內嵌指紋傳感器,新型(xing)手機可通過(guo)呼氣直接檢測燃燒脂肪量(liang),用于手機的嗅(xiu)覺傳感器面世可以監測從空氣污(wu)染到危險(xian)的化學(xue)藥品(pin),微(wei)軟(ruan)正在研發可感知用戶(hu)當前心情智能(neng)手機技術,谷歌(ge)眼鏡InSight新技術可通過(guo)衣著進(jin)行人物識別(bie)。

  除此之外,還有很多與(yu)感知相關的技術革新讓我們(men)耳目(mu)一新︰比re)紓 萊荽 釁魘凳shi)監控口腔(qiang)活動及飲(yin)食狀況,嬰兒穿戴設(she)備(bei)可用大數據(ju)去養育寶寶,Intel正研發3D筆記本攝像頭可追蹤眼球讀懂(dong)情緒,日(ri)本公司開發新型(xing)可監控用戶(hu)心率的紡織材料,業(ye)界正在嘗試將生物測定技術引(yin)入支付(fu)領域等qu)/p>

  其(qi)實,這(zhe)些感知被逐漸捕(bu)獲的過(guo)程就是就世界被數據(ju)化的過(guo)程,一旦(dan)世界被完全(quan)數據(ju)化了,那麼世界的本質也就是信息(xi)了。

  就像一句名言所說,“人類(lei)以前延續的是文明,現在傳承的是信息(xi)。”

  大數據(ju)的實踐

  互(hu)聯網的大數據(ju)

  互(hu)聯網上的數據(ju)每(mei)年增長50%,每(mei)兩(liang)年便(bian)將翻一番,而(er)目(mu)前世界上90%以上的數據(ju)是最近幾年才產(chan)生的。據(ju)IDC預測,到2020年全(quan)球將總共(gong)擁(yong)有35ZB的數據(ju)量(liang)。互(hu)聯網是大數據(ju)發展的前哨(shao)陣(zhen)地,隨著WEB2.0時(shi)代的發展,人們(men)似乎都(du)習(xi)慣了將自己(ji)的生活通過(guo)網絡進(jin)行數據(ju)化,方便(bian)分(fen)享(xiang)以及記錄並回憶(yi)。

  互(hu)聯網上的大數據(ju)很難(nan)清晰的界定分(fen)類(lei)界限,我們(men)先看看BAT的大數據(ju)︰

  百度擁(yong)有兩(liang)種類(lei)型(xing)的大數據(ju)︰用戶(hu)搜索表(biao)征的需(xu)求數據(ju);爬(pa)蟲和阿拉丁(ding)獲取(qu)的公共(gong)web數據(ju)。搜索巨頭百度圍繞數據(ju)而(er)生。它對網頁數據(ju)的爬(pa)取(qu)、網頁chen)諶蕕淖櫓 徒 觶  guo)語義分(fen)析對搜索需(xu)求的精準理解進(jin)而(er)從海(hai)量(liang)ke)ju)中找準結果,以及精準的nai)閹饕yin)擎關鍵字(zi)廣告(gao),實質上就是一個(ge)數據(ju)的獲取(qu)、組織、分(fen)析和挖掘(jue)的過(guo)程。搜索引(yin)擎在大數據(ju)時(shi)代面臨的挑戰有︰更多的暗網數據(ju);更多的WEB化但(dan)是沒有結構化的數據(ju);更多的WEB化、結構化但(dan)是封閉的數據(ju)。

  阿里巴巴擁(yong)有交易數據(ju)和信用數據(ju)。這(zhe)兩(liang)種數據(ju)更容易變(bian)現,挖掘(jue)出商業(ye)價值。除此之外阿里巴巴還gu) guo)投資等que)絞秸莆樟瞬bu)分(fen)社交數據(ju)、移動數據(ju)。如微(wei)博和高德。

  騰訊擁(yong)有用戶(hu)關系數據(ju)和基于此產(chan)生的社交數據(ju)。這(zhe)些數據(ju)可以分(fen)析人們(men)的生活和行為,從里面挖掘(jue)出政治、社會(hui)、文化、商業(ye)、健康等領域的信息(xi),甚至預測未(wei)來(lai)。

  在信息(xi)技術更為發達的美國,除了行業(ye)知名的類(lei)似Google,Facebook外,已(yi)經涌現了很多大數據(ju)類(lei)型(xing)的公司,它們(men)專門經營數據(ju)產(chan)品(pin),比re)紓/p>

  Metamarkets︰這(zhe)家公司對Twitter、支付(fu)ding)?qian)到和一些與(yu)互(hu)聯網相關的問題進(jin)行了分(fen)析,為客戶(hu)提供了很好的數據(ju)分(fen)析支持。

  Tableau︰他(ta)們(men)的精力主要集(ji)中于將海(hai)量(liang)ke)ju)以可視(shi)化的方式展現出來(lai)。Tableau為數字(zi)媒體提供了一個(ge)新的展示(shi)數據(ju)的方式。他(ta)們(men)提供了一個(ge)免費工具,任何人在沒有編程知識背景的情況下(xia)都(du)能(neng)制造出數據(ju)專用圖表(biao)。這(zhe)個(ge)軟(ruan)件還能(neng)對數據(ju)進(jin)行分(fen)析,並提供有價值的建議(yi)。

  ParAccel︰他(ta)們(men)向美國執法機構提供了數據(ju)分(fen)析,比re)綞5000個(ge)有犯罪(zui)前科的人進(jin)行跟蹤,從而(er)向執法機構提供了參考(kao)性較xi)叩姆缸zui)預測。他(ta)們(men)是犯罪(zui)的預言者。

  QlikTech︰QlikTech旗下(xia)的Qlikview是一個(ge)商業(ye)智能(neng)領域的自主服務(wu)工具,能(neng)夠應(ying)用于科學(xue)研究和藝術等領域。為了幫助開發者對這(zhe)些數據(ju)進(jin)行分(fen)析,QlikTech提供了對原始數據(ju)進(jin)行可視(shi)化處(chu)理等功(gong)能(neng)的工具。

  GoodData︰GoodData希望幫助客戶(hu)從數據(ju)中xing)誥jue)財富。這(zhe)家創(chuang)業(ye)公司主要面向商業(ye)用戶(hu)和IT企業(ye)高管,提供數據(ju)存儲(chu)、性能(neng)報告(gao)、數據(ju)分(fen)析等工具。

  TellApart︰TellApart和電商公司進(jin)行合xian)鰨 ta)們(men)會(hui)根據(ju)用戶(hu)的ni) 佬形 仁ju)進(jin)行分(fen)析,通過(guo)鎖定潛在買家方式提高電商企業(ye)的收(shou)入。

  DataSift︰DataSift主要收(shou)集(ji)並分(fen)析社交網絡媒體上的數據(ju),並幫助品(pin)fang)乒 菊莆脹環 攣諾撓唄鄣悖  貧ㄓ姓zhen)對性的營銷方案。這(zhe)家公司還gou)witter有合xian)饜 yi),使得(de)自己(ji)變(bian)成shan)誦幸ye)中為數不多可以分(fen)析早期tweet的創(chuang)業(ye)公司。

  Datahero︰公司的目(mu)標是將復雜yong)氖ju)變(bian)得(de)更加簡(jian)單明了,方便(bian)普通人去理解和想(xiang)象。

  舉了很多例子,這(zhe)里簡(jian)要歸納一下(xia),在互(hu)聯網大數據(ju)的典型(xing)代表(biao)性包括︰

  1-用戶(hu)行為數據(ju)(精準廣告(gao)投放(fang)、內容推薦(jian)、行為習(xi)慣和喜好分(fen)析、產(chan)品(pin)優(you)化等)

  2-用戶(hu)消費數據(ju)(精準營銷、信用記錄分(fen)析、活動促(chun)銷、理財等)

  3-用戶(hu)地理位(wei)置數據(ju)(O2O推廣,商家推薦(jian),交友推薦(jian)等)

  4-互(hu)聯網金(jin)融數據(ju)(P2P,小額貸款(kuan),支付(fu),信用,供應(ying)鏈金(jin)融等)

  5-用戶(hu)社交等UGC數據(ju)(趨勢pin)fen)析、流行元素分(fen)析、受歡迎程度que)治觥 唄奐囁胤fen)析、社會(hui)問題分(fen)析等)

   政府(fu)的大數據(ju)

  近期,奧(ao)巴馬政府(fu)宣布投資2億美元拉動大數據(ju)相關產(chan)業(ye)發展,將“大數據(ju)戰略”上升(sheng)為國家意志。奧(ao)巴馬政府(fu)將數據(ju)定義為“未(wei)來(lai)的新石(shi)油”,並表(biao)示(shi)一個(ge)國家擁(yong)有數據(ju)的規模、活性及解釋(shi)運用的能(neng)力將成為綜合國力的重(zhong)要組成部(bu)分(fen),未(wei)來(lai),對數據(ju)的佔有和控制甚至liang) 晌 lu)權、海(hai)權、空權之外的另一種國家核心資shi)/p>

  在國內,政府(fu)各個(ge)部(bu)門都(du)握有構成社會(hui)基礎(chu)的原始數據(ju),比re)紓 笫ju),金(jin)融數據(ju),信用數據(ju),電力數據(ju),煤(mei)氣數據(ju),自來(lai)水數據(ju),道路交通數據(ju),客運數據(ju),安全(quan)刑事案件數據(ju),住房ke)ju),海(hai)關數據(ju),出入境數據(ju),旅游數據(ju),醫療(liao)數據(ju),教育數據(ju),環保數據(ju)等等qu)Uzhe)些數據(ju)在每(mei)個(ge)政府(fu)部(bu)門pa)錈嬋雌qi)來(lai)是單一的,靜態的。但(dan)是,如果政府(fu)可以將這(zhe)些數據(ju)關聯起(qi)來(lai),並對這(zhe)些數據(ju)進(jin)行有效的關聯分(fen)析和統一管理,這(zhe)些數據(ju)必(bi)定將獲得(de)新生,其(qi)價值是無法估量(liang)的。

  具體來(lai)說,現在城(cheng)市(shi)都(du)在走向智能(neng)和智qiang)郟 熱(re)紓 悄neng)電網、智qiang)勱煌  腔(qiang) 攪liao)、智qiang)芻繁! 腔(qiang)鄢cheng)市(shi),這(zhe)些都(du)依托于大數據(ju),可以說大數據(ju)是智qiang)鄣暮誦哪neng)源chu)4庸謖逋蹲使婺@lai)看,到2012年底全(quan)國開建智qiang)鄢cheng)市(shi)的城(cheng)市(shi)數超過(guo)180個(ge),通信網絡和數據(ju)平台等基礎(chu)設(she)施建設(she)投資規模接近5000億元。“十二五”期間智qiang)鄢cheng)市(shi)建設(she)拉動的設(she)備(bei)投資規模將達1萬億元人民幣。大數據(ju)為智qiang)鄢cheng)市(shi)的各個(ge)領域提供決策支持。在城(cheng)市(shi)規劃方面,通過(guo)對城(cheng)市(shi)地理、氣象等自然信息(xi)和經濟、社會(hui)、文化、人口等re)宋納緇hui)信息(xi)的挖掘(jue),可以為城(cheng)市(shi)規劃提供決策,強化城(cheng)市(shi)管理服務(wu)的mu)蒲xue)性和前瞻性。在交通管理方面,通過(guo)對道路交通信息(xi)的實時(shi)挖掘(jue),能(neng)有效緩解交通擁(yong)堵,並快(kuai)速響應(ying)突發狀況,為城(cheng)市(shi)交通的良性運轉提供科學(xue)的決策依據(ju)。在輿情監控方面,通過(guo)網絡關鍵詞搜索及語義智能(neng)分(fen)析,能(neng)提高輿情分(fen)析的及時(shi)bi)浴?quan)面性,全(quan)面掌握社情民意,提高公共(gong)服務(wu)能(neng)力,應(ying)對網絡突發的公共(gong)事件,打擊(ji)違法犯罪(zui)。在安防(fang)與(yu)防(fang)災領域,通過(guo)大數據(ju)的挖掘(jue),可以及時(shi)發現人為或(huo)自然災害、恐怖(bu)事件,提高應(ying)急處(chu)理能(neng)力和安全(quan)防(fang)範能(neng)力。

  另外,作為國家ye)墓芾碚擼 fu)應(ying)該有勇氣將手中的數據(ju)逐步(bu)開放(fang),供給更多有能(neng)力的機構組織或(huo)個(ge)人來(lai)分(fen)析並加you)岳li)用,以加速造福人類(lei)。比re)紓 攔fu)就籌建了一個(ge)data.gov網站,這(zhe)是奧(ao)巴馬任期內的一個(ge)重(zhong)要舉措︰要求政府(fu)公開透明,而(er)核心就是實現政府(fu)機構的數據(ju)公開。截止目(mu)前,已(yi)經開放(fang)了有91054 個(ge)datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

分(fen)享(xiang)︰
延you)煸畝/div>
    數博故事
    貴(gui)州

    貴(gui)州大數據(ju)產(chan)業(ye)政策

    貴(gui)州大數據(ju)產(chan)業(ye)動態

    貴(gui)州大數據(ju)企業(ye)

    更多
    大數據(ju)概(gai)念_大數據(ju)分(fen)析_大數據(ju)應(ying)用_大數據(ju)百科專題
    企業(ye)
    更多
    彩神8app | 下一页