吳軍《數學之美》,大數據有什麼作用?如何看待大數據的使用

2021-01-11 臨江一點

與你分享讀書、跑步以及一些生活原則,歡迎關注。

第31篇,全文約1804字,閱讀時長約4分鐘。

上一篇我們談論了什麼是數據,什麼是大數據,以及大數據的數學基礎和利弊。那麼大數據的作用有哪些?我們又如何正確合理地運用大數據呢?

隨著信息技術軟體和硬體技術的飛速發展,很多圍繞數據收集、整理、分析和處理再應用的工作機構和研究所也在不斷湧現,包括國家層面和省市層面,如國家信息中心大數據應用管理中心、貴州省大數據發展管理局,其他科研形式和性質的就更多如牛毛了。掌握處理和利用數據方法的人也越來越重要,誰善於運用數據,就更有可能成功。

01大數據發揮作用的前提條件

從嚴格意義上來講,大數據是一門技術,它的意義不在於掌握龐大的數據信息,而在於對這些含有意義的數據進行分析、處理和再利用以創造價值,實現數據的資本增值。

既然是一門技術,大數據發揮作用就有一定的前提條件。首先,只有當一些隨機事件的組合一同出現很多次以後,也就是出現不能是偶發性的,才能得到有意義的統計規律;其次,大數據的採集過程是一個自然的過程,具有普遍規律才有利於消除主觀性偏差;第三,也就是更重要的是,只有多維度的大數據才能讓那些原本看起來沒有聯繫的聯繫不太緊密的實踐反覆出現,才能找到其聯繫和發現新的規律。

02大數據的作用

如果把大數據比作一種產業,那麼這種產業實現盈利的關鍵,在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。

通俗來講,大數據的核心作用就是帶來價值經濟效益,也即是賺錢。因此,在某些投資者眼裡,數據就是金光閃閃的兩個字:資產。比如,在Facebook上市時,它被評估的有效資產中大部分都是其社交網站上的數據。

搜尋引擎如百度、Google等利用用戶的搜索記錄挖掘數據二次利用價值,比如通過區域用戶搜索關鍵詞預測某地流感爆發的趨勢;購物網站如京東、淘寶等利用用戶的購買和瀏覽歷史數據進行有針對性的商品推薦,以此有效提升銷售量;旅遊軟體如攜程、去哪兒等利用用戶購買產品或者服務的習慣及評價來預測用戶的喜好和購買能力,以精準地推薦線路。

以色列歷史學家、現象級暢銷書作家尤瓦爾·赫拉利推出最新作品《今日簡史:人類命運大議題》,提出人工智慧和生物技術正在顛覆原有的社會結構和分配方式,數據成為21世紀最重要的資產。數據巨頭們現在評估APP和產品的標準已經不是能賺多少錢,而是能收集到多少數據。有些產品哪怕不賺錢,甚至短期內虧損,但只要能獲得數據,就價值連城。所以,不管數據有什麼用,最好先有了再說,因為這可能就是控制和塑造未來生活的關鍵。麥肯錫諮詢公司的報告顯示:在大數據應用綜合價值潛力方面,信息技術、金融保險、政府及批發貿易四大行業潛力最高。具體到行業內每家公司的數據量來看,信息、金融保險、計算機及電子設備、公用事業四類的數據量最大。

03大數據的使用程度

大數據技術的關鍵是數據再利用程度。從大數據的價值鏈條來分析,存在三種不同數據再利用程度的模式:

第一種:有大量數據,但是沒有科學合理的數據利用工具,不能最大化地利用數據增值。比如金融機構,電信行業,政府機構等。

第二種:自身沒有掌握數據,但是懂得數據分析的方法,知道如何幫助有數據的人用好它。比如諮詢和服務企業,比如IBM,Oracle等。

第三種:既有數據收集渠道和方法,又有數據分析工具和大數據思維,能夠科學地利用數據增值。比如百度、Google,Amazon等。

在《人人說謊》中,前谷歌數據科學家賽斯·戴威維茨曾談到,數據應用有一個最大的陷阱,叫 The curse of dimensionality,翻譯過來叫做「維數災難」。

意思是我們搜集到的數據並不代表都是能夠利用的大數據,還要看其被使用程度。比如即便人工智慧機器人擁有了大量數據,它們仍難以準確表達像真正的人的情緒反應。除此之外,還有一些客觀存在的問題也在阻礙大數據的使用:因基礎數據沒有進行大數據結構化處理,導致數據無法進行分類和分析;因數據維度不全,無法進行精準的用戶定位;內部數據與外部數據難以打通等等。

另外,如果把按照數據挖掘提取的利用程度分,大數據分析可以分為「一次挖掘」和「二次挖掘」。「二次挖掘」是在「一次挖掘」的基礎上,進一步引入更多的主觀層面的判斷維度,如具體的經驗、常識、本能、情境知識和用戶偏好等的深入開發。這是一種從「量」到「質」的飛躍,任重而道遠。

部分圖片來自網絡,版權歸原作者所有,如有侵權,聯繫刪除!

相關焦點

  • 吳軍《數學之美》:大數據的數學基礎和大數據的利弊
    在《數學之美》中,吳軍在第31章重點談到了大數據的威力和數據的重要性。從2010年開始,「大數據」頻繁亮相於各種媒體,那麼,「大數據」究竟是怎麼一回事?它是否就是大量的數據呢?它的數學基礎是什麼?它又有什麼作用和利弊呢?01什麼是數據?
  • 吳軍《數學之美》,什麼是雲計算?雲計算的數學基礎和核心技術
    在《數學之美》中,吳軍在第29章重點談到了雲計算。從2006年開始,Google等公司提出雲計算概念時,很多人認為這就是炒概念。隨著信息技術的發展和大數據技術的興起,如今的科技領域和工業領域都已經完全認同了這個概念,並且看到了雲計算對社會和生活的方方面面產生的巨大影響。
  • 吳軍:《數學之美》延伸閱讀,為什麼數學是科學的女王?
    01看完吳軍的《數學之美》後,我又做了一些延伸閱讀,今天跟大家分享的是:為什麼「數學是科學的女王」?牛頓的力學原理和定律依賴於微積分,愛因斯坦的相對論則與黎曼幾何及其他數學的發展緊密相關。吳軍的《數學之美》這本書中介紹的大量的信息技術科學就是數學的應用發展。  比如現在我們平時用到的網絡搜索,這背後的應用的就是數學的布爾代數算法。也就是數學中的二進位,它只有0和1兩個數字,表示邏輯裡的「是」和「非」。在我們搜索時,系統會把我們查詢的關鍵詞轉換成布爾運算的算式,看看搜索關鍵詞有沒有出現在這個網頁,1就代表出現,0就代表沒出現。
  • 《數學之美》告訴你如何使用數學思維解碼世界
    吳軍博士的《數學之美》發行於2014年11月,這個原載於谷歌黑板報的書籍,一經發行就取得了巨大的成功。在這本書中,吳軍博士從人類文明起源講到科技革命。讓讀者了解到,原來,在我們生活的每個地方,都有數學的身影。在吳軍博士的筆下,數學將不再是一個一個枯燥的符號,而是結構人類社會的一把鋒利的手術刀。
  • 從《萬物皆數》到《數學之美》,一個數學學渣的科普讀物進化史
    作為風險投資人,吳軍成功地投資了150家矽谷和中國的高科技企業。他對科技產業有深入的研究,他是當今矽谷地區解讀IT產業最權威的專家。吳軍博士著有《浪潮之巔》《數學之美》《大學之路》《文明之光》《智能時代》《見識》《態度》和《全球科技通史》等多部暢銷書,並多次獲得包括文津獎、中國好書獎、中華優秀出版物在內的圖書大獎。
  • 大學生學數學不容錯過的《數學之美》
    《數學之美》帶你領略以上算法的美!給大家推薦一本書,《數學之美》,29章,用具體例子講述了數學的美,化繁為簡,普渡眾生!如果你聽說過吳軍這個人,知道他曾經寫過一本大作,叫做《浪潮之巔》,那你一定是一位有情懷的程式設計師,一位有著創業改變世界夢想的偉大程式設計師。對程序編寫有一定基礎的人,很容易理解程序到最終都是數學這句話。那你一定不能錯過《數學之美》。
  • 吳軍《數學之美》,為什麼抄襲文章會被識破?原來數學原理是這樣
    在《數學之美》中,吳軍在第16章重點談到了網絡下載,為了防止重複下載同一個網頁,需要對每個網頁進行特徵標記。這個原理也進一步擴展到了網絡作品反抄襲上。那麼為什麼抄襲的文章會被系統識破?它的數學基礎和邏輯原理又是什麼呢?
  • 吳軍:《數學之美》中的密碼學原理,古代密碼學和現代密碼學
    在《數學之美》的第17章,吳軍由於很喜歡電視劇《暗算》的構思和演員的表演,給我們科普了密碼學原理。密碼學聽起來很神秘,也比較有趣,那麼密碼學原理究竟是什麼?古代密碼學和現代密碼學又有什麼區別呢?以上四種密碼體制,既可單獨使用,也可混合使用 ,以編制出各種複雜度很高的實用密碼。02古代密碼學古代密碼學是推理時代的密碼學,其理論基礎採用的是邏輯推理,具有很強的規律性。在我國和歐洲古代都有相關記載。
  • 什麼是精準大數據?有什麼作用?
    大數據(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。精準大數據,是一種依靠國內通信運營商的海量數據以及大數據的處理能力,在能確保用戶數據隱私安全的前提下,通過對數據的深入挖掘、對行業的深度研究、對渠道的資源整合,為各類企業客戶優化營銷策略,提供營銷渠道,達到降低營銷成本,提高營銷效果,增強市場競爭力的目的。精準大數據,是通過線下真實場景來採集消費者信息從而構建數據屬性標籤。
  • 三本書,讓你讀懂數學之美
    而在《數學簡史》的作者蔡天新看來,數學與科學、人文的各個分支一樣,都是人類大腦進化和智力發展進程的反映。它們在特定的歷史時期必然相互影響,並呈現出某種相通的特性。☆ 數學與不同文明之間的關係是什麼?☆ 文藝復興的藝術與幾何學為什麼緊密相連?☆ 工業革命與微積分、法國大革命與應用數學之間的關係是怎樣的?
  • 大數據思維養成從認識大數據的本質開始
    事實上,人生就是由一系列或大或小的不確定性事件構成的。婚姻選擇有著極大的不確定性。一對相愛的男女是否應該接受對方成為自己的終身伴侶,這是一個重大選擇。這個選擇的後果是什麼?是幸福的遠航,還是痛苦的開始?這有很大的不確定性。為了極小化這種不確定性,青年男女往往需要一場死去活來的戀愛,以便充分暴露雙方的優點和缺點,以減少未來婚姻中的不確定性。但是,無論你如何了解,這種不確定性仍然存在。
  • 大數據到底應該如何學?大數據生態圈技術組件解析
    下面是食用須知:本文適合還不十分了解大數據的你,同樣適合不確定要不要學習大數據的你,將帶你了解行業的需求以及與之相關的崗位,也同樣適合剛剛踏入大數據領域工作的你,歡迎收藏並將文章分享給身邊的朋友。筆者從事大數據開發和培訓多年,曾為多家機構優化完整大數據課程體系,也為多所高校設計並實施大數據專業培養方案,並進行過多次大數據師資培訓、高校骨幹教師學習交流,希望自己的一點粗淺認識能夠幫助到大家。 本文並不是要將大數據描述成一個萬能的、可以解決所有問題的東西,而是客觀的闡述其作用,能夠解決的一些問題。希望將這一領域儘可能完整的介紹給你,至於如何選擇需要根據自己的實際情況來決定。
  • 大數據分析在智慧物流有什麼作用?
    導讀 隨著大數據時代的到來,雲計算和大數據技術通過大規模的物流數據挖掘新的商業價值,加速了對物流業的滲透,物流之爭在一定程度上逐漸演變為大數據技術之爭。
  • 如何看待家禽生物統計學和大數據
    與會代表們得知,從孵化場和飼料供應商到養殖戶和獸醫,最終到屠宰廠,各個層面均可獲取數據;只要收集它們,而後綜合,就能進行有意義的分析。整合到資料庫,通過解析,家禽生產數據可為有訪問權限的養殖戶和其他任何利益相關者提供具有洞察力的見解。這些經過處理的數據有三大主要用途:改善生產、制定獸醫指導綱要和科研項目合作(例如與政府、大學或製藥公司)。
  • 大數據時代,數據分析師的報考條件是什麼?
    那麼什麼是大數據,大數據時代,數據分析師的報考條件是什麼呢?大數據時代什麼是大數據?圍繞數據,人類已經做了很多數據科學的研究和應用工作,其中最為基礎的就是數據的存儲、傳輸。數據的價值在於數據上承載的信息,信息的價值在於消除不確定性的成本及其直接和間接的作用,而這一系列的價值使得我們對數據的價值予以空前的重視。什麼是數據分析師?
  • 大數據開發和大數據分析有什麼不同?
    大數據分析工程師和大數據開發工程師分別能做什麼?通俗解釋開發和分析非要把他倆分開的話,一個是偏向於數據,一個偏向於工程。好比要炒個菜,工程師是燒火、墊勺的那個,偏向於工具的使用。分析師是放調理、掌握火候的那個,偏向菜怎麼做好吃。數據影響生活數據越來越多的影響並塑造著那些我們每天都要交互的系統。
  • 數學教輔也分男女?借「大數據」強化性別差異,不如反思差異何以形成
    新京報:你怎麼看待華東師範大學根據大數據研究,為男生女生推出不同數學教輔的做法?首先,該教輔基於的大數據分析是否科學?周憶粟:大數據是當下的潮流。有了大數據的加持,出版商們更有底氣。這種大數據的挖掘,也許會有一些商業價值,能產生一個賣點,但並不算是嚴謹的科學研究。大數據不是研究者或書商的免罪金牌,更不應該是讓我們盲從的黑箱。首先數據不是越多越好。在男生女生的學習是否存在差異這個問題上,你可以有很大的數據,但是它並不回答核心的問題。研究者永遠要問的是:大數據是如何產生的?
  • 數學手抄報:《數學之美》
    在網上看到有人推薦吳軍博士的《數學之美》,儘管我從事社會科學研究,但對數學的推崇一直如此,所以買來一讀,我的真切體驗正如吳軍博士在書的後記中所說,把自己「境界提升了一個層次」。  那麼,對我而言,到底提升了什麼境界呢?
  • 農業大數據是什麼?農業大數據在智慧農業中有什麼作用?
    義田幫手智能化農場管理平臺  農業大數據是什麼?  結合農業本身特點以及農業全產業鏈切分方式,農業大數據可以分為四類:農業環境與資源大數據、農業生產大數據、農業市場和農業管理大數據,基本囊括從產到銷全過程。農業大數據由結構化數據和非結構化構成,包括土地信息數據,如土地位置、地塊面積、海拔高度等;環境信息數據,如氣象數據,土壤水分數據,溫溼度數據等等;作物信息數據,如作物長勢數據,病蟲害數據等等。
  • 數學教輔也分男女?借大數據強化性別差異,不如反思差異何以形成
    假設差異存在,針對男生、女生的兩套數學教輔又是否必要?針對這些問題,新京報近日採訪了澳門大學教育學院副教授周憶粟。在他看來,這種大數據分析,也許會有商業價值,卻不能算作嚴謹的科學研究。性別差異確實客觀存在,但比起聚焦於兩性究竟有何差異,更重要的是思考差異從何而來,我們又該如何面對差異。