【他山之石】陳國青 等:「大數據—小數據」問題:以小見大的洞察丨《管理世界》

2021-02-23 海上能研說

本文全長3000字,閱讀需要6分鐘。(本文來自《管理世界》雜誌微信公眾號)

《管理世界》2021年第2期發表文章《 「大數據—小數據」問題:以小見大的洞察》。 基於一系列的研究,圍繞如何通過小數據反映大數據語義內容這一核心,提出了「大數據—小數據」問題。閱讀全文可查閱《管理世界》 2021年第2期,第203-213頁

摘要:在數字經濟時代,基於數據的管理決策變成了新的決策範式,並為管理實踐賦予了創新源動力。把握決策範式轉變機遇的一個重點是如何利用大數據這種新興的生產要素,通過大數據賦能以提升管理決策的水平。然而,當大數據可能為決策提供全局視圖的同時,在很多應用場景中,出於數據的可獲性以及成本、時間的限制,乃至人們的認知能力、閱讀心理等相關因素的影響,人們所面對和能夠直接處理的數據往往是有限的、部分的(即小數據)。針對這種決策信息的不對稱性,本文基於一系列的研究,圍繞如何通過小數據反映大數據語義內容這一核心,提出了「大數據—小數據」問題。進而,從語義反映的「代表性」、「一致性」、「多樣性」的視角出發,系統性地梳理和闡釋了這一問題的科學內涵、求解路徑、實踐意義和管理啟示。通過「大數據—小數據」問題提煉而成的以小見大的洞察,可以為數據驅動的決策和創新性價值創造開拓廣闊的空間。

關鍵詞:「大數據—小數據」問題,語義反映,管理決策

一、本文研究背景與意義

隨著大數據、人工智慧、移動互聯等新興科技與社會經濟生活的深度融合,數字經濟正逐漸成為一種重要的經濟形態。以科技創新為核心動力的數字經濟的發展,在數字空間重構了經濟社會活動和管理決策場景,同時也催生了大量的數據,例如,線上購物中的消費者偏好、社交網絡上的富媒體內容動態、共創環境下的價值創造活動、平臺生態圈內的參與者行為、虛擬化生產中的數字組裝日誌、智能交通中的時空軌跡、用戶直連製造(C2M)中的需求訂單、交易市場支付結算的數字貨幣等等。與土地、勞動力、資本、技術等傳統要素一樣,數據也成為了一種重要的生產要素,進而使得大數據賦能成為了產業創新和管理決策的基礎性驅動機制。在此背景下,大數據決策範式作為新型決策範式應運而生。大數據擴大了人們以全景和細粒度的方式觀察現實世界全貌的可能性,從而使人們能夠在決策過程中全面了解當前事物。但是,在許多情況下,由於數據可獲性、成本、時間、能力和心理因素等各種原因,人們經常僅能接觸到有限且部分的數據(即小數據)。換句話說,儘管人們希望對大數據有一個全局的了解,但是可能常常不得不依靠他們可以掌握或處理的小數據來進行決策。顯然,此時的決策質量在很大程度上取決於小數據的質量,這裡,小數據的獲取過程如同「成像」過程(例如使用成像算法和設備),成像效果直接影響著人們對大數據的認識。在決策過程中,人們希望通過成像獲得的小數據可以還原大數據的「真容」。在此,大數據與小數據之間的差異就引出了決策信息不對稱性問題。為解決這種不對稱性,本文從語義反映的角度提出「大數據—小數據」問題,尋求「以小見大」的洞察,幫助人們獲得良好的小數據映像。毋庸置疑,在個人、組織及政府的各級決策中,解決這一問題對學界、業界和政界都具有重要意義。首先,如果無法很好地從小數據中捕獲對於大數據的洞察,則不對稱的大小數據可能會誤導決策者,造成決策者對大數據「霧裡看花」的錯覺。也可能無法通過小數據對大數據的全貌形成有效的反映呈現,容易造成「盲人摸象」的殘缺和局限。其次,數據作為重要的生產要素,隨著其規模的指數性增長,要素效率問題受到關注。而「大數據—小數據」問題的提出和求解則可以優化數據要素的使用效率,提升數據在數字空間中的核心價值。再者,「大數據—小數據」問題在更為複雜多樣的環境中可能具有其它形式和類型,探究「大數據—小數據」問題將進一步拓寬大數據驅動的決策科學的創新空間。

二、主要內容

本文提出了大數據決策中的一個重要問題,即「大數據-小數據」問題。這一問題是指在給定大數據集合的情況下,找到具有特定規模的小數據子集,以使小數據的語義儘可能接近地反映大數據的語義。也就是說,「大數據—小數據」問題是在「語義反映」的意義上,尋求獲得小數據使其語義與大數據語義儘可能相近。進而,本文圍繞小數據如何代表性反映、一致性反映和多樣化反映大數據的語義來討論「大數據—小數據」問題的3種類型。具體而言,代表性語義反映是一種體現顯式語義特性的「大數據—小數據」問題,這種反映通常是在原生事實的層面上,通過數據實例之間的相似性以內容覆蓋的形式來表示。例如,當需要從所有搜索結果中瀏覽一小部分條目時,當需要從所有企業博文中讀取一小部分文章時,當需要從所有客戶反饋中閱看一小部分評論時,當需要從所有輿情專報中審視一小部分報告時,……,林林總總,人們遇到了依據小數據認識全局進行決策的情形。此時,小數據通過部分具體的數據實例內容來反映大數據整體的數據實例內容。一致性語義反映是一種體現隱式語義的「大數據—小數據」問題。這種反映通常是在間接模式的層面上,通過相關屬性上的數值分布來表示。例如,在線上購物環境中,消費者可以在閱看一小部分產品評論後就可以掌握全體評論中對產品不同屬性的情感極性分布情況,從而避免產生有偏的購物決策。其它場景還如企業口碑的詳略畫像、受眾聲音的宏微聆聽、媒體報導的點面呈現、政策分析的繁簡要義等等。此時,語義反映強調小數據集合在特定屬性特徵上的取值模式與大數據集合的一致性。多樣性語義反映同樣也是一種體現隱式語義特徵的「大數據—小數據」問題,這種反映通常也是在間接模式的層面上,通過分組的信息熵以結構覆蓋的形式來表示。例如,人們可以在瀏覽新聞過程中知曉多角度的報導,可以在競品搜索時獲取到更加豐富的選擇,也可以在政策制定時考慮各類人群及其訴求,等等。此時,語義反映側重小數據集合反映大數據集合的類別多樣性,即體現大小數據集合語義在類別結構上的相近性。在作者團隊一系列研究的基礎上,本文在最後針對上述3種不同類型的「大數據—小數據」問題,給出了相應的優化解決方法,並概述了這些方法的基本思路、優勢以及管理決策效果。

三、主要結論與政策建議

本文針對決策信息在大小數據間的不對稱性,提出了「大數據—小數據」問題,並從「語義反映」的角度定義了相關概念的科學內涵。同時,圍繞代表性、一致性和多樣性,闡釋了「大數據—小數據」問題的3種類型,並給出了相應的領域情境、問題複雜性和可能的求解路徑。在數字經濟環境中,對於「大數據—小數據」問題的重視和解決程度既關乎著數據要素的有效利用,也影響著大數據決策和賦能的效果。所以,對於學界、業界和政界來講,相應的學術研究探討、企業數位化轉型、政策決策和治理等領域需要進一步加強大數據決策思維,鼓勵「大數據-小數據」問題求解的方法創新和使能創新。

四、邊際貢獻與未來拓展

本文的主要貢獻旨在通過定義和求解「大數據—小數據」問題揭示大數據決策中存在的信息不對稱性。通過小數據反映大數據,進而實現「以小見大」的洞察,對基於數據進行科學決策具有重要意義,也是對數字經濟中數據要素的更深度發掘。在數字經濟中,隨著數據要素和數智化作用的日益顯現,也將出現更多的「大數據—小數據」問題的應用場景和有效實踐。進一步的研究拓展可在本文的基礎上,繼續探索在新場景下「大數據—小數據」問題的建模、求解及其賦能的不同形式,洞察和解構大數據中的深層次語義,提升大數據驅動的管理決策和價值創造水平。

相關焦點

  • 陳國青 等:「大數據—小數據」問題——以小見大的洞察 | 清華經管說
    期發表文章《「大數據—小數據」問題:以小見大的洞察》。基於一系列的研究,圍繞如何通過小數據反映大數據語義內容這一核心,提出了「大數據—小數據」問題。以下,我們分享「管理世界微信公眾號」編發的論文概述,以饗讀者。閱讀全文可查閱《管理世界》2021年第2期,第203-213頁。
  • 清華大學經濟管理學院陳國青:大數據驅動的管理與決策
    清華大學經濟管理學院教授陳國青出席「大數據管理與決策」分論壇並發表題為《大數據驅動的管理與決策研究》的演講,以下為演講實錄。非常高興今天用一點時間跟大家分享一下大數據驅動的管理與決策這個題目。這個題目實際上是講兩件事情。第一個背景非常簡單,還是因為今天上午講的報告偏應用方面的。今天說的是國家研究計劃,有一些偏研究方面的,其中的一些挑戰和自己的一些體會吧。
  • 服務洞察:如何提升企業對客服數據的管理能力?
    企業通過客服獲得消費者「一手數據」,因此「客服數據」的採集、統計、管理非常重要,有助於企業對消費者開展精準洞察、產品與服務分析、口碑監控與預測。客戶服務數據指標(點擊放大)製圖:八爪魚大數據由於企業觸客渠道豐富,客服數據分散在不同的平臺上,但總體可歸為以下兩類
  • 螞蟻金服數據洞察分析平臺 DeepInsight:人人都是數據分析師
    那麼怎樣才能充分運用 BI,實現企業各個崗位對數據的不同需求,降低技術門檻,實現人人都是數據分析師的夙願?螞蟻金服大數據洞察分析產品 DeepInsight 告訴你,原來數據還可以這麼玩。,通過報告和報表幫助業務快速發現問題和定位原因,發揮數據更大的價值。
  • 清華經管教授陳國青在人文清華講壇發表主題演講《大數據:顛覆的...
    【MBA中國網訊】2019年6月10日,清華大學經濟管理學院EMC講席教授陳國青在人文清華講壇發表主題演講《大數據:顛覆的力量》,為大家深度解讀大數據時代和大數據思維,以及大數據帶來的衝擊、挑戰和機遇。
  • 商業洞察需要的是數據思維!
    >商業洞察一直以來都是比較神秘的話題,如何從一堆數據中找到新的商業機會,找到滿足客戶的需求,在市場數據中找到新的機會點,在過去的數據中找到未來的發展趨勢並對未來做出預測,在內部數據中找到內部管理的問題並發現解決問題的方案?
  • 由廣入微,大數據洞察百姓生活
    由廣入微,大數據洞察百姓生活 ——《中國經濟生活大調查》數據報告即將發布 原標題:   中央電視臺大型民生類節目《中國經濟生活大調查》,經過6個月的調查研究,即將發布數據報告,並將陸續出臺與幸福城市、養老、
  • 微軟Power BI:幫SAP用戶發現數據洞察
    每個人都在說,大數據的時代已經到來。面對來源五花八門、格式多種多樣,而且每天都在以TB規模源源不斷湧入數據中心的數據洪流,如何快速、高效、直觀地發現其中隱藏的業務洞察,發現問題,提升效率,推進創新——這正是數位化轉型中的每家企業都不得不面對的問題,也是微軟Power BI的用武之地。微軟Power BI是一套運行於微軟智能雲上的業務分析和數據可視化工具。
  • 大數據的管理思考
    然後評估企業的每一項活動是否強化了客戶對企業的忠誠,是向粉絲轉化,還是不斷離你而去。進而為每一個顧客建立行為模型和針對性的定製產品和服務模型;當然這並不意味著,在企業和管理領域,需要和可以數位化一切、科學化一些,而是將企業運營、管理的藝術面上升到一個更高的層次,一個更廣闊的空間。大數據幫助包括管理在內的科學和藝術空間都得到進一步的拓展。
  • 聯想盛蓓蒂:數位化時代的核心驅動力是數據洞察
    11月20日,由《證券日報》社主辦、中關村大數據產業聯盟獨家協辦的「2020數字經濟領航者峰會——數位化轉型的紅利藍海」在北京召開。數位化轉型是大勢所趨,而數位化的重要一環則是「上雲」。企業如何「上雲」?「上雲」還面臨哪些困難?
  • 數位化轉型與實踐第三彈 | 數據中臺,從數據中洞察業務
    企業面對數位化轉型的萬裡長徵,第一步的選擇總是很難,同樣的問題也曾困擾紫光股份旗下新華三集團。在經過仔細研判之後,新華三將數據中臺作為了自身數位化轉型的起點。因為它擁有統一的數據平臺和數據服務,千萬種數字應用均可在這個架構中展開,從而實現以數據為驅動的精細化管理,提升公司運營效率。眾所周知,數據是未來企業發展與業務變革的核心動力。
  • 觀數臺數卡:開啟全場景數據洞察新模式
    大數據時代,越來越多的企業將數據視作企業新的生產要素,其蘊含的價值也日益凸顯。商業智能(BI)作為企業級數據分析軟體,能幫助企業挖掘數據價值、整合數據孤島、實現數據驅動決策,已成為企業實現精細化運營不可或缺的一部分。
  • 大數據及大數據的4V特徵
    維基百科對「大數據」的解讀是:「大數據」(Big Data),或稱巨量數據、海量數據、大資料,指的是所涉及的數據量規模巨大到無法通過人工,在合理時間內達到截取、管理、處理、並整理成為人類所能解讀的信息。
  • 如何解決大數據的轉換和管理問題
    打開APP 如何解決大數據的轉換和管理問題 愛極客 發表於 2019-10-20 10:10:28 隨著大數據上升為國家戰略,大數據產業發展對經濟社會的價值和影響得到廣泛認可,大數據技術逐漸滲透到各行各業,成為重要的生產要素和戰略資產。
  • 大數據人力資源管理的實踐與探索 - 中國稅務網
    稅務系統順應時代浪潮,探索大數據時代的人力資源管理新模式,開啟了數字人事改革試點。本文從當前稅務系統開展數字人事試點的實際情況出發,分析當前數字人事試點中面臨的問題,並對稅務系統探索大數據人力資源管理提出相應的對策建議。
  • 牧場數據:想大做小
    在推進畜牧決策支持工具的發展方面,數據的收集、整合和分析是不可避免的推動因素。在牧場和動物層面,數據是幫助奶農做出準確且可靠決策的管理工具。然而,為了在收據收集和分析方面取得優異的成績,一些關鍵問題還需進一步討論。隨著牧場可應用的技術越來越多,大數據的收集所需投入的成本微不足道。
  • 大數據是怎樣的一個存在
    之所以用如此長的篇幅來闡述搜索的意義,無非是想要回答這樣一個問題:記憶和聯想是大腦最重要的兩種思維方式,記憶是網際網路的優勢所在,聯想的路徑是什麼?這也就引出了搜索大數據的價值,即洞察、預測、研判…… 畢竟搜索作為網民的「意圖資料庫」,當然可以根據某一專題搜索大數據的的漲跌,預測下一步的市場走勢。
  • 從大數據到小數據,數據之坑與美 - 大數據_CIO時代網 - CIO時代...
    大數據的力量與陷阱    大數據的多樣性,給大數據分析帶來了龐大的力量,但這個多樣性也帶來了大數據的陷阱,下面我們就聊聊這個話題。    2.1 大數據的力量    很多小概率、大影響的事件(即黑天鵝事件),在單一的小數據環境下,很可能難以發現。但是由「八方來客」匯集而來的大數據,卻能有機會提供更為深刻的洞察(insight)。
  • 大數據行業洞察:未來2-3年或迎數據時代的真正高潮
    無論是數據積累的量變到質變,還是數據到認知層面的過渡,大數據已經開始在一些特定領域和場景下為客戶解決實際問題,創造價值。本期數據俠專欄,數據俠中關村老李將從產業鏈、市場、誤區、挑戰四個部分對大數據市場現狀以及下一步的發展提出自己的觀點與洞察。
  • 2018年趨勢洞察:人工智慧、物聯網、大數據…
    原文翻譯:物聯網(IoT)的擴張已經把數不勝數的大數據新來源添加進了數據管理的版圖,它將成為2018年及若干年之後主要的大數據趨勢之一。筆記本電腦、智慧型手機、傳感器,都為物聯網帶來了大量數據。這是獲得競爭優勢(或者保持競爭力)的重大機遇,前提是企業足夠靈活,可以管理好數據並把數據變成有用的商業智能。