本文全長3000字,閱讀需要6分鐘。(本文來自《管理世界》雜誌微信公眾號)
《管理世界》2021年第2期發表文章《 「大數據—小數據」問題:以小見大的洞察》。 基於一系列的研究,圍繞如何通過小數據反映大數據語義內容這一核心,提出了「大數據—小數據」問題。閱讀全文可查閱《管理世界》 2021年第2期,第203-213頁。摘要:在數字經濟時代,基於數據的管理決策變成了新的決策範式,並為管理實踐賦予了創新源動力。把握決策範式轉變機遇的一個重點是如何利用大數據這種新興的生產要素,通過大數據賦能以提升管理決策的水平。然而,當大數據可能為決策提供全局視圖的同時,在很多應用場景中,出於數據的可獲性以及成本、時間的限制,乃至人們的認知能力、閱讀心理等相關因素的影響,人們所面對和能夠直接處理的數據往往是有限的、部分的(即小數據)。針對這種決策信息的不對稱性,本文基於一系列的研究,圍繞如何通過小數據反映大數據語義內容這一核心,提出了「大數據—小數據」問題。進而,從語義反映的「代表性」、「一致性」、「多樣性」的視角出發,系統性地梳理和闡釋了這一問題的科學內涵、求解路徑、實踐意義和管理啟示。通過「大數據—小數據」問題提煉而成的以小見大的洞察,可以為數據驅動的決策和創新性價值創造開拓廣闊的空間。
關鍵詞:「大數據—小數據」問題,語義反映,管理決策
一、本文研究背景與意義
隨著大數據、人工智慧、移動互聯等新興科技與社會經濟生活的深度融合,數字經濟正逐漸成為一種重要的經濟形態。以科技創新為核心動力的數字經濟的發展,在數字空間重構了經濟社會活動和管理決策場景,同時也催生了大量的數據,例如,線上購物中的消費者偏好、社交網絡上的富媒體內容動態、共創環境下的價值創造活動、平臺生態圈內的參與者行為、虛擬化生產中的數字組裝日誌、智能交通中的時空軌跡、用戶直連製造(C2M)中的需求訂單、交易市場支付結算的數字貨幣等等。與土地、勞動力、資本、技術等傳統要素一樣,數據也成為了一種重要的生產要素,進而使得大數據賦能成為了產業創新和管理決策的基礎性驅動機制。在此背景下,大數據決策範式作為新型決策範式應運而生。大數據擴大了人們以全景和細粒度的方式觀察現實世界全貌的可能性,從而使人們能夠在決策過程中全面了解當前事物。但是,在許多情況下,由於數據可獲性、成本、時間、能力和心理因素等各種原因,人們經常僅能接觸到有限且部分的數據(即小數據)。換句話說,儘管人們希望對大數據有一個全局的了解,但是可能常常不得不依靠他們可以掌握或處理的小數據來進行決策。顯然,此時的決策質量在很大程度上取決於小數據的質量,這裡,小數據的獲取過程如同「成像」過程(例如使用成像算法和設備),成像效果直接影響著人們對大數據的認識。在決策過程中,人們希望通過成像獲得的小數據可以還原大數據的「真容」。在此,大數據與小數據之間的差異就引出了決策信息不對稱性問題。為解決這種不對稱性,本文從語義反映的角度提出「大數據—小數據」問題,尋求「以小見大」的洞察,幫助人們獲得良好的小數據映像。毋庸置疑,在個人、組織及政府的各級決策中,解決這一問題對學界、業界和政界都具有重要意義。首先,如果無法很好地從小數據中捕獲對於大數據的洞察,則不對稱的大小數據可能會誤導決策者,造成決策者對大數據「霧裡看花」的錯覺。也可能無法通過小數據對大數據的全貌形成有效的反映呈現,容易造成「盲人摸象」的殘缺和局限。其次,數據作為重要的生產要素,隨著其規模的指數性增長,要素效率問題受到關注。而「大數據—小數據」問題的提出和求解則可以優化數據要素的使用效率,提升數據在數字空間中的核心價值。再者,「大數據—小數據」問題在更為複雜多樣的環境中可能具有其它形式和類型,探究「大數據—小數據」問題將進一步拓寬大數據驅動的決策科學的創新空間。二、主要內容
本文提出了大數據決策中的一個重要問題,即「大數據-小數據」問題。這一問題是指在給定大數據集合的情況下,找到具有特定規模的小數據子集,以使小數據的語義儘可能接近地反映大數據的語義。也就是說,「大數據—小數據」問題是在「語義反映」的意義上,尋求獲得小數據使其語義與大數據語義儘可能相近。進而,本文圍繞小數據如何代表性反映、一致性反映和多樣化反映大數據的語義來討論「大數據—小數據」問題的3種類型。具體而言,代表性語義反映是一種體現顯式語義特性的「大數據—小數據」問題,這種反映通常是在原生事實的層面上,通過數據實例之間的相似性以內容覆蓋的形式來表示。例如,當需要從所有搜索結果中瀏覽一小部分條目時,當需要從所有企業博文中讀取一小部分文章時,當需要從所有客戶反饋中閱看一小部分評論時,當需要從所有輿情專報中審視一小部分報告時,……,林林總總,人們遇到了依據小數據認識全局進行決策的情形。此時,小數據通過部分具體的數據實例內容來反映大數據整體的數據實例內容。一致性語義反映是一種體現隱式語義的「大數據—小數據」問題。這種反映通常是在間接模式的層面上,通過相關屬性上的數值分布來表示。例如,在線上購物環境中,消費者可以在閱看一小部分產品評論後就可以掌握全體評論中對產品不同屬性的情感極性分布情況,從而避免產生有偏的購物決策。其它場景還如企業口碑的詳略畫像、受眾聲音的宏微聆聽、媒體報導的點面呈現、政策分析的繁簡要義等等。此時,語義反映強調小數據集合在特定屬性特徵上的取值模式與大數據集合的一致性。多樣性語義反映同樣也是一種體現隱式語義特徵的「大數據—小數據」問題,這種反映通常也是在間接模式的層面上,通過分組的信息熵以結構覆蓋的形式來表示。例如,人們可以在瀏覽新聞過程中知曉多角度的報導,可以在競品搜索時獲取到更加豐富的選擇,也可以在政策制定時考慮各類人群及其訴求,等等。此時,語義反映側重小數據集合反映大數據集合的類別多樣性,即體現大小數據集合語義在類別結構上的相近性。在作者團隊一系列研究的基礎上,本文在最後針對上述3種不同類型的「大數據—小數據」問題,給出了相應的優化解決方法,並概述了這些方法的基本思路、優勢以及管理決策效果。三、主要結論與政策建議
本文針對決策信息在大小數據間的不對稱性,提出了「大數據—小數據」問題,並從「語義反映」的角度定義了相關概念的科學內涵。同時,圍繞代表性、一致性和多樣性,闡釋了「大數據—小數據」問題的3種類型,並給出了相應的領域情境、問題複雜性和可能的求解路徑。在數字經濟環境中,對於「大數據—小數據」問題的重視和解決程度既關乎著數據要素的有效利用,也影響著大數據決策和賦能的效果。所以,對於學界、業界和政界來講,相應的學術研究探討、企業數位化轉型、政策決策和治理等領域需要進一步加強大數據決策思維,鼓勵「大數據-小數據」問題求解的方法創新和使能創新。四、邊際貢獻與未來拓展
本文的主要貢獻旨在通過定義和求解「大數據—小數據」問題揭示大數據決策中存在的信息不對稱性。通過小數據反映大數據,進而實現「以小見大」的洞察,對基於數據進行科學決策具有重要意義,也是對數字經濟中數據要素的更深度發掘。在數字經濟中,隨著數據要素和數智化作用的日益顯現,也將出現更多的「大數據—小數據」問題的應用場景和有效實踐。進一步的研究拓展可在本文的基礎上,繼續探索在新場景下「大數據—小數據」問題的建模、求解及其賦能的不同形式,洞察和解構大數據中的深層次語義,提升大數據驅動的管理決策和價值創造水平。