大數據是當前較為火爆的一個詞彙,究竟什麼是大數據、大數據的概念是怎樣的?大數據有哪些特質,大數據有哪些技術方面的要求,大數據對當前社會產生了哪些重要的影響?
國內知名大數據專家、中科院計算所博士、職品匯創始人龔才春博士對此做了詳盡的分析,他指出:「從常規定義來講,大數據就是大小超出常規資料庫工具獲取、存儲、管理和分析能力的資料庫,並且也強調,不是說一定要超過特定TB的數據集才是大數據。這個定義並沒有詮釋什麼是常規的資料庫工具,也沒有詮釋大數據與數據量的關係,是一個比較原始的大數據定義。」
而國際數據公司(International Data Corporation,簡稱IDC)則從四個特徵定義大數據:數據規模龐大(Volume)、數據更新頻繁(Velocity)、數據類型多樣(Variety)和數據價值巨大(Value)。
龔博士認為,在上述四大定義的基礎上,一般偏向於再加上數據處理複雜(Complexity),構成相對完整的大數據的定義,這就是大家耳熟能詳的4V+1C。
1.數據規模龐大(Volume)
當數據規模很小時,屬於傳統的「小數據」時代的問題,已有非常成熟的數據存儲、計算、分析、呈現方案,數據模型也有非常多的研究。大數據必須是規模異常龐大的數據,只有當規模龐大時候,才有新的研究價值。
前面已經提到,大數據的大,不是說一定要超過特定TB的數據集才是大數據。由於計算能力、存儲能力、分析能力的有限,現在看起來很簡單的問題,在歷史上可能都是大數據的問題。遼瀋戰役中,司令員林彪對戰報要求很細,包括每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少;槍枝、物資多少……一天深夜,值班參謀正讀著一份某師上報的戰鬥繳獲報告,那是該師的下屬部隊偶然碰上的一個不大的遭遇戰,他們殲滅了一部分敵人,繳獲了一些戰利品,敵人餘部逃走。林彪聽了匯報後,立即口授命令,全力追擊從胡家窩棚逃走的那股敵人,一定要把它徹底打掉。果然活捉了國民黨新編第六軍軍長廖耀湘。這些數據在今天看來,規模非常非常小。但在當時這已經是「大數據」了,林彪懂得分析數據,從繳獲中手槍和衝鋒鎗的比例準確判斷出敵方的指揮部在胡家窩棚,這也算是大數據分析的魅力。
2.數據更新頻繁(Velocity)
我們知道摩爾定律揭示了處理器分析能力與時間的關係,也就是說,每隔18個月左右處理器的分析能力翻一番。對於一個靜止的數據集,哪怕今天我們的處理器無法處理,存儲器不好存儲。隨著技術的進步,未來可能變成非常容易處理,就像我們現在看著當年林彪分析戰報一樣,這些戰報數據的處理今天已經變得非常非常容易了,在今天已經不算「大數據」了。
大數據技術,要求我們更多地想出「巧妙」的分析辦法,提成更「優秀」的處理模型,而不能只依賴存儲能力、處理水平、網絡帶寬等硬體設備的性能改進。所以大數據技術,對分析對象要求是頻繁更新的數據集
3.數據類型多樣(Variety
傳統的關係型資料庫,無論從理論上,還是在應用上都非常成熟了。關係型資料庫一般保存格式固定、類型單一的數據,幾十年的資料庫理論、數據挖掘、數據倉庫的研究,已經有相當多的研究成果。
大數據要求我們的分析對象是異構、異質的數據集,可能包括文本、音頻、視頻等多種形式,也可能是結構化、半結構化的或無結構的。
4.數據價值巨大(Value)
如果數據沒有價值,我們就沒有分析的必要。因此,大數據要求我們處理的數據集是有巨大商業價值或社會價值的。阿里巴巴願意花巨大代價提高推薦系統的準確性,就是在於其推薦系統的準確率的提高,能大大提高平臺的交易量,從而具有非常巨大的商業價值。我們在全國部署「天眼」系統,提高大數據技術在天眼系統的分量,就是因為天眼系統分析能力的一小步提升,都能在降低犯罪率、打擊犯罪、保障人民群眾安全、信用取證等方面都有巨大的社會價值。
在Value這個層面,我們除了要求價值巨大外,我們一般會增加一點要求,那就是價值密度極低。我們常說,大數據是一個「金礦」,金礦就包含兩個方面的含義:一方面,黃金很值錢,金礦很有價值;另一方面,金礦不是金庫,幾萬頓的礦砂,也許只有幾十公斤黃金,也就是說金庫的價值密度是非常低的。大數據的價值方面的含義,也要求價值密度非常低。如果數據集中每一條數據都是非常有價值的,那也就無所謂「挖掘」了,沒有挖掘,大數據的意義也蕩然無存了。
5.數據處理複雜(Complexity)
IDC公司的大數據只有4V的特徵,我們一般偏向於增加另一個維度的要求:數據處理複雜。例如,統計中國人口的平均年齡,這個數據量是非常龐大的,有接近14億條記錄;這個數據也是動態更新的,每年都有幾千萬人出生,幾千萬死亡;這個數據集也可以是多樣的,湖南的數據可以放在mysql中,湖北的數據可以在oracle中,北京的數據可能在Txt文件中,上海的數據可能在Word文檔中;這個數據集和這個分析都是有價值的,但是平均到每一條數據,價值又非常有限。也就是說,這個問題是符合4V特徵的,但是這個問題怎麼看都「太簡單」了,年齡加起來求平均即可,不能成為真正意義上的「大數據問題」。
北京誠智匯達信息科技有限公司成立於2014年10月,是國內領先的職場大數據徵信服務提供商。我們通過整合權威部門數據、合作夥伴數據、網際網路採集數據、用戶註冊
數據等,挖掘候選人在基本信息、教育背景、工作經歷、工作能力、薪酬福利、職業道德、犯罪記錄、失信記錄等方面的信用狀況,生成從業者的信用報告,為獵頭、
HR、投資機構、金融機構、業主提供決策支持,提升人力資源管理效率,淨化我國職場環境,提高社會道德水平,降低投融資的信用成本,促進我國經濟發展。
我們的使命是「讓天下沒有欺騙」。通過完善職場各方的數據,建立我國9.8億從業者的職場信用體系,徹底解決職場誠信問題。
職品匯是我們的品牌,目前我們已經開發了大數據背景調查、職場黑名單、人才地圖、虛假簡歷識別、職品人才庫、獵頭管理SaaS系統等,並且逐步向社會開放我們的
研發能力,提供簡歷解析、精準匹配、尋訪記錄挖掘、LIST識別等工具。
作為我國成立最早、團隊最完善的職場大數據徵信公司,我們採集並整理了中國最龐大的人力資源資料庫,服務萬科、衛計委等500餘家企事業單位,是平安集團、用
友、北森等知名企業的戰略合作夥伴。