科技項目:社會網絡大數據分析系統

2020-12-04 嘿科技時代

1成果簡介

社會網絡已經成為覆蓋用戶最廣、傳播影響最大、商業價值最高的Web2.0業務,在世界範圍內,最著名的社會網絡代表是Facebook、Twitter,用戶量分別達到12億、5億;國內使用人數最多的社會網絡工具是新浪微博和騰訊微博,其中新浪微博用戶達到5億,騰訊微博用戶超過8億。社會網絡中的巨大用戶群每天產生海量的用戶數據、關係數據和信息數據,若能夠對海量數據進行準確、及時的分析,則會在精確營銷、輿情探測以及網絡安全等方面創造巨大價值。然而由於社會網絡的大數據特性以及分析方面要求準確、及時,目前缺乏融合多項社會網絡分析技術的、成熟的社會網絡大數據分析系統。

社會網絡分析技術是一項關鍵技術,也是一項熱門的研究,涵蓋了社會學、人類學、社會語言學、地理、社會心理學、通信研究、資訊科學、社會網絡分析與探勘、組織研究、經濟學以及生物學等多個領域,是一項多學科交叉技術。社會網絡大數據分析系統要求具有堅實的數據支撐,即數據獲取全面、更新及時、獲取數量大,也強調多維度、多粒度的分析手段相結合,並對分析速度、可視化以及人機互動等方面都提出很高的要求。

基於上述現狀和挑戰,在國家科技支撐項目的資助下,實現基於新浪微博、Twitter等主要社會網絡交流工具的大數據分析系統,系統完成從數據獲取、數據預處理、數據存儲、消息中心、數據分析、結果可視化展示的閉環處理流程,支持多種社會網絡(Twitter、新浪微博等)的數據實時、不間斷獲取,獲取數據量在國內外同研究領域處於領先地位;實現整體、個體、群體以及事件的多層次、多粒度分析模式;同時具備良好的人機互動操作界面以及優秀的分析展示效果。

系統的特點如下:

多手段數據獲取模式融合:採用網絡流量分析、API/非API爬蟲、元搜索以及增量式爬蟲等多手段數據獲取模式相結合的方式進行數據實時、不間斷獲取,保證數據獲取全面、更新及時、獲取量大;多維度、多粒度數據分析手段結合:系統對社會網絡整體、個體、群體、事件四個維度的對象進行分析,並結合基礎分析、深度挖掘的多粒度分析手段共同完成社會網絡的數據分析;多種關鍵技術支撐:系統融合機器學習、分布式並行處理、數據挖掘、自然語言處理等多種關鍵技術,共同保證系統各項功能的穩定、快速實現;優秀的分析展示效果和友好的人機互動操作:藉助Gephi工具進行群體、事件等分析效果的可視化展示,可視化效果清晰;操作便捷,實現用戶與系統、系統與資料庫的無縫連接。

上述優點表明該系統能夠實現從數據獲取、數據預處理、數據存儲、消息中心、數據分析、結果可視化展示的處理流程,達到完善的功能實現目標和優秀的系統運行效果。查新表明,國內外目前尚未發現有如此功能全面與性能優越的社會網絡大數據分析系統。

性能參數:

能有效獲取社會網絡平臺的用戶數據、關係數據和信息數據,獲取覆蓋率不低於85%;分布式爬蟲支持不少於10個節點,分布式資料庫支持不少於5個節點;資料庫讀/寫操作不少於並發1000次,數據預處理效率不小於1000條/秒;數據存儲規模不小於7TB;熱點信息(個體、群體、事件)發現準確率不低於75%,關鍵路徑發現準確率不低於75%;熱點話題發現準確性不低於80%,傾向性言論的發布主體發現準確率不低於75%;信息傳播壽命預測準確率不低於80%。

2應用說明

2013年9月,利用社會網絡大數據分析系統進行數據獲取以來,獲取Twitter用戶數據2.2億,用戶關係數據11.5億,推文1.2億,目前數據量仍處於不斷高速增長階段;著重獲取社會網絡上中國人全集的數據,主要採用基於用戶屬性、用戶關係、用戶信息3層過濾機制,通過特定團體獲取方式進行獲取,中國人用戶數據達到63萬,用戶關係數據510萬,推文數據1740萬,目前中國人用戶數據已趨於穩定,推文數據仍處於快速增長階段。在獲取到的數據基礎上,對網絡中個體、群體、事件以及整體進行基礎分析以及深度挖掘,能夠快速識別關鍵個體、關鍵群體、熱點信息、熱點話題,並實現對信息、話題的情感分析、趨勢預測等功能,同時也保證分析效果優秀的可視化展示。

3效益分析

由於目前國內外尚無同標準產品,而社會網絡大數據分析的需求比較迫切,因此本系統具有較大的推廣空間。本系統價格每套150萬元。而本系統數據積累深厚、運行穩定、分析功能全面、處理速度快、響應時間短。總體上,系統成本低、功能全、速度快,運行費每月在3000元左右,具有明顯的經濟和技術優勢。

嘿科技時代經過多年的探索和實踐,我們與科技,金融,人才等機構建立了良好的關係。探索了技術轉移過程中技術供方和需方的不同角度之間的矛盾,致力於建立雙方良好的溝通機制,提高技術轉移效率,全面推進社會科技水平的提高。您也可以訪問嘿科技時代網站了解更多項目內容。

相關焦點

  • 社會網絡分析在數據新聞領域的應用
    社會網絡分析是對事物間關係深入研究的分析方法,可通過數據可視化方式來對事物之間或人物之間的關係加以表達。本文介紹社會網絡分析及數據新聞的概念,探討社會網絡分析在數據新聞中的應用,以期為數據新聞工作人員提供一定的參考。
  • 「學而」講壇:空間社會網絡分析
    美國肯特州立大學計算社會科學實驗室創始主任葉信嶽教授為交大師生帶來一場主題為「空間社會網絡分析(Spatial Social Network Analytics)」的講座。本次講座由人文社會科學學院、實證社會科學研究所、西安交通大學教務處、國家大學生文化素質教育基地聯合舉辦。
  • 相數科技連續中標大數據相關項目
    近日,在公司項目團隊的努力下,相數科技喜訊不斷,一個月內先後在中移(杭州)家庭業務數據指標體系大屏可視化採購、成渝地區城鎮化監測平臺研究及應用(軟體開發部分)和北京區域次公裡尺度高解析度數值預報能力建設等項目中一舉中標,涉及通信、規劃、氣象等多個領域的大數據項目。
  • [公告]中海達:併購都市圈網絡科技有限公司的項目可行性分析報告
    [公告]中海達:併購都市圈網絡科技有限公司的項目可行性分析報告 時間:2013年01月15日 09:45:29&nbsp中財網 併購都市圈網絡科技有限公司的 項目可行性分析報告 廣州中海達衛星導航技術股份有限公司 2013年01月目 錄 前 言 ..........................................
  • 中遠網絡物流信息科技有限公司:中國航運大數據
    (二)建設內容本項目的主要運用網際網路+大數據方法論,以實現航運業同網際網路的完美結合為目的,解決在大數據時代航運業的大數據管理平臺的短缺,通過對應的管理平臺對客戶及公司關注的部分用以直觀的、簡潔的、具體的表現形式,呈現出來。讓管理層能夠更方便的做出跟精確的計算,乃至具體業務調整。建設內容如下:1.
  • 淺談社會網絡分析方法在稅收分析中的應用
    簡單地說,社會網絡分析就是對網絡中行動者間的關係進行量化研究的方法。    自Barnes(1954)首次利用社會網絡的概念來分析挪威某漁村的社會結構以來,時至今日已成為研究人際互動行為及社會結構最明朗、最具說服力的分析方法之一。在國外,社會網絡分析已被廣泛應用到眾多領域。
  • 人工智慧算法、大數據應用分析……為何這些To B項目還有機會?
    路演環節,4位項目負責人依次上臺,通過10分鐘的項目闡述及15分鐘的線上線下投資人提問環節,為我們充分展示了人工智慧算法、大數據應用分析、智能醫美系統、酒店民宿管理系統等熱門領域的創新技術產品。投資人就核心技術支撐、獲客成本及途徑、盈利模式等方面的企業經營發展問題與各項目負責人展開交流。接下來我們就來看看本期路演的項目情況吧!
  • 大數據背景下的生態系統觀測與研究
    隨後催生了長期生態學研究網絡(LTER),標誌著生態學領域進入「大科學、大數據」時代。當前區域/全球尺度的網絡化生態系統長期觀測成為獲取大尺度生態信息的重要平臺,如 LTER、英國環境變化監測網絡(ECN)、中國生態系統研究網絡(CERN)等,使得獲取海量、大尺度、多源異構生態數據成為可能。
  • 如何通過網絡數據的獲取,做出這些數據分析項目?
    作者 | AlfredWu 來源 | Alfred數據室 最近有很多人在問,我是如何收集網絡的數據,如何進行數據處理、數據分析以及可視化呈現的。也有人問的更具體,關於Python數據分析的一些問題。到底應該怎麼學?如何快速入門,以及技術和業務之間的瓶頸如何突破?
  • 社會網絡分析與文學研究
    社會網絡分析重點考察社會主體間的關係——因為關係並不屬於社會主體本身,而是依附主體間的聯繫、聯絡而存在。一旦聯繫、聯絡發生變化,關係也就會隨之發生動態變化。觀察關係,量化關係的變化,是社會網絡分析的目的之一。  社會網絡分析之前多應用於社會學、管理學、政治學、經濟學、神經科學、物理學、網絡輿情等領域,近年來開始有學者將其應用於文學研究領域。
  • 數據社會給網絡治理帶來新課題
    作者:中國社科院社會發展戰略研究院研究員 張翼  自工業社會開始,科技就加速進步。在計算機、人工智慧、網際網路與大數據等科技發展的帶動之下,可以預見性地說,中國社會將發生更快的社會變遷和經濟變遷。
  • 【科技日報】開放科學數據,助推科技創新
    「科技數據資源整合與共享工程」涵蓋數據存儲與管理雲服務環境、海量科學數據分析與應用示範、科學數據整合與共享服務等三個子項目,工程著眼於「海·雲」服務思想,開展海量存儲基礎設施服務、海量數據資源共享服務和數據密集型公共支撐服務,全面推進數據環境建設和持續深化數據應用,成為立足中科院,面向科技界,共享開放、服務創新的國家級科技數據中心。
  • 群團組織協作治理:一個社會網絡的分析框架
    [2]由於社會網絡分析研究是關係數據,在量化之外加入了關係互動結構的分析,所以這與群團組織之間的協作關係具有高度的契合。由此,本文運用這一方法對群團組織的協作關係網絡進行研究,描述群團組織協作治理的網絡結構、特徵,突破群團治理單一主體研究的瓶頸,為群團組織改革提供一種新的理論認識視角和實踐參考,推動群團組織整體性協作治理的研究。
  • 網絡大數據時代下重新編制 新型《漢語主題詞表》發布
    多彩貴州網訊(本網記者 楊豔)5月26上午,在2018中國國際大數據產業博覽會上,中國科學技術信息研究所發布了在網絡環境下大數據時代新型《漢語主題詞表》。通過這三種關係,將概念詞彙關聯在一起,形成了《漢表》龐大的知識網絡。通過《漢表》的微觀知識結構,可以將大數據結構化、語義化、規範化。
  • 醫療健康大數據:應用實例與系統分析
    比如,ActiveHealthManagement收集用戶健康方面的數據以幫助用戶實現健康管理;CancerIQ整合臨床數據和基因數據幫助實現癌症的風險評估、預防和治療;CliniCast利用大數據預測治療效果以及降低花費。本文首先介紹醫療健康行業的大數據特點以及大數據技術背景,然後舉例說明目前大數據在醫療健康行業的應用,最後分析目前的醫療健康大數據系統及其相關技術。
  • 大數據發掘微生物「社交網絡」
    數十億年中,微生物形成錯綜複雜的「社會關係」網絡。它們不僅僅是「分解者」,還影響到溫室氣體、綠色生產以及人體健康的方方面面。不久前,浙江大學徐建明教授團隊在《微生物組》雜誌上發表論文,通過分析地球微生物組計劃(Earth Microbiome Project)大數據,進一步發掘全球微生物的「社會關係」。
  • 我國物質主義的研究現狀:基於 CSSCI 的社會網絡分析
    為了揭示國內物質主義的研究面貌和特徵,使同行更好地了解物質主義的研究現狀,本研究擬採用社會網絡分析法進行探討。社會網絡分析(SocialNetworkAnalysis,SNA)是對諸如個體、社會組織等關係實體進行分析的一種研究方法[7]。國內學者劉軍在這一領域頗有建樹,他稱該研究方法為社會關係研究的藝術[8]。
  • 大數據:科技傳播的靈魂
    科技傳播是人類社會科學與技術系統得以產生和存續的基本前提,是科技發展的基本條件,是科技工作者進行科學發現和技術發明的基本支持。科技傳播是包括科技、品牌推廣、大消費等多領域和社會的「血液循環系統」,是人類社會進步的階梯之一。
  • 麗水.項目未來收益數據分析報告豐奧數據
    麗水.項目未來收益數據分析報告豐奧數據履約能力評級|履約能力評級方法,履約能力評級的方法是指對受評客體信用狀況進行分析並判斷優劣的技巧,貫穿於分析、綜合和評價的全過程。
  • 喬治城大學數據科學與分析碩士項目介紹
    數據科學與分析碩士(Master of Science in Data Science and Analytics) 屬於專業碩士項目,課程包括大數據和雲計算,機器學習和深度學習,交互式和複雜可視化方法,高級資料庫,自然語言處理,高等數學和統計建模等。使用的語言包括R,Python和SQL。