2016:文本分析、情感分析和社交分析的10大趨勢

2021-02-13 新智元

InfoQ(ID:infoqchina)授權轉載

作者:Seth Grimes


文本分析、情感分析和社交分析幫助你在一定規模上轉化成客戶、病人、公眾以及市場的「聲音」。這項技術目前大量地應用於一系列的工業產品中,從醫療健康到金融、媒體、甚至客戶市場。它們從線上、社交網絡、企業數據源中提取商業洞察力。

目前分析技術發展得還是相當不錯的,儘管在某些領域,例如數字分析和市場研究有些稍稍落後。但是甚至是在例如「客戶體驗、社群聆聽、用戶交互」方面,還是有很多發展空間。這個快速發展的市場空間無論對於新加入的玩家還是深耕已久的資深人士都意味著大量的機遇。

隨著技術和應用不斷融合,與其獨立地檢驗每個分析領域,還不如好好地觀察整體的效果。忽視情感的社交分析是不完整的,並且為了從網絡上獲取社交情感數據並調查情感數據,我們真的需要文本分析技術。

本文對即將到來的2016年,針對文本分析、情感分析和社交分析的發展趨勢進行一個前瞻性的觀察。

儘管單純英文的文本分析一直保持常態,但僅將一種語言做好,也比囊括很多種語言,卻哪種都做得潦草要強得多。機器學習和機器翻譯已經向著多語種文本分析邁進了一大步,使其成為一個全新的標準。但是如果你的確需要做多語種的開發嘗試,事先也要做一些調查:很多開發者在其核心語言上很強,但在別的語言上就很弱了。所以說選擇的時候還是小心一點。

文本分析能力對於客戶體驗、市場研究、客戶洞察、數字分析乃至媒體評測來說都是關鍵解決方案,各個文本分析服務提供商在分析能力的優勢上不斷競爭。總的趨勢是「量化定性」,文本分析被納入業務解決方案中是十分重要的事。

明天是屬於機器學習、遞歸神經網絡以及相似技術的,但是今天,長期建立的語言工程方法仍佔上風。這裡我指的是分類系統、分析器、詞法和句法網絡以及句法規則系統。目前我們處在一個「百花齊放、百家爭鳴」的時代,所以很多種方法都是可以並存的。舉例來說,甚至眾包數據處理的領軍企業:CrowdFlower都全面擁抱機器學習了,初創企業Idibon都把傳統和現代相結合作為一大賣點:「你可以組建自定義的分類系統,並使用機器學習、規則和你已有的字典/模式去調整它們。」

全球領先的圖像分析提供商已將圖像分析技術應用於社交媒體的品牌信號解讀中---不信你看看Pulsar和Crimson Hexagon---並且通過機器學習,圖像分析技術已成為IBM在2015年收購Alchemy API的一大賣點。的確,火熱的初創企業MetaMind在2015年從NLP領域轉型到圖像分析,緣於其意識到圖像分析背後的巨大機遇。

整個市場喜歡談論多渠道分析和用戶旅程,這涉及到多重觸點。並且社交網絡和網絡媒體中充斥著視頻,說出來的話,還有非文本形式的語言要素,包括語調、語速、音量和重複,都傳遞著含義,而這些含義都可以通過語音分析和語音轉文字來獲取。不僅僅是客服中心,2016年,所有的市場研究人員、出版人員、研究和洞察專業人士都在不斷尋找突破。可以期待,未來語音分析也將成為推動人機會話接口發展的重要力量。

廣告人員早就認識到情感可以改變消費者的決定,但直到近日,廣泛地、系統地對於情感與決策的研究已經超越了我們的能力範圍。根據你的角度,進入情感分析,或者是情感分析的子類,或者是其姊妹類。帶著量化我們的情緒反應的目的,使用面部表情分析從圖像和視頻中(或從語音或文本中)提取我們的情感狀態。這方面的服務提供商有:視頻服務的Affectiva、Emotient和Realeyes,語音服務的Beyond Verbal以及文本服務的Kanjoya;相關的受眾包括廣告商、媒體、市場研究人員和代理商。

我們已經有了文本、圖像、語音、視頻等,那為什麼我們還要用網絡表情呢?因為它們簡潔、易用、生動、有趣,它們補充並且對長格式的內容形成衝擊,這就是為什麼網際網路俚語滅亡了。Facebook正在嘗試對網絡表情進行挖掘,更好的是,我們還看到了像Line stickers這樣的變種。現在我們需要的就是網絡表情分析了。這個領域的技術正在通過像Emogi這樣的初創企業不斷興起。儘管大多數人也不過就是用計數和分類來獲取網絡表情語義,像Instagram工程師Thomas Dimson和斯洛維尼亞研究組織CLARIN.SI都是這麼幹的。但他們當中的一些公司,比如SwiftKey,還是值得關注的。

這一點既是我對於2016年的趨勢預測,同時我在2015年對市場研究公司TNS的數據科學家Preriit Souda訪談時也提到過。Preriit指出:「網絡為會話賦予結構,內容挖掘為其賦予含義。」洞察力源自於對於信息與連接的理解,也來自於連接是如何被激活的。因此為你的工具包加一個圖形資料庫和網絡可視化工具吧,這就是為什麼Neo4j.js和Gephi這麼成功的原因。建立一個類似於QlikView的數據分析平臺也是一個選擇,一個可以協同文本和數字分析的選擇,對於2016年來說這是一定要做的事。

9、2016年,你會讀到(或與之交互)多得多的機器編寫的內容

機器編寫內容的技術叫自然語言合成(Natural Language Generation,NLG),它提供根據算法從文本、數據、規則和內容中撰寫文章、信件、簡訊息、摘要和翻譯的能力。NLG就是為大容量、高重複量的內容而生的:金融、體育和天氣預報。相關的服務提供商有Arria、Narrative Science、Automated Insights、Data2Content和Yseop。你也可以看看你與你心愛的虛擬助手進行對話時的機器端:Siri、Google Now、Cortana或是Amazon Alexa,或是自動客服、其它程序化相應系統。後面的這些系統都歸類於自然語言交互(Natural Language Interaction,NLI);其中Artificial Solutions還是值得一看的。

長久以來,人們一直希望擁有一個「星際迷航」那樣的通用翻譯器,但自從1950年科學家稱機器翻譯可以在3~5年內實現,精準的、可信賴的機器翻譯就一直是個謎。(ACM Queue撰文《Natural Language Translation at the Intersection of AI and HCI》充分地討論了人機結合條件下機器翻譯的狀態)我不能說勝利就在眼前,但是多虧了大數據和機器學習,2016年(或2017年)對於大多數任務來說,主流語言的機器翻譯能做到足夠好。這就是勝利!

總結:

如果你是一個文本分析、情感分析或是社交分析學家,解決方案提供商或是用戶,每一個趨勢都會影響到你,無論是直接地還是間接地。因為人類的數據現在已經被編織成為我們每天賴以生存的技術網。連接這張網的線就是更多的數據,更有效地使用,來創造改變生活的機器智能。

「招聘」

記者、編譯和活動運營

全職和實習生都要

以及人工智慧翻譯社志願者

詳細信息請進入公眾號點擊「招聘」

或給 aiera_jobs@163.com 投郵件

相關焦點

  • 文本情感分析:讓機器讀懂人類情感
    賦予機器情感分析能力引起了社會的廣泛關注,研究領域也開展了很多相關的研究工作。科幻電影《她》中人工智慧系統和主人公談戀愛的故事,激發了人們對機器具有人類情感的無限想像。那麼,機器是怎樣理解人類情感呢?通常來講,機器理解人類情感是一個多模態的感知過程,通過表情、行為、語言來理解情感。語言通常以文本的形式存在,本文主要是從文本的角度討論情感分析的研究。
  • 自動化文本情感分析的基本概念和研究思路
    自動化情感分析的研究思路和應用領域又是什麼?本文結合研究團隊多年豐富的經驗和應用,從文本情感分析技術/方法應用的理解角度進行分享,歡迎讀者們批評指正。什麼是文本情感分析文本的情感分析(sentiment analysis)的目的是在於了解作者在特定文本中的情感態度,這些態度反映了作者在撰寫該文本時的個人情緒狀態,或是意圖經由該文本向讀者所傳達的情感。
  • 文本挖掘:避孕藥主題情感分析
    如果在輿情分析而言,我們在做營銷分析,分析產品、活動優劣,或者希望維護品牌PR,我們就需要針對消費者網絡發聲去分析情感,來幫助我們維護品牌,改善活動產品,來達到監測輿情分析效果。換句話說也就是我們今天分享的主題—sentiment輿情分析思路筆者5年前做輿情分析時候一般來說就是人工輿情,並沒有加入高級點的分析工具減少人工投入。
  • 華為雲NLP算法專家:全面解讀文本情感分析任務
    比如某品牌公司可以分析社交媒體上廣大民眾對該品牌的評價,如果負面評價忽然增多,就可以快速採取相應的行動。而這種正負面評價的分析就是情感分析的主要應用場景。 是什麼:文本情感分析旨在分析出文本中針對某個對象的評價的正負面,比如「華為手機非常好」就是一個正面評價。
  • 社交網絡分析/京東surface5評論數據分析/詞雲圖/情感分析/網絡結構圖Python陳金文老師手把手教學
    社交網絡分析/京東surface5評論數據分析詞雲圖/情感分析/網絡結構圖Python
  • 綜述: 文本分析在市場營銷研究中的應用
    透過新聞報告、歌詞等內容也可以幫助研究者了解社會態度和社會規範,分析有關對女性、少數族裔(Boghrati and Berger 2019; Garg et al. 2018)和特定產業態度的時代變遷(Humphreys 2010)。雖然文本分析並不容易,但企業和組織可以使用社交網絡傾聽民聲。
  • 綜述:文本分析在市場營銷研究中的應用
    透過新聞報告、歌詞等內容也可以幫助研究者了解社會態度和社會規範,分析有關對女性、少數族裔(Boghrati and Berger 2019; Garg et al. 2018)和特定產業態度的時代變遷(Humphreys 2010)。雖然文本分析並不容易,但企業和組織可以使用社交網絡傾聽民聲。
  • 基於文本挖掘的學習分析應用研究
    因此傳統的學習分析技術難以準確發現學習者的個體意願和內在心理狀態,並不能深入解釋影響學習者學業成功與否的關鍵因素。文本作為教育大數據中一種特質的類型,最真實、直接地反映了學習者的學習動機、認知發展、情感態度、學習體驗。通過文本挖掘,可提取出學習者文本表達中隱藏的關鍵信息,實時監控學習者的意見和想法,將有助於學習者在文本交互中的自動幹預和推理。
  • 在運營中,為什麼文本分析遠比數值型分析重要?一個實際案例,五點...
    (一)接下來,我們將從理論到實踐,聊聊文本分析是如何應用在商業實踐中的。1.文本分析重構產品的營銷和運營流程藉助基於大數據的文本分析,我們可以對用戶行為和想法進行科學分析,使用戶洞察由原來的主觀「猜測」轉變為以數據為驅動的精準預測。
  • R語言自然語言處理:情感分析
    作者:黃天元,復旦大學博士在讀,目前研究涉及文本挖掘、社交網絡分析和機器學習等。
  • R從網頁抓取到文本分析全教程:影評的獲取與分析
    >個人公眾號:阿虎定量筆記隨著技術進步,定量分析方法,不再僅僅通過問卷、二手資料庫等方式收集數據,不再僅僅通過數理統計、回歸分析等手段分析數據。 ### 主題建模# 以三個主題為例good_ctm<- CTM(good_dtm,k=3, control=list(seed=111))Terms<- terms(good_ctm, 7)Terms[,1:3] 以上人為設定3個主題,並報告各自7個代表詞。
  • 使用Python構建可擴展的社交媒體情感分析服務
    學習如何使用 spaCy、vaderSentiment、Flask 和 Python 來為你的作品添加情感分析能力。在 shell 中,輸入以下命令來安裝 spaCy 和 vaderSentiment 包:pip install spacy vaderSentiment命令安裝完成後,安裝 spaCy 可用於文本分析的語言模型。
  • 人工智慧和文本分析:遵循的最佳方法
    人工智慧和文本分析使您對業務績效和客戶有深入的了解,使您能夠做出更好的決策。從自動化重複性任務到提供可行的客戶見解,人工智慧可以幫助企業改善收入和用戶體驗。同樣,文本分析會解釋大量數據,以發現消費者趨勢和機會。 文本分析是指分析文本以提取有用的高質量信息的方法。
  • NLP入門(十)使用LSTM進行文本情感分析
    情感分析簡介  文本情感分析(Sentiment Analysis)是自然語言處理(NLP)方法中常見的應用,也是一個有趣的基本任務,尤其是以提煉文本情緒內容為目的的分類。它是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。  本文將介紹情感分析中的情感極性(傾向)分析。所謂情感極性分析,指的是對文本進行褒義、貶義、中性的判斷。在大多應用場景下,只分為兩類。
  • 中文情感分析之TextCNN
    最近接了個業務需求,需要對論壇發帖進行情感分析,以便於對惡意發帖的行為進行審核治理。在此對情感分析方法進行一個總結,並重點介紹下文本分類基準模型TextCNN在中文情感分析中的實踐應用。綜述情感分析(Sentiment Analysis)是自然語言處理領域的一個重要的研究方向。
  • 看看如何用Python進行英文文本的情感分析
    如果只是人工地去跟蹤大量的輿論和研報顯然缺乏效率。我們可以試試讓機器來完成這個工作。數據科學在數值領域中很常見,但這個不斷壯大的領域現在也可以應用於非數值數據,比如文本。本文將探索一些理解文本數據的關鍵算法,包括基本文本分析、馬爾可夫鏈和情感分析。許多數據(比如文本)是非結構化的,需要採用不同的機制來提取洞察。
  • Voices:LinkedIn了解用戶反饋的文本分析平臺
    文本挖掘又被稱為文本分析,指的是運用高級數據挖掘與自然語言處理技術對非結構化的文本進行計算研究,這項技術在處理上述任務時有很大用處。文本挖掘的關鍵一般包括但不限於:主題挖掘、文本分類、文本聚類以及分類構建。文本分析這個市場中有很多公司競爭(見下圖),目前有很多可用的供應商及開源工具。既然選擇有這麼多,為什麼我們還要構建自己的解決方案呢?
  • VADER:社交網絡文本情感分析庫
    VADER(Valence Aware Dictionary and sEntiment Reasoner)是專門為社交媒體進行情感分析的工具,
  • 史丹福大學怎樣講「情感分析」
    一、自然語言處理概覽——什麼是自然語言處理(NLP)1)相關技術與應用自動問答(Question Answering,QA):它是一套可以理解複雜問題,並以充分的準確度、可信度和速度給出答案的計算系統,以IBM『s Waston為代表;信息抽取(Information Extraction
  • 【文本分析】文本作為數據:政治文本自動分析方法的前景和陷阱 | 國政學人 第399期
    本文概述了一系列的自動文本分析的新方法,驗證這些模型的結果的指南、糾正了文獻中的概念的混淆和錯誤。本文認為,為了使得自動文本分析方法成為政治學家的標準工具,政治方法學者必須貢獻新的分析和驗證的方法。【關鍵詞】文本分析語言是政治和政治衝突的媒介。例如,候選人在選舉中爭論和陳述他們的政策取向。一旦被選出,代表們寫作和辯論法案。