淺談人工智慧產品設計:LDA主題模型

2021-01-10 人人都是產品經理

一、LDA模型簡介

LDA是Latent Dirichlet Allocation(潛在狄利克雷分配模型)的縮寫,也是線性判別分析(Linear Discriminant Analysis)的簡寫。本文探討的是第一種Latent Dirichlet Allocation(潛在狄利克雷分配模型)技術。LDA通俗的來講就是一種主題抽取模型。它是一種無監督的算法,作用是從一份文檔中提出文檔的主題,以及主題中的詞語。LDA模型應用範圍很廣,如我們熟知個性化推薦、商品標籤、智能分類等等。

有監督學習和無監督學習以及半監督學習的概念是比較容易理解的。這邊就簡單的提一下。

我們知道,AI系統都可以抽象為如圖所示的結構:

我們訓練AI,就是要得到一個模型。訓練模型的方式有這麼幾種:

有監督學習:即通過人工標註數據,機器從中學習得到模型,如分類、回歸算法。

無監督學習:機器直接通過海量的數據自主學習得到模型。,如聚類算法。

半監督學習:機器通過少量的人工標註數據和海量的無標註數據學習得到模型。半監督學習的特點就是,用少數的人工標註數據就能得到一個不錯的模型,隨著模型的使用,產生的糾錯數據又能反過來提升模型的精度,最終使得模型得到最優。

回到我們要講的LDA模型。根據場景的不同,數據的不同可以選擇不同的方案。如定製化場景下,可以做有監督的學習,以達到較好的精度。如在to C的產品中,則使用半監督的學習方式可以讓產品具有個性化推薦的能力。

簡單解析一下LDA模型的原理:

在LDA模型中,文檔是由詞語組成主題,再由主題組成的文章。在主題中,有詞語的一個概率分布,概率越高表示與主題的關聯性越大。相對的,文檔中有一個主題概率分布,概率越高代表與文檔的相關性越高。LDA的簡化公式如下:

P(詞語|文檔)=∑P(詞語|主題)×P(主題|文檔)

LDA從詞語在文檔中的概率學習得出詞語在主題中的概率分布以及主題在文檔中的概率分布。

從公式中我們就能夠很清晰的看到,如何能夠提升LDA模型的準確度再融合進算法中,從而提升產品的用戶體驗。

關鍵點在於:

提供詞語|主題的標註數據。

提供主題|文檔的標註數據。

二、LDA主題產品設計

假設我們要做一款個性化信息流的產品,我們想運用LDA為文章打標籤,並推送給具有相同標籤的用戶,從而實現個性化推薦,那我們要怎麼做?

其實標籤就可以看成是LDA中的主題,融合AI的產品的設計如果能巧妙的讓用戶給你提供標註數據,這樣的產品體驗一定是優秀的。

沿著這個思路,我們可以有這樣的設計方案:

可以先讓用戶選擇標籤,然後給用戶推薦一些無監督學習標註出來的同標籤的文章,手機用戶的點擊數據、停留時長、點讚、收藏等數據,再把這些數據轉化為用戶對這個文章的認可程度。如果用戶認可程度高,就提升這篇文章的權重;如果認可程度低的,降權。再設計一個「不喜歡」的按鈕,用戶點擊了也對文章進行降權。如果經過海量用戶的使用,可以獲得較為優質的數據, 再利用這些數據進行訓練,使得模型越來越精準。

總結成一幅圖就是:

本文由 @ 躚塵 原創發布於人人都是產品經理。未經許可,禁止轉載。

題圖來自PEXELS,基於CC0協議

相關焦點

  • 運用sklearn進行線性判別分析(LDA)代碼實現
    關鍵代碼如下:lda = LDA(n_components=2)lr = LogisticRegression()x_train_lda = lda.fit_transform(x_train_std, y_train) # LDA是有監督方法,需要用到標籤x_test_lda = lda.fit_transform(x_test_std, y_test) # 預測時候特徵向量正負問題
  • 深入了解LDA以及其在推薦系統上的引用
    Latent Dirichlet Allocation(LDA)是一種無監督發現語料庫底層主題的主題建模算法。它已被廣泛應用於各種領域,特別是在自然語言處理和推薦系統中。這篇博文將帶你從LDA的概況介紹到詳細的技術說明,最後我們將討論LDA在推薦系統上的應用!概要介紹LDA是語料庫/文檔的生成概率模型。
  • 以人為本的機器學習:谷歌人工智慧產品設計概述
    我們已經開發了7個要點幫助設計師找到一種新的平臺設計以機器學習為驅動的產品。誕生於我們與UX和谷歌的人工智慧團隊共同完成的工作,這些要點將幫助你把用戶放在首位、快速迭代並理解機器學習創造的獨特的機會。  讓我們開始吧  1.不要指望機器學習能幫你找出需要解決的問題  如今有很多圍繞機器學習和人工智慧的誇張的宣傳。
  • 如何找到好的主題模型量化評價指標?這是一份熱門方法總結
    圖 1:主題模型(圖源:https://medium.com/@tengyuanchang/%E7%9B%B4%E8%A7%80%E7%90%86%E8%A7%A3-lda-latent-dirichlet-allocation-%E8%88%87%E6%96%87%E4%BB%B6%E4%B8%BB%E9%A1%8C%E6%A8%A1%E5%9E%8B-ab4f26c27184
  • 大規模主題模型:對Spark LDA算法的改進
    這些問題都能夠被話題模型所解答,它是分析文檔集所涵蓋話題類別的一種技術。本文將要討論Spark 1.4和1.5使用強大的隱含狄利克雷分布 (Latent Dirichlet Allocation,LDA)算法對話題模型的性能提升。
  • 人工智慧與設計(1):人工智慧的發展和定義
    本文是主題為「人工智慧與設計」系列文章的第一篇,主要講述現在人工智慧的基礎知識,enjoy~今年年初出於個人興趣,我開始了對人工智慧的研究。前四章主要講了現在人工智慧的基礎知識、底層設計、網際網路產品設計以及人工智慧與設計的關係,後面會通過3~4章詳細分析人工智慧對不同行業設計的影響,目前考慮的領域是室內設計、公共設計和服務設計。人工智慧的發展歷史說起人工智慧這詞,不得不提及人工智慧的歷史。人工智慧的概念主要由Alan Turing提出:機器會思考嗎?
  • Fogg行為設計模型在產品設計中的應用
    從Fogg行為設計模型中,我們能拆解出動機、能力、觸發要素等關鍵要點,並在該行為設計模型影響下得到一些產品設計的思考與啟發。「設計是人為的,為人的行為」,設計的內含已經起從初簡單的造物演變成了對人、物、環境整個系統的設計規劃。其中,也包括了對人類行為的設計,即行為設計學。
  • 淺談PCBA設計的RLC電路並行設計
    打開APP 淺談PCBA設計的RLC電路並行設計 上海韜放電子 發表於 2021-01-04 14:28:39 對於PCBA設計
  • 人工智慧工程師如何構建以業務為中心的模型
    為了追求像阿里巴巴和亞馬遜這樣的成功典範,全世界的商界人士都對人工智慧模型趨之若鶩。人工智慧現在不是流行詞了,它已經不僅僅是流行詞了!但是,這是只是好的方面。許多人工智慧模型無法產生有效益的結果,只能停留在試點項目或單個業務流程上。
  • 自動勾畫腫瘤、設計放療計劃、預測治療效果,人工智慧讓腫瘤精準...
    三腫瘤診療領域細分應用場景及代表機構 四腫瘤診療代表 AI 技術應用產品/解決方案及應用案例Insilico Medicine——藥物發現工具Pandomics:該公司開發和驗證了一套可供生成模型以及機器學習的算法,用來設計生成小分子靶向藥物
  • 淺談人工智慧時代民航業務改造
    但是,對於連續性問題,特別是正以指數級速度增長的問題,人類大腦的處理能力就非常有限了,而人工智慧AI就是可以取代我們人類大腦解決指數增長連續問題的技術工具,至少在現階段,它仍是工具。  人工智慧AI,即在混沌中發現秩序的能力,是一種遞歸過程分析法,基於海量數據信息,通過指數級智能計算、發現規律,快速創造出新過程和產品的能力。
  • 20年的人工智慧設計總結:向產品中注入人工智慧的指南
    作為現在熱門的 AI 交互,已經有不少文章進行了設計探討。而在此篇,設計師總結了過去 20 年間 AI 設計的經驗教訓,總結出 18 個互動設計指南,為我們提供了設計原則,希望有所裨益。如今,許多產品都具備了 AI 支持的一些功能。
  • 從產品設計角度,解讀物聯網四層架構
    本文作者從產品設計的角度出發,為我們解讀了物聯網的四層架構。本文以物聯網四層架構為基礎,從物聯網產品設計的角度來解讀每層架構的功能以及主要內容,旨在為物聯網產品設計以及實現思路感興趣的物聯網產品或研發人員有些幫助。通過網際網路,人和人之間可以傳遞和交流信息。
  • 人機工程學與汽車設計 優化設計與汽車產品
    現代機電產品往往標榜自己的設計符合人機工程學原理,並以此為賣點。汽車產品也不例外,幾乎每一款新車的宣傳資料都印有"人機工程"的字眼。那麼,什麼是"人機工程學"呢?它對汽車的設計有什麼影響呢?人與機器共同工作,人有人的特性,機器有機器的特性,要設計出能最大限度與人協調工作的機器,就要充分研究兩者的特性,才能設計出良好的人機界面。人機工程學在對人的特性進行詳細研究的基礎上設定了一系列的設計準則,用來指導機器產品的設計,主要是人和機器之間的界面設計。
  • 關於AI學習方法的思考——產品經理入門人工智慧
    人工智慧與大數據的關係:機器學習本身需要使用大量的數據進行訓練,並且訓練好的機器學習模型會產生【識別與預測】的數據,所有這些數據都需要大數據分布式存儲與大數據計算技術支持。人工智慧與雲計算的關係:機器學習模型在訓練時與實際使用時所使用的計算資源需要雲計算來支持。
  • 星環科技喜獲「2020年度江蘇省優秀人工智慧產品獎」
    近日,以「數字江蘇 智動未來」為主題的第三屆江蘇人工智慧大會在南京國際博覽中心圓滿閉幕。星環科技受邀參會,在同期舉辦的「AI之夜」頒獎晚會上,星環科技人工智慧平臺TranswarpSophon榮獲「2020年度江蘇省優秀人工智慧產品獎」。
  • 淺談圓柱電池電解液產品及設計
    電解液作為圓柱電池四大主材之一,對圓柱電池的各項性能均密切相關,作為上遊電池材料企業技術族一員針對這一熱點話題,淺談一下圓柱電池電解液產品及其設計。一、影響電解液設計的因素電解液產品設計主要立足於幾個方面:①終端應用領域決定了項目的總體性能目標和方向;②搭配的正、負極和隔膜材料體系決定了溶劑和添加劑是否與之匹配,主要影響添加劑的選擇和含量變化;③殼體和結構主要確定電解液的浸潤性、保液量和膨脹問題;④特殊功能要求主要滿足客戶的差異化需求;⑤成本因素確定貴重添加劑、特殊添加劑的選用和取捨。
  • 當模型預測控制遇見機器人學習
    牛頓和達爾文(來源: Song-Chun Zhu, AI: The Era of Big Integration)三、基於機器學習的模型預測控制寫到這裡,終於可以毫無違和感的引出本文的主題——基於機器學習的模型預測控制,英文名為Learning-based
  • 淺談人工智慧的過去、現在和未來
    微軟在2017年成立了通用人工智慧實驗室,眾多感知、學習、推理、自然語言理解等方面的科學家參與其中。 從人工智慧向人機混合智能發展。借鑑腦科學和認知科學的研究成果是人工智慧的一個重要研究方向。人機混合智能旨在將人的作用或認知模型引入到人工智慧系統中,提升人工智慧系統的性能,使人工智慧成為人類智能的自然延伸和拓展,通過人機協同更加高效地解決複雜問題。
  • 獨立CIO陳其偉:人工智慧與設計思維的激情共舞|愛分析活動
    近期,愛分析在北京舉辦了2020愛分析·中國人工智慧高峰論壇,獨立CIO陳其偉先生進行了題為《未來:人工智慧與設計思維的激情共舞》的主題演講。陳其偉先生闡述了他對於人類認知發展過程,人工智慧在現階段的問題以及未來人類與人工智慧共存的模式的想法與理解。獨立CIO陳其偉先生,分享的主題是「未來:人工智慧與設計思維的激情共舞」。