騰訊的「AI飼養員」與9000張光碟

2020-12-11 騰訊網

產 哥 說

在鵝廠,有一群「不務正業」的人。

他們坐著同樣的工位,卻做著劍走偏鋒的事,脫著同樣的發,卻上演一幕幕迷惑行為。

他們笑笑說:「旁觀者迷,當局者清。」

「不務正業」的第一期,產哥為大家介紹一群「AI飼養員」。他們蹲守飯堂,看菜來肉往,聽盤起碗落;閱片9000張「光碟」,衣帶漸寬還執迷不悔。

今天,讓我們走進他們的故事。

主筆:叉叉

編輯:叉叉

聯合出品:騰訊產業網際網路公眾號 騰訊新聞

「新目標出現,三點鐘方向。」

蹲守在角落裡的楊sir正在執行一個特殊任務,遠處目標閃現,他用餘光鎖定。

目標逼近,走到面前,楊sir掏出手機,向前一步,「咔」,一張餐盤照被保存至相冊。

點擊、放大:盤中有剩飯、骨頭、蔬菜葉,些許油漬,湯碗還未見底。

「五臟俱全,樣本不錯。」

他抬起頭,面前這位上海交大的大一新生顯然有些錯愕,今天報導,他剛吃完大學的第一頓晚餐——難不成沒吃乾淨,被校領導抓住了?好傢夥,開門紅。

「沒事兒,我搞研究的。」楊sir緩解著學生的緊張情緒,同時把這張照片發送給遠在深圳的Hank。

不止是大一新生,很多提前返校的高年級學生,都注意到學校食堂餐盤迴收處,蹲守著一個陌生的「怪人」,以拍餐盤為樂。

這在學生群體裡邊引起了一點小騷動:學校開始嚴抓「光碟」了?為什麼沒有事先的通知?拍餐盤的是何許人也?

只有楊sir知道,明天,團隊開發的「AI識別光碟」功能將首先落地上交食堂。

蹲守七日,他的手機裡已經存儲了9000多張餐盤照,這些照片,成為這次特別的「光碟行動」順利落地的關鍵。

難落地的「光碟行動」

楊sir是騰訊微校的項目PM,所在團隊是鵝廠專門為高校提供信息化服務的一群人,推出的微信校園卡和騰訊校園碼,實現高校各個場景的「一碼通」。

龍哥是楊sir的老朋友,是上海一高校食堂管理負責人。

早些年,龍哥所在的高校大肆推行「光碟行動」的時候,他就向楊sir取過經。

當時,光碟行動很火,基本上每個高校都在做,學校把落實光碟行動的任務交給了龍哥。

龍哥最初嘗試過人工審核,每個回收處配備一位光碟志願者,穿志願服戴紅袖套,如果光碟審核不通過,就會上前進行提醒教育。

因為光碟的判定本來就很主觀,並且也並不是強制行為,志願者和學生之間經常產生摩擦。

龍哥想出了一個朋友圈打卡的制度,只要把光碟拍下來曬到朋友圈,並且截圖發送給班級管理員,就可以領取一些加分和獎勵。

結果發現學生的參與度很低——「現在的年輕人,發朋友圈曬光碟,說太奇葩。」龍哥說到。

後來,龍哥找到外包開發商做了一個H5,大家拍照上傳光碟照,填寫姓名,然後後臺配備管理員,線上統計光碟情況,每年還會為光碟積極參與者頒獎,龍哥覺得這個方式應該很靠譜。

結果再次打臉,他發現很多學生在姓名欄胡亂填寫,甚至一頓餐,「一個人」上傳了十來份不同的空盤。

龍哥覺得很苦惱,並把這個苦惱告訴了楊sir。

「這的確是我們此前沒有太注意的高校的痛點,糧食浪費也是一個社會問題。當時我們就想,可不可以結合騰訊的產品、技術,幫助到高校的『光碟』管理。「楊sir把一線客戶的痛點,傳達給了微校的產品經理Hank。

剛好,今年9月,一份由教育部研究制定的《教育系統「制止餐飲浪費 培養節約習慣」行動方案》正式印發,方案裡指出要創新使用科技手段,打造節約型智慧食堂。

方案印發不久,騰訊微校的老朋友上海交大,就找到了Hank,希望通過一些科技手段,真正讓光碟行動落地。

「既然我廠能用AI種番茄種黃瓜,還能讓沙漠開出花,為什麼就不能用AI節約糧食?」Hank想著,可以用AI識別光碟,然後結合微校的能力植入積分激勵,為高校打造一個智能的「光碟助手」。

上交食堂,校方正在大力推行光碟行動

Hank通宵把初版方案寫好,第二天一早發給了上交,沒想到校方很快回應:覺得很ok。

只不過,校方希望上線的時間在9月11日,上交的開學日——也就是一周後。

倒計時開始,項目組的「七日狂奔」開始了。

深入一線:誰是守門人?

七天,從0到1,對於一個要服務上萬師生的項目來說,挑戰性很大,尤其還涉及了AI建模。

很快,第一個大問題就來了,光碟數據嚴重不足。

這裡的數據,就是指各類光碟照和非光碟照,模型通過對這些照片不斷學習,才能分辨盤夠不夠「光」。

團隊準備在網上進行數據採集,但是發現光碟照非常稀缺。「誰會沒事拍光碟,線上能找到的照片太少了。」

只好深入一線實拍。

楊sir作為微校項目經理,經常輾轉各大高校,經歷過多個項目的落地交付和後期運營,對高校狀況更加熟悉。

他搖身一變,從俯瞰深圳灣的工位上出走,變成了開篇那位掐點上崗的「餐盤守門人」

但很快,他發現上交有多個食堂和餐盤迴收處,單個窗口「流量」有限,有時只能眼睜睜看著一群學生把餐盤餵進對面的回收處。

楊sir準備啟用Plan B,嘗試安裝攝像頭代替人工拍照,但是受限於安裝角度和清晰度的局限性,遂宣告放棄。

他隨即向校方申請馳援,校方緊急調動網絡信息中心、後勤部組建了後備軍團,向全校召集蹲點志願者,每個關卡都保證有一個「守衛」,不放過一個「光碟」,前線「食糧」生產終於有了保證。

「第一個問題算是暫時解決了」,楊sir舒了一口氣。

收到Hank凌晨3點的消息,楊sir才發現,這口氣舒得太早了。

9000張光碟背後:

解決數據「三宗罪」

「幹擾數據欠缺,多樣性不足,均衡性不行。」

後方軍營的幾位AI大神羅列出第一批數據的「三宗罪」。

Norris,波哥,鵝廠AI大神,博士畢業於中科院自動化研究所,在騰訊頂尖AI實驗室AI Lab,專注計算機視覺多年,他們在2天後加入團隊,推動AI建模。

大致「檢閱」了前線回傳的第一批光碟照,他們發現不少問題。

首先,就是缺少幹擾數據。

因為前線只收集了「餐盤照」,其他的非餐盤照AI完全沒見過,AI模型就以為這世上只有光碟和非光碟兩個東西。

如果拍一張空牆,可能它會識別成空盤,如果拍一張帶鐘的牆,它會說,盤裡有肉。

因此,需要很多非餐盤的幹擾照片引入。

第二,數據缺少多樣性。

拍到的餐盤照片裡,大多數都是飯和菜,不夠豐富多樣,需要湯、骨頭、飯、菜、面、油、醬等雨露均沾;

而且,除了傳統樣式的盤子,面碗、蒸籠、小炒碟等各種樣式的餐具,樣樣不能少。

第三,採集的數據不均衡。

數據最理想的比例是光碟:非光碟:幹擾數據比例為1:1:1,但是第一批照片裡,光碟還是佔多數。

「三宗罪」下來,楊sir有點想掀盤子了,這AI模型不僅是個大胃王,還這麼挑食:胡吃海喝有問題,還要配置均衡的營養餐!

原來,養一個AI模型,並不比養娃簡單。

這群每天對著電腦碼代碼、對著產品找bug、對著客戶找需求的網際網路人,成了一群奶爸力爆棚的「AI飼養員」。

飼養員們一大早緊急召開線上會,討論如何更好的滿足AI模型胃口。

首先,前線緊急調用兵力,在一些麵食、小炒窗口加設守門員。當時最缺的數據就是骨頭數據,楊sir就會先在各大食堂先巡視一遍當天菜品,如果發現哪個食堂排骨和雞腿多,就會轉移當天主陣地。

同時,產品和開發緊急部署,在微校為上交開發的「交大V卡」頁面,新設了幾個餐盤拍照上傳入口,學生可以自行上傳餐前餐中餐後的照片,保證數據多樣性。

後方的Hank和AI Lab的同學也開始在鵝廠各大食堂反覆橫跳,搜集各類餐盤。

除了低頭拍光碟,他們也抬頭開始拍天拍雲拍星星,為了加入更多的幹擾照片。

……

AI飼養員在鵝廠各大食堂拍攝光碟

最終,各個渠道返回了1.5w張餐盤照,初步篩出了9000張照片,AI建模終於有了一點點曙光。

食欲不振的「閱片師」

前線數據採集的同時,後方的營帳裡也並不輕鬆, 人工標註和AI建模開始同步推進。

首先,需要人為定義什麼才算得上是貨真價實的「光碟」。

近萬張照片躺平在電腦裡,等待著Hank和波哥兩位「閱片師」的全方位評級。

只不過,這兩位「閱片師」正如坐針氈。

「你說這個雞腿啃了2/3,算不算浪費?」

「脆骨和硬骨,AI能分辨清楚嗎?」

「這麵湯底裡一塊牛肉若隱若現,感覺需要單獨標註。」

……

閱片難度比想像中更大,他們又拉上實驗室的Hawel和阿松。

一個下午,Hank看了900多張光碟照,到最後連飯都吃不下了,各種食物殘渣引起食欲不振。

在看完全部9000多張剩飯剩菜照後,他瘦了五六斤。

深夜的深圳生態園,兩位閱片師在進行光碟的人工標註

第一批照片被審核標註,然後投餵給AI模型,接著,它用84%的準確率無情回饋給各位飼養員,傲嬌的說,它沒吃夠。

9000張照片已經是前線所能回傳的所有,但對於AI建模來說,量級還是很小,之前的一些深度學習,都是幾十萬張照片,還能怎樣提高準確率?

AI Lab準備採用一個曲線救國的招數——知識遷移。

他們先不給模型看光碟照片,而是先讓它看阿貓阿狗、飛機大炮、瓜果蔬菜,這些通用類的照片,資料庫裡倉儲豐盛,有上千類。

吃完這些前菜,AI模型就有了一個通用的識別能力,或者說區分能力,再去識別光碟,門檻就會降低很多。

在飼養員的花式調教下,識別的準確率提升到了96%,通過模型壓縮等方式,把識別的反應時間也壓縮到了40毫秒。

模型初養成,這段瘋狂奔跑,讓Norris還有餘悸。「整個建模就4天,如果按10分給這個項目的難度打分,可以打9.9分。」

實際上,奔跑並未結束,還剩下關鍵的一步,制定一個激勵機制。

Hank把AI識別光碟的入口放在了「交大V卡」的頁面下方,學生點擊拍照,上傳照片,就能瞬間識別照片是否光碟。

同時,被判定為光碟後就可以領取代金券,如果累計光碟6次,就可以轉化為公益行為——兌換洱源縣扶貧產品,進一步的支援貧困山區。

數據採集、模型建立、積分體系搭建、API製作、伺服器部署,9月10日凌晨3點,飼養員們集體在崗,完成了最後一輪測試。

9月11日,AI識別光碟的功能準時上線,上線第一天,上海交大的學生參與積極,遠超團隊的預期。

「學生參與度很高,第一天就有上萬人次。」

在接下來的一個多月裡,AI識別光碟的功能已經覆蓋十多萬師生,並且相繼在42所高校上線,校方傳來越來越多的正面反饋。龍哥的學校也開始接入這項能力,他覺得這次的4.0方案,肯定能成。

「讓光碟不再是一句口號」

其實回過頭看,光碟行動只是騰訊微校產品的一個功能迭代。

七天,從0到1,這群「AI飼養員們」用「死磕」精神,推動這個難度係數9.9的項目順利交付。

關於光碟行動的下一步,飼養員們也有一些新想法。

「我們也在向K12領域和企業拓展,高校只是第一站。同時,我們在推進一個工具版的『光碟行動』,通過一個小程序,學校和企業通過它可以自己創建『光碟行動』,不用依賴我們,甚至都不用和我們有聯繫。」Hank說到。

我國餐飲業人均食物浪費量為每人每餐93克,浪費率為11.7%,一年僅餐桌食物浪費量就在1700萬噸至1800萬噸之間,相當於3000萬人至5000萬人全年的食物量。在最新的報告中,Hank看到了這幾個數據,突然覺得有一點小驕傲。

「節約了多少糧食,我們沒想過,但是我們確實為很多高校解決了這一塊的管理難題,也確實是在為這樣的一個社會難題做一些小小的貢獻,我們希望光碟行動能在不同場景真正落地,通過科技的力量,讓光碟行動不再成為一句口號。「

騰訊還有很多相似的「AI飼養員」,很多「狂奔者」,很多「不務正業」的產業人,他們希望通過一行代碼、一個功能、一個產品、一個解決方案,為產業帶來一些改變,或者為整個社會帶來一些有價值和意義的事情,這是他們簡單而執著的信條。

- 歡迎關注我們的視頻號 -

相關焦點

  • 百校光碟在行動,騰訊微校用AI助力高校節約新風尚
    背後的技術支持,來自騰訊AI Lab提供的基於深度學習的AI智能識別系統。據了解,通過自動數據增強、遷移學習和知識蒸餾等技術,"AI光碟識別系統"在40毫秒內即可高效、穩定、準確地識別盤中食物存留情況。"AI光碟識別系統"準確率可達到98%。
  • 騰訊微校發起「百校光碟行動」 借力AI打造節約型智慧食堂
    背後的技術支持,來自騰訊AI Lab提供的基於深度學習的AI智能識別系統。據了解,通過自動數據增強、遷移學習和知識蒸餾等技術,「AI光碟識別系統」在40毫秒內即可高效、穩定、準確地識別盤中食物存留情況。「AI光碟識別系統」準確率可達到98%。
  • 「原創」今天你給「光碟」拍照了嗎?騰訊微校聯合深大落地AI識別光碟
    但在深圳大學正流行拍吃完後的「光碟」。11月4日,記者走進深圳大學食堂,由學校和騰訊微校聯手打造的「AI+光碟」行動正在進行中。△學生在深大食堂內給自己的「光碟」拍照記者看到,深大數學系2020級新生吳同學吃完飯後,打開微信校園卡小程序,拍照上傳了光碟照片,通過AI檢測識別出了光碟畫面,並彈出了「恭喜您本次用餐參與『光碟行動』成功」的反饋,隨後還可獲得代金券獎勵。她表示,這種記錄光碟的場景如今深大食堂隨處可見。
  • 同學,「曬光碟」了!騰訊微校發起「百校光碟行動」
    10月16日是第40個世界糧食日,上海、深圳等多所高校聯合騰訊微校在當天推出了「百校光碟行動」,首次將AI智能識別系統與「光碟行動"相結合,打造了一場「走心」的節約糧食主題教育活動。活動一經推出,便吸引了近10萬次的學生參與,比拼「曬光碟」成了學生間最熱門的趣味互動,厲行節約的風氣在各地高校蔚然成風。
  • 《微軟模擬飛行》的實體版包含10張雙層DVD光碟
    相信國內的PC玩家在購買正版遊戲的時候一般都會選擇Steam和EGS這樣的網上數字遊戲商城,很多有人會找代購買正版的實體光碟這樣子,就算在買實體版比較方便的國外,絕大多數PC玩家也是會選擇購買數字版。由於現在的遊戲在存儲空間上有較高的要求,如果要用DVD存儲遊戲文件,那可能要兩三張光碟起步了,還都是得D9雙層的,但實體版遊戲仍然有著它特別的存在意義,比如說收藏,比如說給沒有聯網的電腦安裝等等。新的《微軟模擬飛行》就要發布帶有10張雙層DVD光碟的實體版。
  • 今日頭條起訴騰訊,要求道歉並賠償9000萬元人民幣
    針對其中的「騰訊QQ空間攔截、屏蔽頭條網頁連結」 「騰訊安全管家作為安全軟體攔截、屏蔽頭條網頁連結」兩案,今日頭條已經起訴騰訊,要求騰訊公司立即停止一切不正當競爭的行為,公開賠禮道歉同時賠償今日頭條公司9000萬元人民幣的經濟損失。目前兩案都已於6月1日獲得海澱區人民法院立案,相關證據都已經提供給法院。
  • Drive.ai的誕生、繁華與黯然離場
    編者按:本文來自微信公眾號「騰訊科技」(ID:qqtech),作者紀振宇,36氪經授權發布。 來源/ 騰訊《潛望》欄目 作者 / 紀振宇6月25日發自矽谷 曾經備受矚目的一支無人駕駛明星項目,如今卻黯然離場。
  • 廣汽新能源聯合騰訊車聯發布車載ai系統
    打開APP 廣汽新能源聯合騰訊車聯發布車載ai系統 周碧俊 發表於 2018-08-15 15:41:00 7 月 28 日,廣汽新能源汽車有限公司與騰訊車聯發布車載 AI 系統,以進一步提升其電動汽車的智能化水平,試圖在續航裡程之外,找到電動汽車新的競爭差異點,在競爭日益激烈的電動汽車市場中找到突破點。
  • 山東安丘突擊檢查收繳盜版光碟5000餘張
    暗訪發現,安丘市香港商城部分商戶擅自經營盜版光碟。按照濰坊市「掃黃打非」辦的要求,安丘市「掃黃打非」辦在進一步摸排的基礎上,協調公安、文化、新聞出版等職能部門,組織執法人員26名,出動車輛6臺,對香港商城進行了突擊清理檢查,共查處違規音像經營點16處,收繳各類盜版光碟5000多張,其中業戶李某因涉黃被移交司法機關處理。
  • 世界上最貴的CD:50萬美元買張"基因光碟"
    中國日報網站10月9日報導:基因科學家們用了15年時間、耗資50億美元,終於在幾臺堪稱「全世界最精密的」計算機上製作出了人類歷史上第一張基因圖譜。
  • 原來你們都是這樣的動物飼養員!
    這波模仿,你服不服!其實這是為了慶祝飼養員日而發起的一場創意模仿秀。目的是為了向大眾展示,與動物相處的時間久了,飼養員和動物之間會有很多的相似之處。(也許你跟自家的寵物也會越來越像?)你們認真聚在一起的屁股真可愛!
  • 《微軟模擬飛行》實體版包含10張雙層DVD光碟
    來源:新浪VR在當下的網際網路時代,PC玩家即便在購買3A大作時也極少選擇實體光碟,他們更偏向於Steam、Epic等大型數字遊戲商城。不過,由於部分PC遊戲的特殊性、以及玩家的收藏喜好,所以實體版遊戲依然有它存在的意義。
  • 寧夏推出9000張高鐵體驗票,單程票價5至20元
    【寧夏推出9000張高鐵體驗票,單程票價5至20元】寧夏首條高鐵將於12月29日開通。寧夏城際鐵路有限責任公司推出體驗票,只需5元就可以購買河東機場站到銀川站(雙向)、河東機場站到吳忠站(雙向)任意車次單程車票。10元可以購買吳忠站至中衛南站(雙向)任意車次單程車票。20元可以購買銀川站至中衛南站(雙向)任意車次單程車票。
  • 美國限制AI軟體出口;騰訊回應暴力裁員;Python2.7 正式終止支持
    作者 | 李冬梅來源 | AI 前線(ID:ai-front)網友稱遭騰訊暴力裁員 官方回應:對方多次無故曠工近日,有網友發文,稱遭遇 騰訊 暴力裁員,其文章表示,騰訊互娛 HR「讓很多保安逼我立即收拾東西滾,不能再用自己的電腦,當場封掉我的工卡
  • 「光碟雜誌」異軍突起
    照此速度,發達國家將在下世紀中葉形成光碟雜誌和印刷雜誌雙峰並峙。一項由美英法瑞日幾國電腦公司聯合發起的「讓書店在50年後從地球上消失」的行動已於1998年底開始啟動,這項投資100億美元的光碟雜誌行為首先涉足於科技、醫學,以及哲學文學領域。1999年1月底,北京美蝶科技有限公司推出一種直接在光碟上製作完成的新型雜誌——《新美世界》。
  • 上海動物園狗熊撕咬飼養員 源於飼養員下車違規施工
    上海動物園發生的狗熊攻擊飼養員被全社會關注著,這並不是第一起動物園傷人事件。早幾年北京野生動物園老虎傷人事件而上海動物園這個熊傷人事件,算是這幾年來,飼養員第一個慘死在動物下的事件,而這個原因是:事情經過是這樣的,這個飼養員是下車去查看工程,那邊正好在施工,他下去看,平時飼養員及工作人員下去都會拿一根鐵棍的,狗熊看見鐵棍怕的,飼養員當時下去的時候看到周圍沒有熊,但突然一隻出來攻擊他,然後被十幾隻狗熊圍住拖進河裡,挖機的司機用挖機救他沒辦法救下來,最終發生了這樣的慘劇
  • 《動物園之星》飼養員不餵食怎麼辦 飼養員不餵食解決方法
    導 讀 在動物園之星遊戲中,飼養員的工作主要是給動物準備食物和水,但是最近很多玩家反映飼養員不餵食了,飼養員不餵食怎麼辦
  • 「光碟打卡」小程序在重慶大學火了 可用AI識別
    同學們正在為環保活動籤名。受訪單位供圖 華龍網-新重慶客戶端 發據悉,參與該活動的同學使用專屬「光碟打卡」微信小程序掃描自己用餐完畢後的「光碟」,即可完成打卡任務。「為了保持公平公正,我們採取AI智能與人工監督兩種方式同時進行。」重慶大學團委學生發展中心勞育聯絡組副組長吳宇介紹。
  • 為了救人,上海動物園飼養員被黑熊拖走!飼養員最後只剩下骨頭!
    為了救人,上海動物園飼養員被黑熊拖走!飼養員最後只剩下骨頭!生活中有些工作存在著一定的危險性,比如消防員,他們的安全問題一直為大家所關注,但是在我們的生活中我們依舊需要他們的保護。就在10月17日,上海動物園飼養員被黑熊拖走,據網友爆料飼養員只剩骨頭。這件事在網絡上持續發酵,引起了很多人的熱議和關注。根據一位網友的透露,當時遊客正在乘坐觀光車遊覽,當時挖掘機司機下了車,飼養員為了避免司機師傅受到傷害,於是讓司機師傅回到了車上。由於熊越來越多,師傅為了自身的安全跑回了車內。
  • 騰訊領投英國AI公司PROWLER.io
    編者按:本文來自「騰訊科技」。36氪經授權轉載。 近日消息,英國人工智慧初創企業PROWLER.io日前宣布完成B輪融資。 騰訊歐洲首席代表葛凌博士表示:「英國是人工智慧領域的全球領先者,該領域的投資企業正日益將關注目光投向這裡。PROWLER.io公司專注於數據高效性的方法及其『人機合作』技術,使之與眾不同,我們期待PROWLER.io將其AI決策平臺應用於更廣泛的客戶。」