AIIT-LAIR機器人2020年第二季度進展

2021-02-14 PKU情感智慧機器人實驗室

情感智慧機器人實驗室(LAIR)成立於2017年,以賦予機器人真正的智能和情感為發展目標。我們相信,在未來的生活中,情感智慧機器人將不可或缺,在家庭、安全、教育、商業、健康等領域中都將發揮重要的作用。北京大學校本部(北京)實驗室(PKU-LAIR)自2017年起開展研究工作,注重機器人對人類情感識別、注意力分析等學術研究;北京大學信息技術高等研究院(杭州)實驗室(AIIT-LAIR)於2018年8月開始建設,注重開發人–機器人自然交互技術以及研製實體智慧機器人。

2020年第二季度可以說是碩果纍纍,本期我們將分享AIIT-LAIR階段性的工作成果,供大家參閱!

AIIT-LAIR以浙江省北大信息技術高等研究院作為第一單位,發表了一篇學術論文被2020年的IEEE/RSJ智慧機器人與系統國際會議IROS(International Conference on Intelligent Robots and Systems)錄用,IROS是世界機器人領域公認的兩大頂級學術會議之一。入選論文對「妙得」畫像機器人的原理及創新點進行了描述。論文信息如下:

Fei Gao, Jingjie Zhu, Zeyuan Yu, Peng Li, Tao Wang, 「Making Robots Draw A Vivid Portrait In Two Minutes」, accepted by 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems, Las Vegas, USA, 2020

AIIT-LAIR致力於研發家庭陪伴型機器人,使機器人能夠像人一樣理解與表現;使機器人能夠與人們進行情感相關的互動,包括自然語言、語氣語調、面部表情、頭部動作、相互凝視、手勢與指向、注意焦點傳達等;使機器人具有自主學習能力,解決未知問題,實現個性化學習,並形成特有人格,讓機器人真正的成為家庭中的一員。我們的目標是追趕科幻電影裡的機器人。為了實現這一遠大目標,AIIT-LAIR於2019年開始研發情感夥伴仿人機器人-泰德,隨著泰德各種功能的實現,我們又結合實際應用場景,將泰德的功能衍生出新的機器人,比如畫像機器人-妙得就是基於泰德畫像模塊研發出來的。除了仿人機器人,動物型機器人也可以成為人類的夥伴,於是活潑調皮的機器狗-蘿蔔就誕生了。與此同時AIIT-LAIR還研發了針對會議場景的會議秘書機器人-小松。下面我們就一一來了解一下他們的進展吧。

泰德是AIIT-LAIR針對家庭陪伴場景研發的仿人機器人。我們希望機器人不是冷冰冰的機器,而是能夠感知識別人的情緒並進行擬人化的情感表達的情感智慧機器人。2019年研發完成的泰德v0.1.0具備了視覺、語音交互和運動能力,能夠觀察、傾聽、表達、操作,並與人進行交互活動。泰德機器人用途廣泛,可陪伴老人,進行健康、安全監測;可用於文旅導覽,進行多語種導覽;可用於娛樂領域,進行琴棋書畫、太極拳等才藝表演;也可用於安防領域,檢測神情異常人員、交通指揮、違法監測等等。

為了使泰德擁有更多能力,AIIT-LAIR基於2019年的研發成果,於2020年開始研發泰德v0.1.1,該版本將外觀結構重新做了設計,可愛的外觀更能給人親近感,配上靈動的大眼睛,讓人不由自主的想跟他互動一下。泰德v0.1.1能與人猜拳、進行多種仿人動作,與人打招呼、做自我介紹。

因為想賦予泰德更多才藝,AIIT-LAIR開始研發機器人彈琴的功能,經過不斷測試、改進,現在AIIT-LAIR機器人會彈琴啦!一起來聽聽吧~

雖然現階段的機器人在用單手彈琴,但是不久的將來就能像鋼琴家一樣,看著樂譜,用一雙靈活的手彈奏優美的音樂了。

我們還把2019年針對泰德研發的下棋、書法、畫像模塊集成到了泰德機器人上,現在泰德可與人對弈象棋、能書寫正楷字體9000多個、還能給人畫像,下面請欣賞泰德的才藝展示~

泰德正在持續升級自身能力,會變得越來越聰明、越來越靈動,敬請期待~

妙得是AIIT-LAIR在2020年上半年基於泰德畫像模塊研發出來的一款畫像機器人,具有以下特徵:

支持生成簡筆畫、素描、插畫、動漫、水墨畫等多種風格的人臉肖像;

妙得外觀設計圖

(左圖為拍攝照片時搖臂的位置,右圖為拍攝完畢後搖臂的位置)

加入動漫元素的妙得外觀設計圖

目前妙得原型機已經完成,能夠實現自動化送紙、加墨、繪畫等功能,從而建立了無人值守且便於部署的妙得無人畫像機器人系統。

       妙得原型機

不同風格肖像畫

示例

畫像機器人-妙得工作流程示意

同時我們進一步開發了基於雷射印表機、CNC雕刻機的自動化系統,實現了以下功能,拓展了妙得的應用場景:

可在多種材質上繪製或雕刻風格畫,比如扇子、T恤衫、木材、金屬、玻璃等;

可以在火漆印章、玉章、羅塞塔石碑、定製版包包和獎狀以及聯名鑰匙扣等實物中繪製或雕刻專屬人像,例如定製專屬版人像印章,作為紀念品永久保存。

專屬版人像印章

妙得可應用於旅遊景點、科技展廳、文化藝術產品創作、個性化需求服務等場景。

蘿蔔是一款機器狗,不但可以成為人類的寵物、夥伴,還能協助人類工作。可應用於家庭陪伴、安防巡檢、文旅、智能玩具、教育教學等場景。

2019年研發的蘿蔔1可在草地、石子路、上下坡等多種路況下實現小跑、搖擺、蹲起、轉彎、小跳、大跳等動作,同時具有防撞功能。基於這些功能,AIIT-LAIR開始研發能做更多複雜動作的蘿蔔2,比如能上下樓梯、開門、轉送物品、智能巡檢、與人更友好的交互等。為了能完成複雜動作,蘿蔔2在外觀結構上進行了改進,其動力更足,自由度更多更加靈活。目前蘿蔔2在模擬器中已實現各種步態(小跑,奔跑,轉彎,上樓梯等)並正在遷移到實體機器人的過程中,更多功能也正在研發中。

小松是一款針對會議場景研發的會議秘書機器人,小松v0.14的功能包括:

小松可應用於多人會議、遠程會議、需要會議錄屏或生成會議記錄等會議場景。

小松v0.14

受新冠肺炎疫情的影響,線上遠程會議的頻率增多,由於電腦的拾音及攝像範圍受限,這時我們的小松就排上了用場,不但可以使遠程接入者能全方位看到現場的參會者、全方位拾取現場參會者的聲音,還能共享投屏。

AIIT-LAIR 2020年第二季度申請外觀專利1項。在近兩年的時間裡共申請專利20項,其中18項發明專利,1項實用新型專利,1項外觀專利。

2020年6月18日,北大信研院與日本理光集團宣布成立「理光視覺計算技術聯合研發中心」。北大信研院此次攜手理光集團,將以先進視覺計算為基礎,解決智慧視覺、增強現實與虛擬實境等產業轉型升級的關鍵技術研發,積極推進先進位造、機器人等領域的智能化發展。

目前,聯合中心結合雙方優勢已實現初步技術應用。該應用通過AIIT-LAIR畫像機器人的圖片處理技術,可將照片處理成肖像畫、水墨畫、炫彩和抽象畫等多種風格,並通過理光印表機印於衣物等物品上,生成個性定製產品。該項應用可廣泛應用於文旅、文創等行業,並已與相關機構達成合作意向。

AIIT-LAIR在2020年第二季度的各個項目成績顯著,獲得了各界機構領導人的關注與肯定,我們非常榮幸地接待了領導們的調研訪問,同時為項目合作奠定了基礎。

相關焦點

  • 2020年第三季度全球重大勘查進展來了
    預計在第三季度能夠更新項目JORC報告的資源儲量。目前,勘探還在繼續進行。  2020年7月份 最佳勘探鑽孔結果    2. 7月份,全球勘探工作投入最多的是Endeavour MiningEndeavour Mining Corp宣布,計劃在2020年剩餘時間內進行至少15000米的鑽探。該公司還更新了Hounde項目的Kari礦床,在Indicated級別資源量中增加了超過250萬盎司的黃金。  IronRidge資源有限公司,7月份施工鑽孔212個,全部位於象牙海岸的Zaranou項目,7月份排名第二。
  • 雪佛蘭開拓者的銷售額在2020年第二季度幾乎翻了一番
    2020年第二季度,雪佛蘭開拓者在美國和加拿大的銷售額增長,而在墨西哥的銷售額下降。在美國,雪佛蘭Blazer在2020年第二季度的總交付量為19,726輛,與2019年第二季度售出的11,772輛相比增長了約68%。在今年的前六個月,Blazer的銷量增長了約183%至41,870輛。
  • ...該公司2020年第三財季即2020年第二季度財報,財報顯示,第三季度...
    文 / Becky2020-07-31 10:23:13來源:FX168 【iPhone 12將推遲數周發布】蘋果公司於北京時間周五凌晨發布了該公司2020年第三財季即2020年第二季度財報,財報顯示,第三季度淨收入596.85億美元,同比增長11%;第三季度淨利潤112.53億美元,同比增長12%,每股收益2.58億美元,創下記錄。
  • 2020年第二季度全國各省市旅行社組織人數排行榜
    中商情報網訊:根據文旅部最新數據顯示,截至2020年6月30日,第二季度全國旅行社總數為39670家,完成第二季度報表填報的為30201家,佔總數的76.13%。2020年第二季度全國旅行社國內旅遊組織779.01萬人次、1431.18萬人天,同比減少83.23%、89.10%;接待1012.16萬人次、1724.50萬人天,同比減少78.59%、84.53%2020年第二季度旅行社國內旅遊組織接待人次匯總排序前十位的地區由高到低依次為浙江、江蘇、湖南、重慶、廣東、福建、四川、陝西、貴州、湖北,具體榜單如下:
  • 2020年第二季度世界華文傳媒新媒體影響力榜單發布
    中新社北京8月5日電 (記者 吳侃)2020年第二季度世界華文傳媒新媒體影響力榜單5日在北京發布。中國臺灣NOWnews今日新聞、臺灣《聯合報》、臺灣ETtoday新聞雲位列2020年第二季度世界華文傳媒新媒體影響力港澳臺地區總榜前三。
  • 協作機器人在2020年的3大標籤
    2020的餘額還有1周,空氣中瀰漫著濃濃的節日氣氛。聖誕、元旦、春節,即將紛至沓來。這個時刻心中既有對過去一年的留戀,又充帶著對未來的期待。很多人感嘆,魔幻的2020即將過去,經歷過種種刻骨銘心的歷史時刻,我們還有什麼戰勝不了?
  • 瑞思學科英語2020年第二季度淨虧損5800萬元,較上季度淨虧損1.038...
    北京時間8月14日,英語教育機構瑞思學科英語(NASDAQ:REDU)公布截至2020年6月30日的第二季度未經審計財務報告。財報顯示,2020年第二季度,瑞思總收入為1.65億元(2340萬美元),環比增長51.4%。
  • 《中國美》入選2020年第二季度優秀國產紀錄片推薦名錄
    11月2日,總局發布《關於推薦2020年第二季度優秀國產紀錄片的通知》,《中國美》入選2020年第二季度優秀國產紀錄片推薦名錄。 通知指出,根據《國家廣播電視總局關於做好2020年優秀國產紀錄片推薦播映工作的通知》(廣電發〔2019〕114號),為充分發揮季度推優紀錄片的示範引導效應,廣電總局日前組織相關廣電機構負責同志和專家學者進行評審,從全國選送的162部紀錄片中推選出49部2020年第二季度優秀國產紀錄片。
  • 2020年第一季度幻想題材美劇,西部世界,星際迷航等
    2020年喜歡幻想,科幻題材的小夥伴們,經過整理,以下為2020年第一季度精彩美劇,收藏下劇荒的時候看看。《德古拉》 推薦指數4顆星該劇以愛爾蘭作家布拉姆斯託克的同名小說為靈感,講述了在維多利亞時代的特蘭西瓦尼亞,吸血鬼德古拉伯爵為佔領倫敦而踏上了致命旅程的故事。
  • 2020年第二季度韓國手機市場:三星份額第一但iPhone SE出彩
    原標題:2020年第二季度韓國手機市場:三星份額第一但iPhoneSE出彩>>>2020蘋果教育優惠來襲,購買就送AirPods!社區曬單更有機會贏價值萬元「AJ1倒鉤」潮鞋!點擊進入蘋果教育商店。(注意:若威鋒App端無法直接點開連結,請嘗試長按)著名分析公司CounterpointResearch發布了一份有關2020年第二季度韓國智慧型手機市場的報告。據報導,三星位居市場之首,蘋果和LG位居第二和第三。根據報告,三星以67%的市場份額保持第一,公司環比增長3%。蘋果以19%的市場份額排在了第二名。這家美國科技巨頭環比僅增長了1%。
  • 2020年第二季度「廣東好人」候選人公示,河源有誰上榜了?
    2020年第二季度「廣東好人」候選人名單公示!為培育和踐行社會主義核心價值觀,選樹道德典型,弘揚傳統美德,廣東省精神文明建設委員會辦公室組織開展了2020年第二季度「廣東好人」評選活動。經各地各部門推薦和專家評審,評出2020年第二季度「廣東好人」候選人76名。
  • 喜報| 他們被評為2020年第二季度「廣東好人」
    為培育和踐行社會主義核心價值觀,選樹道德典型,弘揚傳統美德,廣東省精神文明建設委員會辦公室組織開展了2020年第二季度「廣東好人」評選活動。經各地各部門推薦、專家評審、網絡公示,李莎等76名同志榮獲2020年第二季度「廣東好人」稱號。
  • 市公安局2020年第二季度「津城警星」 評選活動結果揭曉
    自2020年7月16日開始,市公安局在大力開展內外宣傳的基礎上,利用公安網、市公安局門戶網站、平安天津微信、津衛鐵軍微信、《天津日報》微信,發動民警和群眾開展了2020年第二季度「津城警星」投票評議活動。
  • 2020年第二季度全國各省市星級酒店收入排行榜:浙江/北京/江蘇排名...
    中商情報網訊:2020年初新冠疫情突如其來,受疫情影響,全國餐飲酒店行業受重挫。根據文化和旅遊部數據顯示,2020年第二季度,全國星級飯店統計管理系統中共有星級飯店9923家,其中一星級60家,二星級1630家,三星級4819家,四星級2564家,五星級850家。
  • 有增無減:2020年第二季度網絡威脅演變,每分鐘面臨419種新威脅
    McAfee研究員兼首席科學家Raj Samani說:「到2020年第二季度,PowerShell惡意軟體等新威脅將繼續發展,遠程工作環境的員工迅速成為黑客組織的新目標。」Donoff在推動2020年第一季度PowerShell惡意軟體激增689%方面發揮了關鍵作用。
  • 2020年第二季度「武隆好醫生、好護士、好村醫」名單出爐!
    7月15日,「武隆好醫生、武隆好護士、武隆好村醫」2020年第二季度人物名單揭曉。武隆區人民醫院彭順剛、武隆區疾控中心陳旼媚等8名醫務人員上榜。(「武隆好醫生、武隆好護士、武隆好村醫」2020 年第二季度人物名單)據悉,「武隆好醫生、武隆好護士、武隆好村醫」推薦活動由區委宣傳部、區衛生健康委、區總工會、區委網信辦、區文明辦、區融媒體中心聯合開展,每季度開展一次
  • 2020年第二季度全國50個重點旅遊城市星級飯店數量排行榜
    中商情報網訊:根據文化和旅遊部數據顯示,2020年第二季度,全國星級飯店統計管理系統中共有星級飯店9923家,其中一星級60家,二星級1630家,三星級4819家,四星級2564家,五星級850家。
  • 國家廣播電視總局辦公廳關於推薦2020年 第二季度優秀國產紀錄片的...
    國家廣播電視總局辦公廳關於推薦2020年 第二季度優秀國產紀錄片的通知2020-11-02 21 : 01 來源:宣傳司廣電辦發〔2020〕288號各省、自治區、直轄市廣播電視局,新疆生產建設兵團文化體育廣電和旅遊局,中央廣播電視總臺辦公廳、電影頻道節目中心、中央新影集團、中國農業電影電視中心、中國教育電視臺
  • 退役軍人事務部辦公廳關於2020年第二季度部門戶網站及微信公眾號...
    關於2020年第二季度部門戶網站及微信公眾號檢查情況的報告2020年第二季度,根據國務院辦公廳關於做好政府網站季度抽查工作的有關要求,對我部門戶網站及部微信公眾號進行了抽查。結果顯示,總體情況良好,無單項否決情況,結果合格。
  • 斯凱奇、Puma、安德瑪、ZARA等品牌發布2020第二季度及上半年業績...
    同時,開雲集團第二季度的銷售額與去年同期的三個月相比下降了43.7%至25.5億美元,這是由於全球門店關閉和消費者支出減少,更普遍的是與COVID-19健康大流行有關。09安德瑪二季度收入下降41%,中國市場復甦明顯美國時間2020年7月31日,安德瑪(Under Armour)發布第二季度財報。此前,該公司公布的2020年第一季度財報顯示,截至3月31日的三個月內,受到全球疫情衝擊,營業收入同比下滑23%至9.3億美元。從最新財報來看,安德瑪第二季度營收情況似乎雪上加霜。