情感智慧機器人實驗室(LAIR)成立於2017年,以賦予機器人真正的智能和情感為發展目標。我們相信,在未來的生活中,情感智慧機器人將不可或缺,在家庭、安全、教育、商業、健康等領域中都將發揮重要的作用。北京大學校本部(北京)實驗室(PKU-LAIR)自2017年起開展研究工作,注重機器人對人類情感識別、注意力分析等學術研究;北京大學信息技術高等研究院(杭州)實驗室(AIIT-LAIR)於2018年8月開始建設,注重開發人–機器人自然交互技術以及研製實體智慧機器人。
2020年第二季度可以說是碩果纍纍,本期我們將分享AIIT-LAIR階段性的工作成果,供大家參閱!
AIIT-LAIR以浙江省北大信息技術高等研究院作為第一單位,發表了一篇學術論文被2020年的IEEE/RSJ智慧機器人與系統國際會議IROS(International Conference on Intelligent Robots and Systems)錄用,IROS是世界機器人領域公認的兩大頂級學術會議之一。入選論文對「妙得」畫像機器人的原理及創新點進行了描述。論文信息如下:
Fei Gao, Jingjie Zhu, Zeyuan Yu, Peng Li, Tao Wang, 「Making Robots Draw A Vivid Portrait In Two Minutes」, accepted by 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems, Las Vegas, USA, 2020
AIIT-LAIR致力於研發家庭陪伴型機器人,使機器人能夠像人一樣理解與表現;使機器人能夠與人們進行情感相關的互動,包括自然語言、語氣語調、面部表情、頭部動作、相互凝視、手勢與指向、注意焦點傳達等;使機器人具有自主學習能力,解決未知問題,實現個性化學習,並形成特有人格,讓機器人真正的成為家庭中的一員。我們的目標是追趕科幻電影裡的機器人。為了實現這一遠大目標,AIIT-LAIR於2019年開始研發情感夥伴仿人機器人-泰德,隨著泰德各種功能的實現,我們又結合實際應用場景,將泰德的功能衍生出新的機器人,比如畫像機器人-妙得就是基於泰德畫像模塊研發出來的。除了仿人機器人,動物型機器人也可以成為人類的夥伴,於是活潑調皮的機器狗-蘿蔔就誕生了。與此同時AIIT-LAIR還研發了針對會議場景的會議秘書機器人-小松。下面我們就一一來了解一下他們的進展吧。
泰德是AIIT-LAIR針對家庭陪伴場景研發的仿人機器人。我們希望機器人不是冷冰冰的機器,而是能夠感知識別人的情緒並進行擬人化的情感表達的情感智慧機器人。2019年研發完成的泰德v0.1.0具備了視覺、語音交互和運動能力,能夠觀察、傾聽、表達、操作,並與人進行交互活動。泰德機器人用途廣泛,可陪伴老人,進行健康、安全監測;可用於文旅導覽,進行多語種導覽;可用於娛樂領域,進行琴棋書畫、太極拳等才藝表演;也可用於安防領域,檢測神情異常人員、交通指揮、違法監測等等。
為了使泰德擁有更多能力,AIIT-LAIR基於2019年的研發成果,於2020年開始研發泰德v0.1.1,該版本將外觀結構重新做了設計,可愛的外觀更能給人親近感,配上靈動的大眼睛,讓人不由自主的想跟他互動一下。泰德v0.1.1能與人猜拳、進行多種仿人動作,與人打招呼、做自我介紹。
因為想賦予泰德更多才藝,AIIT-LAIR開始研發機器人彈琴的功能,經過不斷測試、改進,現在AIIT-LAIR機器人會彈琴啦!一起來聽聽吧~
雖然現階段的機器人在用單手彈琴,但是不久的將來就能像鋼琴家一樣,看著樂譜,用一雙靈活的手彈奏優美的音樂了。
我們還把2019年針對泰德研發的下棋、書法、畫像模塊集成到了泰德機器人上,現在泰德可與人對弈象棋、能書寫正楷字體9000多個、還能給人畫像,下面請欣賞泰德的才藝展示~
泰德正在持續升級自身能力,會變得越來越聰明、越來越靈動,敬請期待~
妙得是AIIT-LAIR在2020年上半年基於泰德畫像模塊研發出來的一款畫像機器人,具有以下特徵:
支持生成簡筆畫、素描、插畫、動漫、水墨畫等多種風格的人臉肖像;
妙得外觀設計圖
(左圖為拍攝照片時搖臂的位置,右圖為拍攝完畢後搖臂的位置)
加入動漫元素的妙得外觀設計圖
目前妙得原型機已經完成,能夠實現自動化送紙、加墨、繪畫等功能,從而建立了無人值守且便於部署的妙得無人畫像機器人系統。
妙得原型機
不同風格肖像畫
示例
畫像機器人-妙得工作流程示意
同時我們進一步開發了基於雷射印表機、CNC雕刻機的自動化系統,實現了以下功能,拓展了妙得的應用場景:
可在多種材質上繪製或雕刻風格畫,比如扇子、T恤衫、木材、金屬、玻璃等;
可以在火漆印章、玉章、羅塞塔石碑、定製版包包和獎狀以及聯名鑰匙扣等實物中繪製或雕刻專屬人像,例如定製專屬版人像印章,作為紀念品永久保存。
專屬版人像印章
妙得可應用於旅遊景點、科技展廳、文化藝術產品創作、個性化需求服務等場景。
蘿蔔是一款機器狗,不但可以成為人類的寵物、夥伴,還能協助人類工作。可應用於家庭陪伴、安防巡檢、文旅、智能玩具、教育教學等場景。
2019年研發的蘿蔔1可在草地、石子路、上下坡等多種路況下實現小跑、搖擺、蹲起、轉彎、小跳、大跳等動作,同時具有防撞功能。基於這些功能,AIIT-LAIR開始研發能做更多複雜動作的蘿蔔2,比如能上下樓梯、開門、轉送物品、智能巡檢、與人更友好的交互等。為了能完成複雜動作,蘿蔔2在外觀結構上進行了改進,其動力更足,自由度更多更加靈活。目前蘿蔔2在模擬器中已實現各種步態(小跑,奔跑,轉彎,上樓梯等)並正在遷移到實體機器人的過程中,更多功能也正在研發中。
小松是一款針對會議場景研發的會議秘書機器人,小松v0.14的功能包括:
小松可應用於多人會議、遠程會議、需要會議錄屏或生成會議記錄等會議場景。
小松v0.14
受新冠肺炎疫情的影響,線上遠程會議的頻率增多,由於電腦的拾音及攝像範圍受限,這時我們的小松就排上了用場,不但可以使遠程接入者能全方位看到現場的參會者、全方位拾取現場參會者的聲音,還能共享投屏。
AIIT-LAIR 2020年第二季度申請外觀專利1項。在近兩年的時間裡共申請專利20項,其中18項發明專利,1項實用新型專利,1項外觀專利。
2020年6月18日,北大信研院與日本理光集團宣布成立「理光視覺計算技術聯合研發中心」。北大信研院此次攜手理光集團,將以先進視覺計算為基礎,解決智慧視覺、增強現實與虛擬實境等產業轉型升級的關鍵技術研發,積極推進先進位造、機器人等領域的智能化發展。
目前,聯合中心結合雙方優勢已實現初步技術應用。該應用通過AIIT-LAIR畫像機器人的圖片處理技術,可將照片處理成肖像畫、水墨畫、炫彩和抽象畫等多種風格,並通過理光印表機印於衣物等物品上,生成個性定製產品。該項應用可廣泛應用於文旅、文創等行業,並已與相關機構達成合作意向。
AIIT-LAIR在2020年第二季度的各個項目成績顯著,獲得了各界機構領導人的關注與肯定,我們非常榮幸地接待了領導們的調研訪問,同時為項目合作奠定了基礎。