雷鋒網按:本文根據羅仁權教授在2016世界機器人大會(World Robot Conference)上的演講編輯整理而來,在未改變願意的基礎上略做了刪減。
羅仁權,臺灣大學講座教授,IEEE院士,英國工程技術學會(IET)院士,華碩集團首席技術官。曾擔任兩屆臺灣國立中正大學校長、臺灣機器人協會創會主席。主要研究機器人控制系統、智能型多重傳感器融合與整合系統、計算機視覺、3D列印製造技術等。並曾針對以上領域發表國際學術期刊論文、會議論文、專著共計450餘篇,申請專利20餘項。
為什麼要實現機器人藝術呢?我們的世界每天都非常豐富多彩,生活當中也有著非常多的色彩,包括舞蹈和各種不同顏色的場景和建築。我們希望我們的生活充滿藝術,而機器人是不是可以幫助我們從事藝術創作呢?所以藝術是生活,但是藝術現在要和技術結合起來。藝術和技術之間現在有重合的地方,這種重合是二者共通的地方,我們可以看到這種共通的地方有什麼魔術般的效應出現。
水族館裡面孩子都在看著不同色彩的魚,實際上它是技術、科學和藝術的結合,這樣的一種把真實的魚和技術上產生出來的虛擬的魚結合起來需要很多的創造性。
現在很多人擔心藝術是不是能夠和機器人結合起來,我們已經看到了很多研究文獻,這就是在EPFL-Lab裡面的三個圖,上面是真實的圖像,下面的黑白的圖像就是機器人畫的。之前我們看到了庫卡機器人在繪畫夢露,繪畫出來的也都是黑白的圖片。
我們能不能對機器人做進一步的改善呢?很多情況之下畫畫是單色的,或者是通過水彩和鉛筆來畫的,而且沒有視覺上的反饋,我們完全可以改進,也可以加上各種顏色,然後讓顏色之間進行混合。
對於一個畫家來講,我們需要讓他在畫畫的時候畫布上面可以有視覺的反饋。我們希望應用機器人技術的時候能夠讓它具有同樣的藝術創造力,然後也有視覺上的反饋。
現在我們使用電腦的圖像處理可以列印出非常漂亮的圖片,所以現在我們要把藝術和計算機結合起來。我們有油畫、有水彩,可以看到電腦的顏色就在電腦裡面,所以我們可能摸不到,我們的目標就是要把人和機器在創造力上形成一種合力,而且把這種界限模糊掉,能夠讓人真正地進行欣賞。
這個機械臂負荷是五公斤,最大的速度是每秒鐘五十釐米,然後幫助人們進行繪畫。
這是我們的法國交換生,我們希望能夠看到是不是可以讓機器人畫出彩色的人像畫。我們有蠟筆、鉛筆、鋼筆和油畫的毛筆,這個學生坐在一個視頻系統和繪畫機器人面前,然後機器人就開始工作了。
我們有一個圖像的輸入,然後我們對圖像進行處理,下一步再把它進行渲染,因為原有的圖片看起來不是特別的好,所以把它進行了非圖片式的真實渲染,可以讓機器人進行攝像。左邊有一個形態學的圖片,後來我們把它加上了顏色,然後把三者結合就可以看到最終的產品。
我們在圖片處理的過程當中關注所有的這些弧線,對於邊角也要進行探測,使用的算法叫做基於浮點的差異,簡稱為FDOG。然後我們對於形態學方面進行運作,這樣能夠讓它便於繪畫。
另外對於邊角的探測我們使用的是FBOD這樣的算法,就在這個點對於周圍的圖片和邊角進行計算。如果有顏色交叉的情況我們就會給它更多的權重,如果是相同的方向我們也會給它更多的權重。
下面我們會進行顏色細分,所以問題是一個彩色的圖像是256×256可能性的顏色,然後我們把這些顏色進行簡化,通過蠟筆進行模仿。之前說過這是一個人像,但是我們要讓機器人真正理解顏色。Y指的是顏色的亮度成分,U和V指的分別是顏色的層次或者內部的成分,然後進行轉化和協調,也要整個進行處理。
上面的一行是真實的照片,下面的一行是機器人畫出來的圖片。
藝術家們是怎麼創造藝術的呢?之前的畫是平面的,然後加上陰影就可以了,現在我們完全可以進行升級,也完全可以模仿藝術家。
這是用彩色的繪畫創作,可以看到首先是把顏色進行混合,然後一邊看一邊使用不同的顏色。首先是要感知整個的圖像,然後會有圖像的處理,再去計算整個的圖像。基於這種美學的觀點,最終創造出這樣的圖片,比如我們把它叫做黑白加上RGB的顏色。
這是我們原有的圖片,然後對它進行預先的處理,最底下就是要對相關的顏色進行檢查,不斷地進行對比,最終的情況是RGB。照相機是要把RGB變成粉色、黑色和黃色,所以在會話的時候我們要給它各種視覺上的反饋,就像藝術家的創作一樣。
所以我們總是去模仿藝術家實際的創造過程。中間有一個顏色混合的情況,然後不斷地進行比較,如果沒有進行很好的對齊再進行修改。這些對圖片來講是非常重要的,KCAT是通過照相機得到的顏色,所以在底下對這個顏色的成分進行計算,然後進行相關的調整。這個畫的地方也是不同的計算過程,比如這個蘋果,我們可以看到亮色的部分,然後計算一下這一筆的方向是什麼,還要找到最大的一筆多大,然後再加上顏色和方向。我們是把各種不同的顏色變成各種小組,包括黃色和RGB,然後將混合顏色根據不同的順序進行繪畫。
這也是他們畫出來的實際照片,包括愛因斯坦和水果。
上周我們獲得了一個IROS 2016最佳娛樂獎項,關於國際機器人藝術大賽,很多關注的都是機器人自動化出來的圖像,我們希望機器人能夠創造出來一種更為獨特的藝術創作,人和機器未來將能夠在機器人這個領域有更多的合作,創造出更好的藝術作品。