通過AR投影和模塊化的畫板,讓用戶將照片、數字圖片畫成藝術品

最近，有許多開發者將AR技術應用在創作上，比如：今年CES上Cupixel曾展示AR臨摹套件，通過AR投影和模塊化的畫板，讓用戶將照片/數字圖片畫成藝術品。另外，還有支持AR模式的填色簿，用AR在周圍空間中創作3D圖畫的應用等。

本周，谷歌創意實驗室(Google Creative Lab)也研發了一種相似的技術：Drawalong AR(一起畫AR)原型應用，可以讓你將YouTube繪畫教學視頻投射在白紙上，讓你跟隨著老師的畫筆一起學畫畫。

據青亭網了解，參與Drawalong AR項目的作者Jane Friedhoff最初的靈感是希望用AR來學習繪畫字，她表示：學習繪畫字很讓人放鬆，但難度也不小。掌握字裡行間的變化需要注意到很微妙的細節，比如：握筆的方式、力道、字體的弧度，總之你的上肢到紙張之間的每個部分都很重要。

因此，如果沒有老師手把手教你繪畫字，就只能通過字帖或者視頻來學，但它們並不能達到效果。比如字帖，儘管它能提供一步一步的指導，但是你get不到大師行雲流水的筆觸，而且她喜歡的一些繪畫字藝術家沒有出字帖。

而視頻教程的話，它的缺點是你需要一邊臨摹一邊看視頻，比較麻煩，效果還不夠好。

後來Friedhoff和同事討論這個問題，想到一個主意，就是利用AR技術，這樣就能把視頻變成字帖，同時給現有的YouTube視頻教程帶來全新的學習體驗。

為了做出這樣一款原型AR應用，Friedhoff邀請了專業畫塗鴉畫的YouTube博主AmandaRachLee當顧問。據悉，Amanda的訂閱人數達130萬，她的頻道內容主要將如何攻克和簡化書法、繪畫、做手帳遇到的難題，很多人因為她的視頻而受益。

一、開發原型應用

在決定將YouTube視頻作為該AR應用內容來源之前，Friedhoff和團隊在UI和UX方面進行了許多技術性考量。

他們先是以HelloAR示例為基礎設置了一個新的Unity ARCore應用，原理是在HelloAR中用來識別和可視化平面，以及處理投射和錨點的代碼中，將默認prefab換成「tracing paper」(描圖紙)。

儘管設置視頻的投射功能不難，但是如何讓AR影像固定在紙張上，就比較複雜了。

相比之下，Cupixel通過將畫板拆分成9個左右的小模塊，就會比較利於你將AR影像與紙上的畫對齊，而且用戶還需要將開啟Cupixel應用的設備固定在腳架上。

二、保持穩定的追蹤

AR與繪畫結合，產生了一個難題。因為如果要畫畫，你會想在平滑的空白表面上完成，但是AR識別平面需要找到特徵點，最理想的就是具有紋理、輪廓和色差等特徵的環境。

追蹤對於臨摹來講至關重要，因此AR投影對於追蹤的要求很高。為了解決這一問題，Friedhoff和團隊想到了以下辦法：

1，將圖像鎖定在屏幕某處：這個技巧類似於投影描圖器，它要求攝像頭固定，因此你可能需要用三腳架來固定行動裝置。不過Friedhoff希望Drawalong應用的用戶能夠用手拿著手機，還能夠放大、旋轉AR圖像以及改變視角。

2，在畫板上設置AR標記：這種標記可以是手繪，也可以是列印的，關於標記的數量，則是越多越好。不過Friedhoff表示：這種方式比較繁瑣，而且用戶畫畫的表面就不是空白的了。

3，進步式AR標記、計算機視覺/機器學習技術：利用計算機視覺和機器學習算法，用戶畫的圖可作為進步式AR標記，也就是說AR應用可根據用戶的筆觸一步一步追蹤。不過這種方法過於繁瑣，Friedhoff暫時不希望將它用在實驗性應用中。

4，固定畫板：這個方法的原理是，將畫板固定在有紋理或色差的平面上，然後利用攝像頭來追蹤畫板下方的平面。

Friedhoff和團隊認為第四種方法最簡單，也許以後還可以與YouTube正式結合，找到更多應用場景。

找到了合適的追蹤方法，他們便從Unity資源商店下載了YouTube播放器資源，在這個資源中你可以搜索YouTube視頻，然後以垂直或水平的方式投射到平面上。

三、尋找適合的UI/UX

像Amanda這樣的博主，已經上傳視頻5年了，積累了大量素材，如果給她過往的視頻添加支持AR的功能，肯定是步驟能越簡單越好。因此，Friedhoff和團隊找到了6種解決這個問題的辦法。

1，將AR功能加在適合移動的視頻內容中：Friedhoff和團隊認為，AR臨摹有兩種方法，一種是直接在紙上臨摹，另一種是將AR影像投射在已有的畫作上，然後再潤色，或者你可以將AR影像投射在已經有塗鴉的手帳上，在其中的空白處臨摹AR圖。

另外，對於那些不是從頭頂拍博主畫畫的視頻來說，也可以在AR應用中加入傾斜、變形和視角調整的功能，這種功能對於有點角度的拍攝來講會有效果。

2，讓視頻速度可調：有些新手可能慢一點，希望視頻也能跟隨他們的速度，有些專業點的觀眾也許希望視頻快一點，在有需要的時候再減慢速度，因此AR投影也能調整速度效果會很好。

同時，也可以在應用中加入方便用戶點擊的暫停鍵，你按下去的時候視頻會暫停，手鬆開就會繼續播放。

3，控制AR模式的時長：對於移動端AR來講，用戶長時間舉著手機來查看AR可能會很累。而通常繪畫視頻的長度在5到10分鐘左右，如果全程都是AR，用戶可能吃不消，因此可以在有需要的地方加入AR模式，以此來降低長時間舉手機給用戶帶來的疲勞。

Friedhoff和團隊做了一個全屏按鈕，可以讓用戶隨時在AR和非AR的全屏模式之間切換，切換過程很快，而且追蹤的效果不會受到影響。另外一種用法是，用戶還可以對著非AR視頻畫，然後再切換到AR模式進行對比。

總之，就是考慮到用戶的舒適度，以及他們希望使用AR模式的時長。

4，支持透明度和色度調整!!

如果直接將YouTube視頻投射在畫板上，用戶可能會看不到自己的畫筆和手，這就有點像閉眼睛畫畫，很難保證準確度。

透明度方面，Friedhoff和團隊做了一個透明度滑動器，支持完全透明到完全不透明(0到1)之間的調整。

然而這樣還不夠，因為繪畫視頻中的畫板也是白色的，屬於不需要的圖像，它只會遮擋用戶使用的畫板。但是，當你提高白色透明度的時候，視頻中的其他顏色可能會更加透明，不容易看到。

因此，他們決定嘗試色度調整的方式，他們稱之為「穿透」模式。色度調整功能可以讓你將圖像或者視頻中的特定色彩換成別的顏色，原理與綠幕差不多。也就是說，通過色度調整，你可以將白色替換成透明色，或者直接顯示用戶畫畫的動態像素。總之，這個功能大大提高了AR臨摹的效果。

此外，如果色度調整後，有些線條看不太清楚，也可以在AR應用中加入著色器，來補充缺失的線條色彩，或者調整對比度。

不過光是靠透明度和色度調整兩個功能，Friedhoff和團隊的應用就足以生成效果夠好，且方便使用的AR投影了。

四、AR臨摹的好處/用途

應用做出來之後，Friedhoff拿給Amanda體驗，得到了積極的反饋。Amanda表示，粉絲們可以通過AR視頻來模仿她畫畫的手勢和筆觸。同時，AR臨摹應用也可以用於學習外語的寫法。就像前不久，蘋果CEO蒂姆·庫克來訪中國的時候，就曾拜訪一家AR教育公司，用AR學習寫中文。

有了AR臨摹，你不需要字帖就能體驗到更好的效果，而且YouTube上的資源素材也很多。

對於博主來講，將YouTube視頻與AR結合的過程不複雜，而且也不會改變原視頻內容。而對於觀眾來講，Drawalong AR應用使用起來很方便，而且有一種老師手把手教你的感覺。

最後，Friedhoff表示：這是一個成功的實驗，我們很期待未來能有更多內容創作者將AR與教學視頻結合。