Next Idea | 用圖像連接歷史,在小程序裡挖掘文物

2021-03-02 微信極客WeGeek

有時我們覺得,文物離我們生活很遠,即使是來到博物館,也只是以一種走馬觀花的方式,既不能感受到文物背後的歷史底蘊,也無法感受到歷經多年重新被發現那一刻的驚喜。

Next Idea 騰訊創新大賽中,不少小程序作品基於圖像識別,利用新技術還原文物發現的過程,把現實圖像與歷史連接起來。為此,微信極客對山西博物院和首都博物館小程序的青年創客團隊進行了採訪。

團隊名稱:學古探微

成員:周同 劉昱 儲港 殷楚彥

學古探微團隊在採訪中分享他們的開發經歷。在前期調研階段,他們去了太原對山西博物院和新開的青銅分館進行實地調研,當時正值山西博物院建院100周年,兩個博物館的展覽策劃、引導和講解都很精彩。考慮到山西博物院的線下設施和講解服務已經非常完善,他們認為小程序可以做的是打通線上與線下體驗,引導用戶走進博物館去看看自己在線上解鎖的文物,達到寓教於樂的目的。

「繪晉」就是這樣一款小程序,觀眾根據線索畫出文物,由機器判斷相似度,合格的作品將會被解鎖,並收集到個人作品中。這種玩法讓用戶主動觀察和了解文物,趣味性較強,且學習成本較低。另外,這款作品有著高「顏值」的外表,不僅契合了「繪晉」的核心創意,還融合了數位化文物的莊重又活潑的氣質。

點擊圖片進入「繪晉」小程序

這裡用到的技術包括圖像處理草圖匹配算法。在實現用戶手繪圖與文物原圖的相似度比對的核心功能時,為了減少用戶每次提交時的對比時間,團隊預先提取了所有的文物圖片的邊緣信息和關鍵點及其輕量化sift描述子,並將其存放到資料庫;用戶提交手繪圖片後,由於不同機型的手繪圖尺度不同,需要先在最大程度保證手繪完整的前提下將手繪圖縮放至文物原圖大小,然後提取手繪圖的邊緣信息與原圖邊緣信息對比得到第一種相似度,接著提取手繪圖中原圖sift關鍵點區域的描述子與原圖描述子進行對比得到第二種相似度,最後根據相應公式結合這兩種相似度得到最終相似度,以確保最終結果的合理性。

學古探微團隊的項目開發經歷了四個階段:調研和策劃-低保真原型-高保真原型-開發和測試,團隊主要使用了快速原型法不斷進行用戶測試完善產品需求,同時降低了設計和開發迭代的工作量。考慮到小程序對後端的要求較低,在項目初期確定了使用便捷強大的小程序雲開發,大大提高了團隊後期的開發效率,降低了開發成本

由於團隊目前對於開發落地產品的經驗相對欠缺,在具體執行時遇到了交互、開發、視覺等實踐方面的挑戰。因此他們向微信小程序社區和身邊同學請教,並不斷進行原型測試。另一方面,團隊成員們分布在北京、上海和荷蘭三地,更大的難題在於高效溝通。因此他們充分利用原型協作工具,視覺-交互-前端的實時更新和溝通都根據同一份原型。而隊長則作為團隊的信息樞紐,負責實時溝通和處理不同方面的產出。

學古探微團隊透露,目前只挑選了7個朝代的典型的20多個文物,對於山西博物院館藏而言只是滄海一粟。未來繪晉小程序將會擴大文物庫,定期更新,讓人們了解豐富多彩的三晉文化。除此之外,團隊還會從線下的角度優化,讓繪晉小程序更好地輔助和增強線下的參觀體驗。

團隊名稱:Nightingales

成員:莫鵬程 付純明 嚴璇 譚傑 羅新 陳思 黃煜勤 金劍鋒

首都博物館於1981年的10月1日正式對外開放,是北京最大的綜合性博物館。Nightingales 團隊在前期調研中發現,雖然首都博物館每天觀眾絡繹不絕,但多數人很難在短暫的看展中了解文物的作用特色以及歷史意義。因此他們試圖將日常生活與首博不同時期的文物結合起來,讓用戶通過熟悉的生活場景認識文物、了解文物

點擊圖片進入「京城1981」小程序

為此團隊開發了「京城1981」這樣一款小程序,結合先進的人工智慧圖像識別技術,用戶可以拍攝或上傳身邊物品圖片,通過智能識別匹配對應的文物。比如上傳一張椅子的照片,或許可以「發現」清代的紅木嵌螺鈿三角椅。

基於開發周期、最終效果和研發難度的考慮,團隊最終決定以上傳圖片考古的互動形式進行產品設計。這部分主要運用了圖像識別和處理技術。騰訊雲提供了圖像標籤接口,開發者可以獲取到和用戶上傳圖像具有較高相關性的標籤。然後通過自建的分析算法,對圖像標籤和資料庫中已有文物再次進行相關性分析,提取出相關性靠前的文物數據。為了增加用戶在挖掘文物時的參與感,小程序通過動效讓整個挖掘的過程更生動,同時結合用戶上傳的圖片識別出的標籤隨機出現,營造用戶挖掘文物的氛圍。

在UI互動設計階段,為了讓整體風格體現首博的特色 ,在設計細節上提取了首博和京城的相關元素,如京城建築、裝飾圖案、館藏文物的紋理等。字體也特地選用了「方正清刻本悅宋簡體」來突出歷史感。而背景選用書卷經歷史沉澱後的紋理和顏色,來襯託出整個設計的復古氛圍。

開發實際分為兩大塊同步進行,一是利用騰訊雲提供的人工智慧圖片識別技術對圖像的識別和處理,二是小程序頁面的開發。由於Nightingales團隊之前在人工智慧的應用和微信小程序開發方面都有比較豐富的經驗,所以整個開發階段還算比較順利。考慮到頁面精美度以及實際的產品交互需要,團隊採用自定義導航欄的方式實現一些更好的渲染效果,例如頁面全屏展示、導航欄淡入淡出、導航欄帶背景圖等。

在後期的產品優化階段,團隊主要從產品整體的交互體驗和文物的匹配度進行優化,同時新增了一些玩法功能,例如挖掘文物獲得的不同的勳章,以及結合首博的展覽陳列增加了看展打卡功能。

未來,他們將會考慮結合用戶在首都博物館看展的場景,在看展過程中增加一些基於小程序的互動,讓博物館觀眾對首都博物館及館藏文物有更深的了解;另一方面,將小程序和公眾號結合起來。讓用戶通過公眾號了解首博臨時展覽的相關信息,最新活動的時間和內容;通過小程序獲得更多場景的服務,例如線上預約、文創產品購買等。

上述的兩款獲獎作品,他們未來的完善方向都考慮到線上線下的互動結合,這也體現了圖像識別將現實與虛擬結合起來的特性。隨著5G網絡的發展,圖像識別將會在更多領域發揮作用,與日常生活更加貼合。這也與微信小程序連接線下的特性不謀而合。

歡迎更多開發者及運營方與微信極客WeGeek平臺深入交流互動,包括但不限於博物館領域,我們共同深耕行業場景。可通過郵箱wegeek@tencent.com與微信團隊取得合作聯繫。

推薦閱讀:

相關焦點

  • 強連接運營社張強:1800W+小程序用戶,如何將小程序玩出新花樣?
    我是強連接運營社的小編:小燕隨著網際網路移動的不斷發展,微信小程序早已融入到了我們的生活中,用完即走,不用下載的優點,讓它很容易就能使用並在微信中進行傳播。用戶可以隨時隨地使用它,也可以非常輕鬆地關閉,實現了應用程式「隨啟隨用」的夢想。
  • 小程序與視頻號連接,對於小程序有什麼重要意義?
    微信是一個龐大的生態流量池,流量的優勢對於我們很多人來說都看得非常清楚了,平臺很多,但是不知道怎麼抓住,今天機會來了,給大家介紹一下新的獲取流量的方法,那就是視頻號加上小程序的玩法,相信很多人已經想到了吧,這是最近剛出不久的一個東西。
  • 「數字故宮」小程序上線 600件珍貴文物指尖把玩
    此次發布的「數字故宮」小程序進一步、全面地整合了故宮在線數字服務,不管是遊故宮、逛建築,還是賞文物、看展覽,「數字故宮」小程序都可以「一站式」滿足用戶需求。用戶可以通過小程序快速定位、瀏覽「數字文物庫」「故宮名畫記」「全景故宮」;還可以在「相識大考驗」趣味答題中了解文物知識,分享與文物的「緣分」。未來,用戶將可以在小程序「一鍵查詢」故宮所有的數字資源。
  • 「回眸十三五」挖掘歷史文化遺產內涵 讓文物活起來
    走進梁啓超紀念館,在一樓序廳醒目位置貼掛總書記強調的「要愛惜城市歷史文化遺產,在保護中發展,在發展中保護」的重要要求,在序廳設立展示屏,循環播放總書記視察紀念館照片和視頻。在「飲冰室今昔」展廳,記者看到了梁啓超孫女梁柏有向梁啓超紀念館捐贈的曾經飲冰室藏品10件/套書畫,這些文物歷經百年重回天津,並在「飲冰室」向市民展示。
  • 大英博物館開放新項目:190萬張珍貴文物圖像免費下載
    ,190萬張的珍貴文物圖像在保證不用於商業用途的情況下可以供公眾免費下載和使用,這也是大英博物館在2007年推出在線目錄後首次可以讓用戶在手機和平板電腦上訪問。「允許下載、轉換和使用文物圖像,使公眾能夠更充分地與博物館的文物互動,使之成為文化史創作的參與者。正如埃克塞特大學(University of Exeter)文化遺產法專家安德裡亞·華萊士(Andrea Wallace)今年早些時候在接受《史密森尼雜誌》(Smithsonian)採訪時說,將文物資料轉化為「知識共享」,「將一部分權力轉移給了公眾」。
  • 深度| 微信小程序現在在想什麼?
    騰訊視頻的小程序是個好的小程序麼?是,至少它滿足了我看《吐槽大會》的需求 — 我不用去下載騰訊視頻的 app 。線下真的有那麼多可以挖掘的流量麼?真的有,但玩法沒有線上產品那麼簡單。一把刀能做什麼,以及它的主人想用它來幹什麼,是兩碼事。
  • 文物虛擬修復:歷史的數位化傳承
    該項目組針對中華文化遺產的保護需求,採用虛擬實境、圖形圖像處理等信息科學新技術,完成了多項文物數位化、文物虛擬復原修復、數字博物館、數字考古方面的科研項目,解決了文物的三維數位化真彩色信息的採集、基於網絡的虛擬實境瀏覽技術等關鍵技術問題,形成了系列的文化遺產數位化處理與保護的方法與科技成果,為文物保護、考古、古人類學的研究開闢了新的途徑。
  • 小菠蘿說英語丨好主意除了用「great idea」,還可以用哪些?
    當小朋友們一起做遊戲時候,有人出了一個好點子,你非常贊同,可以誇獎對方說That's a great idea(真是個好主意)。例句:- We can go there by bike.have no idea = no idea 完全不知道如果有人有事情問你,但是你完全不知道,可以回答Have no idea/no idea。
  • 臺北故宮放大招:7萬張文物圖像免費商用,圖啥?
    臺北故宮首次免費釋出典藏文物圖像供商用臺北故宮博物院近日表示,將首次免費釋出典藏文物的圖像供商業使用
  • 【回眸十三五】挖掘歷史文化遺產內涵 讓文物活起來-新聞中心-北方網
    在「飲冰室今昔」展廳,記者看到了梁啓超孫女梁柏有向梁啓超紀念館捐贈的曾經飲冰室藏品10件/套書畫,這些文物歷經百年重回天津,並在「飲冰室」向市民展示。  近年來,河北區加大力度保護發展城市歷史文化遺產,在充分挖掘梁啓超紀念館文化底蘊和時代內涵方面下功夫,把習近平總書記的重要指示精神落到實處
  • 想要開發小程序,該用什麼樣的小程序開發工具?
    微信小程序怎麼做呢?離不開小程序開發工具。利用這些工具,你可以根據需求生成不同的小程序。不過,不同小程序工具的質量、製作難度都有不小差異,因此我們選擇需慎重。那麼小程序開發工具有哪些?這些微信小程序開發工具哪個好用?下面就跟大家盤點分析一下。
  • 泛亞視野|文物的時空漫遊,用文物穿越中華5000年
    「網際網路+中華文明」數字體驗展,展覽以「文物的時空漫遊」為主題,首次以數位化形式結合創意互動玩法,共同呈現近百件著名文物。本次展覽獲得中國文物交流中心、首都博物館支持,敦煌研究院、上海博物館、湖南省博物館、河南博物院、陝西歷史博物館、湖北省博物館、浙江省博物館、重慶中國三峽博物館、山西博物院、秦始皇帝陵博物院多家文博單位共同合作,圍繞經典文物IP打造全新數字文博體驗。
  • 快手推出「早安看看」,探索以小程序挖掘微信流量
    在影像層面,這些用戶習慣在微信中觀看短視頻,製作分享音樂相冊,而不是用短視頻平臺記錄生活。早安看看對短視頻的聚合,以及音樂相冊工具的提供,有助於快手觸達到這部分用戶。由於和騰訊的合作關係,微信小程序一直是快手發展的助力。
  • 百度要用AR「復活」歷史文物:你將看到彩色兵馬俑
    而秦始皇兵馬俑之後,百度還將與圓明園等國內外的其他文物機構單位進行合作,實現「技術+歷史」的結合。
  • 西安地鐵2號線曾挖掘130多古墓,文物200餘,從西漢王侯明代藩王
    所以近年的修地鐵如同大型考古挖掘現場。網絡上流傳著這樣一個小故事:當初二號線開工運營,就挖掘並清理出130多座古墓,出土文物200多件,從西漢王侯將相到明代朱氏藩王,橫跨歷史兩千餘年。所以,當小編深入到地下20米處,見到西安地鐵五號線施工人員,開口的第一句話就是:「咱這挖出過文物沒?」工作人員笑了:真沒挖出過!要知道,地鐵的建設要穿越大量的建築。
  • 文物漫遊網際網路時空
    高山流水」主辦方供圖站在大屏幕前左右移動,長沙馬王堆漢墓出土的「素紗衣」便可以模仿你的動作,隨你任意舞動;揮動雙手,作彈撥狀,一臺加入交互密碼的「古琴」即能演奏出古曲;坐在宛若梵谷《星空》般夢幻的地面交互影像空間上,伸手「握」住一隻酒杯就能「賦詩」一首,進入古人曲水流觴的雅境之中……9月26日至10月25日,由國家文物局指導,騰訊主辦,敦煌研究院、上海博物館、湖南省博物館、河南博物院、陝西歷史博物館等
  • 一篇文章秒懂酒店小程序,酒店業需要什麼樣的小程序?
    12月高參君在「酒店高參」主辦的酒店業小程序沙龍中提到,小程序將有極大可能旋起微信第二次創業熱潮,第一波是公眾號,公眾號改變了媒體行業和我們獲取資訊的方式。小程序的一點風聲和上線都引發朋友圈熱議和刷屏。2017年1月9日是iPhone發布10周年整。9日凌晨,微信小程序正式上線。在「微信之父」張小龍的內心裡,可能希望小程序成為像iPhone一樣的產品。
  • 一個微信小程序,官方遊覽路線、數字文物...
    古代名畫的細節裡,藏著什麼玄機?了解故宮建築的構造,要靠一個小遊戲?近日,故宮博物院線上發布了微信小程序「數字故宮」,不用下載App,不用租講解器,這幾乎是一個為故宮量身打造的「百寶箱」。助力線下和線上遊覽,玩轉數字文物和建築文化,周到君這就告訴你「數字故宮」什麼最值得玩!
  • 什麼是小程序,小程序能幫餐廳做什麼?餐飲小程序你的店鋪好幫手
    2017年1月9日,小程序如約而至。今天關於刷爆了朋友圈的小程序,能給餐飲業帶來什麼?一:小程序是個啥東西?其實它就是一個二維碼。微信小程序是沒有入口,它的入口就是二維碼。因為它要實現,即用即走。數據在雲端,無需安裝,不佔內存,也不用強制關注,即掃即看即用;用完後,小程序按照瀏覽時間自動排序,簡單方便。從餐飲層面上講比如說你是一個飯店,在門口,放上一個二維碼。
  • 騰訊地圖攜手故宮推出「玩轉故宮」小程序
    2018年國際博物館日的主題是「超級連接的博物館:新方法、新公眾」,將博物館融入超級互聯的多元化世界。與此同時,故宮博物院持續應用網際網路技術提供多樣化的文化服務與體驗,讓公眾從另一個角度認識故宮。當天,由騰訊地圖和故宮博物院攜手打造的「玩轉故宮」小程序正式上線,以輕應用玩轉「大故宮」,以「新方法」連接「新公眾」。