看番，周更太慢！
想看原版漫畫，不會日語，愁死個人！
雖然現在在各大社交媒體上都有民翻，但是想看的漫畫偏偏太過小眾，沒人翻譯！
別急別急，救星來了。
去年，一位叫作石渡祥之佑的小哥開發了一個 AI 系統 Mantra，該系統結合了特定於漫畫的圖像識別技術、機器翻譯和外語排版自動化技術，也就是說，能夠直接在漫畫原文上實現翻譯。
要知道，在日本，漫畫的出版佔到了整體出版物的 40%，人工翻譯費用更是高達每本 200,000 到 300,000 日元。
這項 AI 技術不僅提升了漫畫翻譯的速度，翻譯的成本也降低了 60-70%。
說到這，文摘菌想到 AI 也曾幫助中國爽文成功出海，看來 AI 對文化產業仍然有十分重要的貢獻。
這個項目在開發初期就接受到了來自東京大學 FoundX 計劃、IPA、東大 IPC 計劃的支持。最近，DEEPCORE、DMM VENTURES、Legend Co、天使投資等更是對其投資 8000 萬日元。
看得出來，大家對漫畫出海抱有十分強烈的信心和希望。
而且敲黑板劃重點，Mantra 服務預計將在 7 月正式對外開放，本年度的精神支柱就靠它了。
劍指海外發行，Mantra 實現的不只是簡單的文本翻譯
Mantra 主要實現了兩項功能，首先是機器翻譯，在這方面，研究人員對 Mantra 進行了特定於漫畫的技術處理，在這個基礎上，Mantra 能夠實現多語言無障礙翻譯。
針對漫畫的機器翻譯技術到底是怎麼回事，石渡小哥介紹道，簡單來說，Mantra 就是把傳統的手動翻譯自動化了。
人為翻譯漫畫主要有以下三個步驟：
對文本轉錄；
填充語言氣泡的文本部分並進行翻譯；
把翻譯好了的文本進行正確地排版。
看得出來，漫畫的機器翻譯就不只是語言的轉換，還包括了翻譯後的排版工作。
要實現這兩項功能，首先要準確定位到語言氣泡，然後再對其中的文本進行識別與翻譯。
聽起來容易，但是要知道，漫畫中的氣泡文本排版沒有能夠總結的規律，還存在字體大小和樣式的差異，這些都將使得漫畫的機器翻譯比傳統商業翻譯更為困難。
要解決這個難題，石渡小哥開發了專用於漫畫字符識別的 OCR 引擎，在 OCR 引擎的助力下，系統可以準確地檢測和識彆氣泡中的文本，即使漫畫圖像十分擁擠也不在話下。
左邊是日語原版，右邊是 Mantra 的機器翻譯版本，可以看到翻譯和排版的精度都相當高
不過總的來說，翻譯的難度要大於識別難度，因為漫畫裡面經常出現口吃或者中途斷句等口語行為，還要處理好文字和表情的關係。
目前，團隊也正在針對漫畫表情開發識別引擎。
要完全實現漫畫翻譯想必也十分耗時耗財，也正是因為如此，團隊的目標首先就是降低人工翻譯的花費，目前的翻譯仍然需要人工修正，為了更好地進行編輯，團隊也正在開發一種新工具更好地將機器翻譯和人工翻譯結合起來。
對於 Mantra 的潛在發展目標，石渡小哥表示，希望能將該技術利用到出版行業，拓展漫畫的海外市場，以及將其用於個人使用，有助於漫畫作者在社交媒體上自由地發布作品。
要打造一個漫畫文字瞬間走向世界的未來
石渡小哥介紹道，其實 Mantra 的開發也是純屬偶然。
在博士階段，他曾向 ACL 大會提交了一篇機器翻譯的論文，當時他的一位同期日亞正在攻讀圖像識別領域的博士學位，他也曾向相關領域的頂會投了一些論文。
於是在他博三的暑假，他們兩人一拍即合，決定一起做個副業，用機器翻譯一本漫畫書，這也是他們做了一些用戶訪談之後定下來的方向。
「如果能好好利用機器翻譯漫畫相關技術，也許就能打造一個讓文字漫畫在瞬間走向世界的未來。」
後來，我們對這個項目越來越上心，博士畢業之後，決定以創業的方式進行正式的研究。
在 Mantra 的開發過程中，他們也遇到了不少困難，比如，石渡小哥就分享道，首先在訓練數據上就是缺失的，當時並沒有基於雙語的漫畫數據。
本著萬事開頭難的信念，他們決定抽選很少一部分已經被翻譯成外語的漫畫作品，從中提取出雙語文本數據，這樣就以很低的成本創建了首個漫畫翻譯領域的雙語資料庫。
如今，在漫畫翻譯上，還存在很多問題有待解決，比如有時候人物對話會突然被打斷，中間出現一個文本氣泡，以及在漫畫對話中經常會省略主語和賓語。
最近，他們也正在針對這些問題進行逐一攻克，目前的譯文準確率還不是很高，在完全沒有人為修正的情況下，能勉強讀懂 30% 的內容，他們的目標是實現 70%-80% 的可讀性。
Mantra 的目標是確保所有的漫畫作品都能即時傳送到全世界粉絲手上，如果一位日本漫畫家的作品發布在了平臺上，就會被瞬間翻譯成 5-10 種不同的語言，這樣的平臺能夠實現，相信也能從技術上消滅盜版。
為了讓更多的人能夠使用，他們也正計劃把平臺支持的語言擴展到目前的英文和中文之外。
漢化不能少！B 站手把手教你安裝，追劇不停
不要以為翻譯只有輸出國的技術人員在著急，輸入國的粉絲簡直眼睛都要望穿了，這其中，中國肯定要佔上一席。
於是，漢化組們可能要哭了，因為 B 站上有一個 UP 主開源了一款 OCR 翻譯軟體。
根據介紹，當在屏幕上設定好翻譯框後，出現在框中的外語都會被自動識別並快速翻譯成中文，不僅支持漫畫，還支持遊戲、番劇、PDF 文獻等。
在 GitHub 上，官方人員總結了這款翻譯軟體的六大優缺點：
適用範圍全面，幾乎所有出現在屏幕的東西都可以翻譯；
翻譯接口多，目前有 12 個翻譯接口；
簡潔美觀的界面；
及其簡單傻瓜的操作方式；
相比較其他 OCR 翻譯器配置有自動翻譯模式；
需要聯網，可能視網速不同翻譯速度有差。
不過總的來說，還是很香的，網友們也紛紛表示，太香了太香了，簡直比 YouTube 還香！
在使用上，有人表示，雖然需要付費，但是免費額度已經足夠打遊戲用了。不過看到這麼香的翻譯軟體真的能控制住想要打錢的衝動嗎？
在 B 站上，開發人員也上傳了視頻對如何安裝進行了手把手的教學：
正好，端午到了，出得去的出不去的，都浪起來！
GitHub 連結