漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景

AIBigbull2050發表於2019-08-23
漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景

△ 來自《彈丸論破》


漫畫漢化組,和 動畫字幕組,表面看都是翻譯,可工作還是很不一樣的。

比如,日文動畫生肉一般沒有加字幕,而漫畫原本就充滿了文字。

所以,漫畫的漢化組,要先把原文抹掉,才能貼上中文。

需要抹掉的,不只氣泡裡的對話,還有背景裡的旁白,以及字型碩大雄健的擬聲詞。

這樣巨大的工作量,還是交給AI吧,只要一鍵:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


滿篇的文字都消失了,人類完全沒有幫忙。

AI的名字叫 SickZil-Machine,是一群韓國小夥伴開發的,已經開源。

不光字去掉了,背景也修補了:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


有了它,漢化組再也不用大規模手動擦除了。

面對此情此景,人類表示相見恨晚:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


那麼,韓國少年們是怎樣孕育出這隻AI的?

一步兩步

團隊說,這是一個完全自動消除漫畫文字的AI;但如果人類需要,也可以手動指定消除某一部分文字。

至於是如何擦掉文字, AI由兩個機器學習模型組成

漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景

一個叫 SegNet,負責把需要抹掉的文字部分,分割出來;

一個叫 ComplNet,負責把抹掉之後露出的背景補全。

摳出文字的 SegNet,借鑑了前輩 U-Net影像分割技術:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


U-Net結構像個U,從全卷積網路 (FCN) 改進而來。

分割是用成對資料訓練的。這裡的成對資料,就是漫畫原圖,加上文字部分的mask。

只用了285對資料。

摳出文字之後,就該填補背景的 ComplNet上場了。它是借鑑了前輩 DeepFillv2影像修復演算法:

DeepFillv2來自UIUC和Adobe,擦除影像的任意部位,AI都能修補完整。


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


比如,抹掉一盞路燈,AI便會把路燈背後的建築物補好。

除此之外,還能按自己的意志修改圖片:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


把人類的下巴擦掉,再描個短一點的下巴,AI就會給你一張 不是馬臉的人像了。

當然,漫畫未必需要這樣高度定製,腦補背景就夠。

團隊用了31,497張圖來訓練,其中11,464張是有文字的。

最終,成果斐然:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


不過,也不一定要全靠AI,人類可以手動選擇要 (或不要) 消除的部分。

先讓螢幕顯示出AI生成的mask (紅色) 。如果發現不該變紅的部分紅了,就手動把這一部分從mask裡去掉,這樣AI就不會把它消除了。


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景


比如上面,妹子的臉旁邊,沒有字的地方紅了一大塊。那麼,把這一部分紅色框起來扔掉,就好了。

你也試試吧

其實,這個好東西也不一定是漢化組才用得到。

沒事做的時候,把漫畫原本的臺詞抹掉,練習填詞,也是很健康的活動喲。

比如到了這種時候,人類會說些什麼呢:


漫畫漢化組,不用手動抹掉原文了:開源AI一鍵擦除,還能修復背景

△來自山下智博


額,哪裡健康了?

傳送門:

U-Net傳送門:

Deepfillv2傳送門:

— 完 —

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2654685/,如需轉載,請註明出處,否則將追究法律責任。

相關文章