追番神器 + 1!即时翻译、瞬间排版,这个基于漫画的 AI 系统还想消灭汉化组?

2020/6/25 11:21:55 来源:大数据文摘微信公众号 作者:刘俊寰 责编:微尘

看番,周更太慢!

想看原版漫画,不会日语,愁死个人!

虽然现在在各大社交媒体上都有民翻,但是想看的漫画偏偏太过小众,没人翻译!

别急别急,救星来了。

去年,一位叫作石渡祥之佑的小哥开发了一个 AI 系统 Mantra,该系统结合了特定于漫画的图像识别技术、机器翻译和外语排版自动化技术,也就是说,能够直接在漫画原文上实现翻译

image.png

要知道,在日本,漫画的出版占到了整体出版物的 40%,人工翻译费用更是高达每本 200,000 到 300,000 日元。

这项 AI 技术不仅提升了漫画翻译的速度,翻译的成本也降低了 60-70%

说到这,文摘菌想到 AI 也曾帮助中国爽文成功出海,看来 AI 对文化产业仍然有十分重要的贡献。

这个项目在开发初期就接受到了来自东京大学 FoundX 计划、IPA、东大 IPC 计划的支持。最近,DEEPCORE、DMM VENTURES、Legend Co、天使投资等更是对其投资 8000 万日元。

image.png

看得出来,大家对漫画出海抱有十分强烈的信心和希望。

而且敲黑板划重点,Mantra 服务预计将在 7 月正式对外开放,本年度的精神支柱就靠它了。

剑指海外发行,Mantra 实现的不只是简单的文本翻译

Mantra 主要实现了两项功能,首先是机器翻译,在这方面,研究人员对 Mantra 进行了特定于漫画的技术处理,在这个基础上,Mantra 能够实现多语言无障碍翻译。

针对漫画的机器翻译技术到底是怎么回事,石渡小哥介绍道,简单来说,Mantra 就是把传统的手动翻译自动化了。

人为翻译漫画主要有以下三个步骤:

对文本转录;

填充语言气泡的文本部分并进行翻译;

把翻译好了的文本进行正确地排版。

看得出来,漫画的机器翻译就不只是语言的转换,还包括了翻译后的排版工作。

要实现这两项功能,首先要准确定位到语言气泡,然后再对其中的文本进行识别与翻译。

听起来容易,但是要知道,漫画中的气泡文本排版没有能够总结的规律,还存在字体大小和样式的差异,这些都将使得漫画的机器翻译比传统商业翻译更为困难。

要解决这个难题,石渡小哥开发了专用于漫画字符识别的 OCR 引擎,在 OCR 引擎的助力下,系统可以准确地检测和识别气泡中的文本,即使漫画图像十分拥挤也不在话下。

image.png

左边是日语原版,右边是 Mantra 的机器翻译版本,可以看到翻译和排版的精度都相当高

不过总的来说,翻译的难度要大于识别难度,因为漫画里面经常出现口吃或者中途断句等口语行为,还要处理好文字和表情的关系。

目前,团队也正在针对漫画表情开发识别引擎。

要完全实现漫画翻译想必也十分耗时耗财,也正是因为如此,团队的目标首先就是降低人工翻译的花费,目前的翻译仍然需要人工修正,为了更好地进行编辑,团队也正在开发一种新工具更好地将机器翻译和人工翻译结合起来。

对于 Mantra 的潜在发展目标,石渡小哥表示,希望能将该技术利用到出版行业,拓展漫画的海外市场,以及将其用于个人使用,有助于漫画作者在社交媒体上自由地发布作品。

要打造一个漫画文字瞬间走向世界的未来

石渡小哥介绍道,其实 Mantra 的开发也是纯属偶然。

在博士阶段,他曾向 ACL 大会提交了一篇机器翻译的论文,当时他的一位同期日亚正在攻读图像识别领域的博士学位,他也曾向相关领域的顶会投了一些论文。

于是在他博三的暑假,他们两人一拍即合,决定一起做个副业,用机器翻译一本漫画书,这也是他们做了一些用户访谈之后定下来的方向。

“如果能好好利用机器翻译漫画相关技术,也许就能打造一个让文字漫画在瞬间走向世界的未来。”

后来,我们对这个项目越来越上心,博士毕业之后,决定以创业的方式进行正式的研究。

在 Mantra 的开发过程中,他们也遇到了不少困难,比如,石渡小哥就分享道,首先在训练数据上就是缺失的,当时并没有基于双语的漫画数据。

本着万事开头难的信念,他们决定抽选很少一部分已经被翻译成外语的漫画作品,从中提取出双语文本数据,这样就以很低的成本创建了首个漫画翻译领域的双语数据库。

如今,在漫画翻译上,还存在很多问题有待解决,比如有时候人物对话会突然被打断,中间出现一个文本气泡,以及在漫画对话中经常会省略主语和宾语。

最近,他们也正在针对这些问题进行逐一攻克,目前的译文准确率还不是很高,在完全没有人为修正的情况下,能勉强读懂 30% 的内容,他们的目标是实现 70%-80% 的可读性。

image.png

Mantra 的目标是确保所有的漫画作品都能即时传送到全世界粉丝手上,如果一位日本漫画家的作品发布在了平台上,就会被瞬间翻译成 5-10 种不同的语言,这样的平台能够实现,相信也能从技术上消灭盗版。

为了让更多的人能够使用,他们也正计划把平台支持的语言扩展到目前的英文和中文之外。

汉化不能少!B 站手把手教你安装,追剧不停

不要以为翻译只有输出国的技术人员在着急,输入国的粉丝简直眼睛都要望穿了,这其中,中国肯定要占上一席。

于是,汉化组们可能要哭了,因为 B 站上有一个 UP 主开源了一款 OCR 翻译软件。

image.png

根据介绍,当在屏幕上设定好翻译框后,出现在框中的外语都会被自动识别并快速翻译成中文,不仅支持漫画,还支持游戏、番剧、PDF 文献等。

在 GitHub 上,官方人员总结了这款翻译软件的六大优缺点:

适用范围全面,几乎所有出现在屏幕的东西都可以翻译;

翻译接口多,目前有 12 个翻译接口;

简洁美观的界面;

及其简单傻瓜的操作方式;

相比较其他 OCR 翻译器配置有自动翻译模式;

需要联网,可能视网速不同翻译速度有差。

不过总的来说,还是很香的,网友们也纷纷表示,太香了太香了,简直比 YouTube 还香!

image.png

在使用上,有人表示,虽然需要付费,但是免费额度已经足够打游戏用了。不过看到这么香的翻译软件真的能控制住想要打钱的冲动吗?

在 B 站上,开发人员也上传了视频对如何安装进行了手把手的教学:

正好,端午到了,出得去的出不去的,都浪起来!

GitHub 链接

相关文章

关键词:AI漫画

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 IT圈(Win10/WP8.1/Win7论坛) 最会买 - 返利返现优惠券 6655网址之家 Win10之家 Win8之家 Win7之家 Vista之家

软媒旗下软件: 魔方 旗鱼浏览器(极速内核) 云日历 酷点桌面 闪游浏览器(IE内核) Win7优化大师 Win8优化大师 Win10优化大师 软媒手机APP应用