泰国程序员开发VTuber形象生成系统,人人都能当虚拟偶像

跳跳 趣闻 2019-11-30
  • 16

ACG爱好者+程序员产生的无尽能量。

自从绊爱在2016年末发布了第一个视频之后,这场名为虚拟偶像的大火就越烧越旺。

虚拟偶像被称为vtuber,v是虚拟(virtual)的缩写,而tuber则揭示了她们与正常人认知中偶像的区别:虚拟偶像主要的活动场所是在Youtube上,她们的头像是虚拟的,身高体重等等人设都是虚拟的,只有背后的主播(又被称为中之人)是真实的。

自称“世界第一名虚拟主播”的绊爱自称“世界第一名虚拟主播”的绊爱

今天,在互联网上活跃着成千上万的虚拟偶像。她们有些隶属于较大的企业,有专门的画师负责制作人物的模型,发展比较好的还会有3D建模的支持;有些则隶属于个人,很难得到3D模型,但是也得有具体的画师在背后提供足以进行面部捕捉的人物立绘。

画师,这个职业造就了虚拟偶像这个产业,也构成了“成为虚拟偶像”的基本门槛。即使早就有了Facerig这种简易又方便的面部捕捉软件,但是做一个能用的3D脸部模型对绝大多数没有相关经验的人来说还是太过困难

Facerig标志性的小浣熊Facerig标志性的小浣熊

但是面部捕捉的模型(即使只有个头)并不简单但是面部捕捉的模型(即使只有个头)并不简单

即使在Vtuber行业发达的日本,同时掌握3D建模和角色设计的人才也不算多。这点反映在市场价格上就是:在网上一个能用的3D虚拟偶像模型出价近4万人民币,更多的个人Vtuber都选择了简单的2D图像叠加,这样人物只能做出简单的动作,比如摆头或者眨眼——就算这样,也需要几千元人民币的维护费用。

2D图像叠加而成的简易Vtuber2D图像叠加而成的简易Vtuber

帕鲁克·昆古恩(Pramook Khungurn)是一位在谷歌地图日本分部工作的软件工程师(不过他本人是一位毕业于美国康奈尔大学的泰国人)。之前他主要研究的领域是计算机图形学,还对算法和机器学习有所涉猎。而在所有这些个人简历性质的描述之外,这位泰国程序员还是一位喜欢ACG文化的人。

昆古恩在一篇自我介绍网志中使用了长门有希作为封面图片昆古恩在一篇自我介绍网志中使用了长门有希作为封面图片

一直以来,他把自己计算机图形学上的能力运用到了对ACG的个人兴趣上,比如参与到双叶频道对计算机系统的拟人化。最近,他(就像日本很多ACG爱好者一样)迷上了虚拟偶像。这位程序员当然也不会画画,但他找到了别的方式来“成为偶像”。

昆古恩的工作成果昆古恩的工作成果

昆古恩将虚拟偶像的模型交给深度神经网络进行学习,让AI学会了如何处理动漫人脸上的各个部分,就像上面那张图一样,通过调整“左眼”、“脖子”的参数,控制人脸的运动。他希望在此基础上输入任何一张人脸,都能做到如此自然地运动,就像下面这样。

奥巴马与彩虹社的Vtuber们奥巴马与彩虹社的Vtuber们

昆古恩的构想源于自动生成动漫人物的GAN图库以及衍生出的一系列动漫人物相关的图片生成网络。昆古恩觉得,既然深度学习的人工智能是未来动漫创作的重要工具,那么深度学习是不是也能帮助创建Vtuber内容?

GAN自动生成动漫小姑娘的过程GAN自动生成动漫小姑娘的过程

昆古恩先从简单的2D模型下手,他先是截下了彩虹社(一个虚拟偶像企业)诸多vtuber做出不同姿势(眨眼、转头)时的截图,给定每种姿势一个编号,导入到能自我学习的神经网络中去——先教会AI识别这些人物的不同姿势。

绊爱的眨眼绊爱的眨眼

在系统有了一定的辨别能力后,昆古恩将GAN图库中的8000个模型加以处理后导入到神经网络中。经过处理,这些看起来各不相同的动漫人物头像其实都可以被拆分成多个部分,用算法生成她们没有被画出来的诸多姿势。

绊爱的侧面拆解图绊爱的侧面拆解图

当然,拆分动漫人物的各种部位也不简单。昆古恩发现现在大部分成熟的图像识别技术都是用于真人的,而动漫人物和真人有很大的区别——比如动漫人物的头往往很奇怪,有夸张的头发和夸张的尺寸。这一度成为一个严重的问题,昆古恩在博客里写道:“最大的问题是,我不知道她们的头到底在哪……”为此他专门创建了一个识头工具,这个工具能排除头发和帽子的干扰,准备判断出人物的“头骨”(也就是天灵盖)。

最后,昆古恩完成了基本可用的“根据动漫图自动生成Vtuber”学习网络,这个网络花了16小时分析了100万张来源于GAN图库的图片。现在,这个系统可以根据输入的任何一张动漫图片,来生成图片中人物的诸多动作。使用者可以通过调整参数改变人物的表情,也可以直接导入到面部追踪软件中,让软件根据摄像头捕捉到的真人表情自动调整参数。

昆古恩放出的可用模型昆古恩放出的可用模型

唯一令人遗憾的是,昆古恩还没能将这套系统开源并把它放到网上。在论述研究过程的论文末尾,他提到,由于他和谷歌日本的合同,谷歌方面有权要求获得这项系统的专利权,他正在尝试通过内部审查来将软件、系统和神经网络数据的版权分配给自己。

希望有朝一日自己上传图片当虚拟偶像的朋友可以关注昆古恩的Github页面,点击这里可以跳转。


展开全文

6 条评论

发布
取消
返回顶部
App内打开