Adobe又逆天！不用机器学习，用13.5M软件把《长安十二时辰》变成水墨动画

2019年7月13日 435点热度 0人点赞 0条评论

大数据文摘出品

作者：曹培信

用过修图软件的同学们应该都知道，利用强大的GAN，已经可以实现一键转换照片风格的功能，比如将你拍的风景照转换成一副印象派的画作。

现在，轻松转换视频风格的软件也诞生了！

Secret Weapons发布了一款简单而又强大的软件EbSynth，由布拉格捷克技术大学和Adobe共同研发。这款只有13.5M的免费工具，轻松几步就可将视频素材转换为各种你想要的风格“动画”。

该软件将一个或多个手动生成的key帧的样式应用的视频的每一帧上，从而完成整个视频的风格迁移。

简单来说，就是从一段视频中选出几幅图，换成你想要的风格，录入程序，整个视频就能全部变成你想要的画风了。

像这样?

想想看，各种特效制作、或者动画画师如果有了这一技术的加持，可以只挑选其中某个镜头进行特效处理，然后用这个软件瞬间获得大片视频，五毛也能做出酷炫特效！

Secret Weapons目前免费开放下载，文摘菌也亲自试了下这款神奇的软件，挑选了目前超火的视频《长安十二时辰》视频片段，看看能否把它变成更加中国风的水墨画。

先来看看最后的效果，非常不错?

更有趣的是，Adobe这次的研究没有使用机器学习，到底如何操作？一起看看。

文摘菌实测，看水墨风《长安十二时辰》

第一步：下载、安装软件

软件下载链接：

https://ebsynth.com/

有Windows版本和IOS版本，会根据你的机型自行下载适配的软件。文摘菌用的是Windows系统。下载之后是个压缩包，解压即可。

第二步：准备素材

这个软件的使用需要一段视频，文摘菌决定使用现在大火的电视剧《长安十二时辰》里的一个片段。

视频下载后就要将素材转化为一帧一帧的图，这里文摘菌用的是Premiere来实现这一步，推荐转换成PNG格式。

生成帧图的教程可以查看链接：https://blog.csdn.net/qq_28372745/article/details/80743531

这样就得到了一系列的PNG图片，存放到一个文件夹中。

然后我们要将其中的某几张图改为参照的Key图，这里又要向大家安利一个免费网站——Fotor。

第三步：开始渲染

我们运行ebsynth软件，界面如下：

在Keyframes中选择刚才制作的key图（至少一张），Video中选择刚才制作的一系列PNG图，下面的Stop填写开始图片序号和结束图片序号，Keyframe填写Key图的序号。

点击Run all，就开始渲染啦，渲染结束后就会自动输出一个文件夹Out，里面就是渲染好的所有PNG图，再将这些图用Premiere做成视频就OK了！

生成视频的教程可以查看链接：

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的结果，效果还不错！

为了让大家更清楚地了解Key图的作用，文摘菌在这里使用了两张Key图，可以看到视频中间风格的变化。

并非机器学习，Adobe参与研究

EbSynth是基于布拉格捷克技术大学和Adobe共同的研究，该项目由Secret Weapons创始人Ondřej Jamriška领导。

EbSynth网站显示了该团队最新论文“Stylizing Video by Example”的演示视频。

论文链接：

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

视频链接：

https://www.youtube.com/watch?v=0RLtHuu5jV4

与该领域的其他研究不同，它不是基于机器学习，而是基于最近在风格迁移和纹理合成方面的研究，使用的是非参数纹理合成算法。

早在2013年，已经有人提出了关键帧程式化范式，艺术家在其中绘制一个或多个关键帧一个Key图，然后算法将绘制的样式同步到序列的其余部分。

EbSynth与上述方法主要区别在于，它不需要知晓目标场景的底层3D结构。相反,EbSynth通过获得输入视频的原始颜色信息和近似位置信息进行转换，再加上patch-based合成算法,EbSynth在保持艺术意图的同时，视觉效果也相当卓越了。

该算法主要由五个引导模块组成（如上图所示）：

Color guide：捕捉外观变化，例如：面部表情、细微的布料变形、不同的光照等；
Mask guide：帮助算法区分对象的边界来处理遮挡。这个功能是可选的，当在视频中没有严重的遮挡或不需要精确地描绘对象边界可以选择不使用该模块；
Positional guide：帮助算法保持关键帧的结构，处理不同特征之间的模糊性相似；
Edge guide：突出了对象的边缘和突出特征，防止漏掉细节；
Positional guide：保持风格在时间上的一致性，避免与前帧有明显的变化。

尽管已经达到了这样的效果，作者在论文中还是说明了这种算法有一定的局限性，比如人物身上光照的变化可能会对Color guide引起误导，从而出现文摘菌在实测视频中出现的由于更换Key帧引起的结构变化，作者表示这是他们下一步努力的方向。