哎呀，看这小鸭子，一不留神就摔了个四脚朝天！别担心，虽然摔得真真切切，但那杯咖啡和端咖啡的小手，其实是AI巧妙“画”上去的。
△ 幸好咖啡只是洒了那么一丁点儿
这背后的秘密，是一个名为VideoDoodles的开源项目，最近在海外网络上引起了热烈讨论。
VideoDoodles的神奇之处在于，它能够为视频添加手绘风格的涂鸦，无论是可爱风还是奇特风，都能轻松实现。
这在当前市场上的大多数2D视频编辑软件中，还是相当具有挑战性的。通常，要达到类似的效果，创作者需要亲自一帧一帧地绘制，这无疑是一项耗时耗力的工作。
然而，VideoDoodles通过在视频中重建3D场景，并在其中放置平面画布，巧妙地生成了这种效果。
许多人表示，他们可以用这个工具来装饰视频，添加卡通效果或花字，甚至进一步加工成meme或表情包。
搞笑视频的制作，也已经在路上了！
随心所欲地添加手绘效果
VideoDoodles是这样宣称自己的功能的：
轻松在视频中插入手绘动画，而且与视频内容完美融合。
真的如此神奇吗？让我们一探究竟。
就像给小鸭子添加手臂一样，VideoDoodles能够为任何生物添加四肢。
火烈鸟可以优雅地端着红酒杯，在水面上悠闲地泡着脚。
小火车从远处驶来，挥动着双手，呼啸着穿过镜头。
当然，如果你想在视频片段中加入一个四肢健全的动物，VideoDoodles同样能够满足你的需求。
比如，这位女士肩膀上的这只小松鼠：
无论她如何行走，小松鼠都稳稳地坐在她的肩膀上。
除了肢体动作，VideoDoodles还可以用来为视频片段添加综艺后期的花字效果。
无论是静态文字：
还是动态文字：
都能生成令人满意的效果。
而且，借助刚刚结束的奥运会的余热，VideoDoodles还可以为各种大幅度运动添加手绘效果。
无论是箭头指示：
还是超人卡通特效：
如何实现的？
在视频中添加手绘动画的传统方法，通常是将视频作为底层，然后通过人工逐帧绘制2D动画效果。
这种方法效率较低，且需要确保手绘动画效果能够跟踪动态、解决透视变形和适应遮挡物。
虽然可行，但确实费时费力。
那么，VideoDoodles是如何处理动态物体的跟踪和动画同步的呢？
它提供了一个简单的界面，帮助用户轻松完成视频涂鸦——“简单”意味着无论是专业人士还是初学者都能轻松上手。
在项目背后，VideoDoodles利用3D场景重建技术，实现涂鸦自然融入视频场景，包括追踪、透视变形和遮挡等复杂视觉效果。
具体来说，VideoDoodles首先对视频内容进行3D重建，然后在视频中放置平面画布，这些画布在3D场景中被跟踪，并逐帧添加手绘动画。
通过自定义的追踪算法，VideoDoodles锁定画布对应的视频场景中的物体，完成画布跟随物体运动进行移动和旋转。
在VideoDoodles的用户交互界面中，用户可以通过关键帧的位置和方向，在2D图像空间的UI中精细控制画布。
系统则通过跟踪视频中移动对象的运动来精心插入关键帧。
简而言之，VideoDoodles根据关键帧表达的用户意图，利用自有算法解决被遮挡、透视变换，在视频的任意帧渲染场景感知画布，并使画布紧紧跟随移动的物体。
而且，关键帧可以有任意数量的位置和方向。
如下面这张图所示，VideoDoodles就是通过第一帧涂红部分的方向 & 位置，以及最后一帧涂绿的位置，在整个视频中连贯地渲染相应的画布。
在具体操作中，流程大致如下：
最后，介绍一下：
VideoDoodles这项研究是由Adobe研究院、蔚蓝海岸大学以及代尔夫特理工大学的研究人员共同完成的。
研发团队的负责人表示：
我们的目标是简化“视频涂鸦”的创作过程。
这种新兴的混合媒介艺术形式结合了视频内容和手绘动画，可以用于娱乐或教育目的。
有了VideoDoodles，我们希望更多人能够轻松实现「将想象力注入现实世界」。
