LiveSketch

LiveSketch是一款ai生成视频工具，用户通过文本提示将静态素描转化为动画，它提供了一种简单直观的方法，使他们的素描变得生动活泼。无论是用于讲故事、插图、网站设计还是演示文稿，LiveSketch都能赋予静态素描图生命，使其更加丰富有趣。

只需要简短的一句文本提示，LiveSketch就能让寥寥几笔涂鸦成真，输出生动活泼的的SVG动画片段，而且易于编辑和调整，可以通过文本控制动画的动作和幅度。

草图是人类用来直观、最通用的工具之一，用于直观地传达他们的想法。动画草图为思想的表达打开了另一个维度，并被设计师广泛用于各种目的。 

草图动画是一个费力的过程，需要丰富的经验和专业的设计技能。 在这项工作中，我们针对LiveSketch提出了一种方法，该方法只需提供指示所需运动的文本提示，即可自动将运动添加到单主题草图中（因此，“为它注入生命”）。 输出是以矢量表示形式提供的简短动画，可以轻松编辑LiveSketch。 

我们的方法不需要大量的训练，而是利用大型预训练文本到视频扩散模型的运动先验，使用分数蒸馏损失来指导笔画的位置。 为了促进自然和流畅的运动，并更好地保留草图的外观，我们通过两个组件对学习到的运动进行建模。第一个控制小的局部变形，第二个控制全局仿射变换。

 令人惊讶的是，我们发现，即使是难以自行生成草图视频的模型，LiveSketch仍然可以作为动画抽象表示的有用骨干。

LiveSketch有很大局限性。首先，目前来说，它只能通过简单地修改描述运动的提示，对生成结果进行一定程度的控制。这些修改和控制仅限于模型可以创建的小动作，且文本提示需要与初始草图的语义一致，当主体包含多个对象时，则无法进行区分了。

未来，LiveSketch这类技术或许还能在艺术创作、儿童教育等领域大放异彩，大大降低艺术创造的门槛，提升教育的趣味性和互动性。