大家好，这里是和你们一起探索 AI 的花生。
前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2，一款可以直接根据文本生成视频的工具，我们先看看官方放出的 2 个演示：
视频来源：推特@runwayml https://twitter.com/i/status/1664256235665866752
视频来源：Gen-2 Now Available | Runway – YouTube
看到视频时真的被小小的震撼了一下，因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少，比如之前为大家介绍的 D-ID，是通过图像来生成数字人视频；还有利用 Stable Diffusion WebUI 配合各种插件工具实现的“大叔变少女”或视频风格化。但是这些方法都需要图像或者视频作为参考样本才能生成新的视频，目前可以直接根据文本生成视频且质量如此之高的应该也只有 GEN-2 了 。
在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的无痕换脸视频，来源： https://twitter.com/yokohara_h/status/1657191627452981248
开放测试的 GEN-2 可以免费试用，也就是说我们每个人都可以体验这种通过文本生成视频的神奇操作，下面就为大家介绍一下 GEN-2 的使用方法。
Runway 官网： https://app.runwayml.com
首先点击上方链接进入 Runway 官网，先注册一个自己的账号然后登录，试了一下支持 QQ 邮箱。然后进入 Runway 主页，选择左侧 「Generat Videos」里的 Gen-2。
Gen-2 操作界面如下，我们直接在文本框内输出英文提示描述想要的场景，然后点击右侧的「Generate」生成视频。如果不确定想要什么内容，可以选择下面官方提供的参考，点击「Try This」可以直接将画面的关键词填充到我们的文本框内。
下面是我用文本生成的一段视频，提示词为“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD（一个赛博朋克风格的城市景观，高耸的摩天大楼，辉煌的霓虹灯，银翼杀手，科幻电影，高品质，16K，超高清）”。
试用时只能生成 4 秒的视频，生成时间没有超过 1 分钟，速度还是非常快的。画面很好地表现了我想要的赛博朋克效果，动画稳定流畅，而且清晰度比我预期的还要高，只写一段简单的话就能生成这样一段视频真的太令人惊喜了。
每个新用户都有 105 秒的免费生成额度，虽然一次性只能生成 4 秒的视频，但是你可以设置一个脚本，分段生成里面的不同内容，然后拼在一起合成长视频。下面是我在上面视频的基础上，又附加了 3 个短视频合成的，描述了一段在赛博朋克城市里发生的故事，配上音乐是不是还挺像模像样的？过程真的超级简单，强烈建议大家都去尝试一下。
除了根据文本生成视频的 Gen-2，Runway 还有 2 个非常值得尝试的 AI 视频生成工具 「Gen-1」 和 「Frame Interpolation」，这里也顺带给大家介绍一下。
Gen-1 是一个视频转视频工具，只要你有免费试用额度，就可以尝试用它将一个视频转换为另一种的风格，下图是它的操作界面：
在 Gen-1 中可以通 3 种方式对视频进行风格化。一是提取图像风格应用到视频中，下面是提取一张赛博朋克图像的风格，对一段白模建筑视频进行转换后的效果。使用时可以通过「Style Strength」调节风格的强度，数值越高，赛博朋克风格就越强烈。
二是直接使用官方的预设风格，有黏土、云景、金属、黑白线稿、太空、渐变、科幻等 20 多种风格可以选择。下面是将一个真人视频转换为太空风格的效果，正式生成前可以点击「Preview styles」预览效果，如果觉得不好就换一种风格或者调整风格强度参数。
三是可以直接通过文本描述修改视频的风格，比如将一个实拍的自然风景改成动漫风：
Frame Interpolation 是一个图像平滑工具，上传数张图像，系统会自动在相邻图像间生成平滑的过渡，从而将图像转换为一段流畅的视频。这个工具是免费使用的，不消耗试用分钟数。
一般上传 3-8 张图像就足够了，图越多生成时间越长。上传成功后，在右侧点“Clip Duration”设置视频时长，点击“Advanced”里的“Transition Time”调整图像过渡的缓急，然后点击“Generate”等待视频完成就可以了。
在体验过 Runway 的这些 AI 视频工具后，自己非常真切地感受到了 AI 技术对我们工作方式的改变。或许现在用文本生成的视频在时长、清晰度、准确性等方面还有不足，但 AI 绘画从不会画脸到能以假乱真只用了几个月的时间，我们完全可以相信 AI 视频技术在未来肯定会更加发达。那时将给艺术家、动画和电影爱好者、视频内容创作者带来一种全新的创作方式，甚至会改变视频及影视制作行业。
暂无评论内容