前天，Runway 终于开放了新功能文本生成视频，让每一个注册用户都可以使用。虽然一次生成的视频很短，只有 4 秒，但是把这些短片段合在一起后，就足以形成一个小故事。
你可能会有疑问：之前剪映不是实现文本转视频吗？
是的，但是又不一样。
这样说吧，它不像剪映、一帧秒创和度咔剪辑一样，根据文案信息，然后从网上找到匹配素材，而是直接根据你提供的文本生成一段视频，就像 midjourney 根据提示词生成图像一样，生成结果都是随机的。
你可以想像，凭借现在的发展速度，假以时日，人人都可以把自己想表现的画面转换成视频，分享给其他人，没有任何技术门槛，每个人都可以成为导演，这是多么不可思议的事情。
不过，回归现实，现在文本生视频到底到了什么水平，不如亲手试一试。于是，我就利用 GPT 和 Runway 生成了一段 30 秒左右的小视频。话不多说，先看成果：
那具体我是怎么操作呢？下面我就跟你详细说说。
利用 GPT 生成脚本
打开 GPT 官网，先让 GPT 生成故事脚本。
我让 GPT 扮演一个短剧剧本编辑，让它给我生成一段小剧本，剧本内容自己可以随便想，不过不要太复杂，毕竟 Runway 生成能力还是有限的。
我给的剧本内容是一个小女孩在巴黎卖花，具体细节让 GPT 自己想象。
你现在是一位短剧剧本编辑，能够把故事场景细腻的描写出来。我需要你帮我写一个短剧小片段，1 分钟左右，讲的是一个 6 岁小女孩在巴黎卖花的场景，故事细节你可以自由发挥
生成内容还可以，每个镜头都有描写，不过 GPT 似乎误解了我的意思，我要求的是卖花，它硬是写成了买花。不过也没多大关系，剧本还是可以用的，所以我也没让它改回来。
![图片[1]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142857-40e44.png)
由于 Runway 是根据剧本内容来生成视频的，对话形式似乎不太符合，因此我让 GPT 把对话形式改成故事绘本形式，让它直接以一个场景一个场景来呈现，也好让 Runway 分段生成。
请把这个短剧片段改编成故事绘本，不要对话
![图片[2]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142858-4d5d3.png)
因为 Runway 英语理解能力更好，所以这里把每个绘本场景翻译英文
请把绘本故事翻译成英语，我打算用你给的英语提示词生成视频
![图片[3]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142859-e7a70.png)
让 Runway 根据脚本生成视频
OK，视频脚本搞定后，我们现在就去 Runway 官网生成视频了。
这里建议用电脑端操作，手机生成视频后似乎播放不了。
进入 Runway 官网后，选择谷歌或苹果账号登入，进入主页面后，点击“含有 gen 2”选项
![图片[4]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142900-abef4.png)
在输入框内，粘贴好刚刚 GPT 生成的脚本。因为每一次输入字数限制是 320 个字符，所以你可以根据需要是选择一个场景生成一段还是两个场景生成一段。
你可能会问，为什么这么抠字数，直接一段一段生成不好吗？
不是我太小心，而是 Runway 给每个账号只提供了 100 多秒的视频生成时长，用完了就得充值了。视频时长在右上角可以看到。
![图片[5]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142901-b833b.png)
不过，也不是没有办法，这里推荐一位大神吴东子的方法，就是注册多个谷歌账号，用完了时长就换一个，教程链接我放在文章末尾，这里就不再重复说明。
说回视频生成，Runway 除了直接根据我们提供的文本生成视频，我们还可以给它垫一张图，让它根据这张图片风格进行视频创作，为了演示，这里我放上了一张《你的名字》的海报，然后让 Runway 根据它的风格生成其中一个场景的视频。
如果视频效果不错，我们就点击右上方的下载选项保存。
![图片[6]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142901-ec355.png)
其他场景也按照这样的方法，依次生成视频。
这里需要注意的是，为了保持生成视频风格和里面的人物保持相对一致，我们这里需要让 seed 值保持一致。
点击左下角的两道横杠，在 seed 选项下面点击一串数字前面的符号，让它变成一把锁的形式，这样 seed 值就固定好了。同时，为了让我们的视频更平滑，我们也选中下面的一个方框。
![图片[7]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142902-97051.png)
生成所有的片段后，接下来我们就要合成视频然后配音了。
导入剪映剪辑视频
这里我用的剪辑软件是手机版剪映，其他软件大同小异，也是可以使用的。
接下来，我把 Runway 生成的所有片段按顺序导入剪映。然后我们开始为视频配音。
由于之前 GPT 生成的故事脚本太长，于是我要求 GPT 把脚本缩短，控制在 23 秒。
将下面这段故事绘本改成 23 秒的视频描绘，尽量短
![图片[8]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142903-87eb4.png)
稍加修改后，我们把它导入到配音软件。
这里我使用的是微信小程序“配音多”，它最大的好处是免费，不太好的地方是一次配音的最大字数只有 440 个字，然后需要把配好音的链接复制到浏览器下载，虽然有点繁琐，但免费做到这种地步已经不错了。
当然，由于我经验少，接触的配音软件不多，如果大家有更方便的免费配音工具，欢迎分享。
![图片[9]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142904-c4356.png)
![图片[10]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142905-bb030.png)
返回剪映，我们把刚刚生成的配音导入到音频轨道，对齐，修剪，使得视频和配音能对得上，然后点击“文字——识别字幕”，生成视频字幕，然后点击字幕，进行校对，修改识别错误的地方。
接着，我们加入音乐。这里我选择的是一个舒缓的纯音乐，选好后，调小音量，不要让音乐遮盖解说。如果你还想让视频效果更好，可以根据需要加入一些转场效果和设计封面。
最后，点击导出，一个用 GPT 和 Runway 生成的视频就做好了。
最后的话
虽然目前 Runway 生成的视频效果不太理想，视频时长也有限，做不到根据一大段文案直接生成广告用于宣传，商业应用还谈不上，但是这个曙光已经出现，我们有理由相信未来几年内技术能发展起来，就像今天 GPT 迅速迭代成 GPT4 一样。
不过，我希望那一天 Runway 能多给点免费时长，毕竟生成视频的成本太高付不起啊。
重复申请谷歌邮箱的教程链接：《瞬息全宇宙——平行宇宙终极教程》
本文思维导图：
![图片[11]-葫芦娃AI-一起学AIRunway 开放新功能！配合 GPT 直接文本生成视频-葫芦娃AI-一起学AI葫芦娃AI](https://huluwaai.com/wp-content/uploads/2023/06/20230609142906-20982.png)
我是卓 sir，一名希望用 AI 提上我们的效率、改善我们生活的大学生，喜欢各种前沿科技。关注我，邀你一起在 AI 浪潮中野蛮生长。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
暂无评论内容