刚刚，人工智能公司Runway推出了Gen-3模型，可以创建高度详细的视频，包括复杂的场景变化、广泛的电影选择和详细的艺术指导。

不多说，先看案例视频：

Prompt: Subtle reflections of a woman on the window

提示：一个女人在窗户上的微妙倒影

Prompt: FPV moving through a forest to an abandoned house to ocean waves.

提示：FPV 穿过森林移动到废弃的房子，再到海浪。

生成的视频相当真实，一点不比sora差！

普通人手搓生成电影的时代已经来了！

Gen-3能联合使用Runway现有工具，还不知道如何使用Runway的同学，收藏这篇教程！

本篇包括视频、音频、图像、文字、3D、自定义模型6大模块共30个工具的操作及应用分享，全网最详细！

Runway官网：https://runwayml.com/

科学进入网站后，首页即可看见30种AI工具，我们分以下四种类型分享：

一、视频类

二、图像类

三、音频文字类

四、其它类型

一、生成视频类

1、生成视频

（1）文字/图片生成视频 text/image to video

进入text/image to video工具，能看到页面被分为三个区域：

左上角是图片输入框，把图片放置在里面，能够生成动态视频；

左下角是文字提示词输入框，输入文字提示词后，能根据文字生成视频；

左侧边栏是功能设置部分，能够细化设置视频生成效果；

右边是视频展示区，生成的视频会呈现在右侧。

我在文字输入框内输入"Flames burning in the furnace"，看runway理解燃烧的火苗是什么样子的。

在文字输入框的左下角，有Free Preview功能，能够免费生成4个第一帧画面，可以重复生成，直到你遇到自己满意的画面。

接着点击选中的图片，会自动放置到图片输入框，在这张照片的基础上生成视频。

确定第一帧画面后，点击Fenerate 4S，查看生成效果：

视频是不带声音的，但在Runway其它的小工具中，可以配上音频。

生成视频中，画面是精致的，但是时间不长，火苗闪动两下，视频就结束了。

我们选择视频下方的Extend，左侧要编辑视频延长的相关功能，

第一项Fixed seed，种子值决定了生成结果的随机性。

相同的种子值会产生相同的风格化效果,不同的种子值会产生不同的效果。

勾选后，能生成相似的画面内容；

第二项Interpolate勾选后，画面过渡会更加平滑。

勾选两项功能后，查看生成的8S视频：

不查看秒数，你能发现两个视频的连接点吗？

当然，视频中也有小瑕疵，左右两侧的石板在火苗的照射下会突然消失，但整体画面还不错。

为了得到更精致的视频内容，可以调整左侧边的功能设置部分，分为常规设置、相机设置、运动画笔、风格、纵横比和自定义设置。

• 常规设置

常规设置主要更改提示词，首先是视频分辨率，默认生成720P视频，也可选择2K分辨率，但是会消耗更多时长。

其次是否遵循提示词，数值越小，runway的创作性越高，可能不太贴合原提示词，数值越大，越贴合原提示词。

同样的提示词"火苗在火炉中燃烧"，我们看下最小值1以及最大值30的效果。

左侧图片会严格遵循提示词，火苗火炉燃烧，全部体现出来；

而右侧图片是废墟中火焰在燃烧，除了火苗燃烧，其它内容和提示词差的太多。

往后负面提示词，可以去除你不喜欢的元素，在其它参数不变的情况下，我们添加负面提示词"黑色的铁炉"。

左侧是添加负面提示词的效果，可以看到铁炉变成了木材；

而右侧没有添加负面提示词的图片，木材和铁炉都有。

常规设置的右侧，图片种子和平滑过渡在延长视频部分说过，没印象的同学往上翻。

最后去除水印，能让视频中不带有GEN-2的水印标志。

• 相机设置

相机设置，主要控制生成视频时，整个画面镜头的移动和移动强度。

调整的过程，就像你在拿摄像机真实拍摄一样。

直接看上方小窗口的预览图就能很直观地感受到镜头的变化。

第一列为左右和上下平移，画面镜头移动很简单。

从之前生成视频的效果来看，画面镜头不会移动，只能展示火焰的跳动效果，我们将左右平移调到6，画面有了明显变化。

第二列，水平运镜是指摄像机位置不变，但镜头角度左右摆动。

当我们站在原地不动，转动脖子左右环顾四周看到的视野，就是水平运镜的效果。

而垂直运镜恰好相反，是我们上下观察看到的视野。

将水平运镜调整到6，相比于上一个来说，能看到右方靠后的画面。

放大缩小就是拉近或拉远页面。

而滚转角可理解成翻滚摄像机，或是飞机旋转时的视野。

选择滚转角8，画面倾斜角度明显，像是火苗被举起后的画面。

• 运动画笔

这个功能能在视频中精准控制某个或多个物体的运动方向，

比如下面的预览图，你想让昆虫往哪里飞，它就能往哪里飞。

这大幅提高了生成视频的可控性，可以实现角色表情动作控制、场景空间运镜、多角色控制等效果。

操作也很简单，我们用笔刷选中想要移动的物体，确定它要飞的方向，最后点击生成。

如果你也不清楚物体想怎样运动，那就选择Ambient，让算法决定移动方向。

• 风格

随意选择几种风格下载，画质相当在线，不输Ai绘画网站。

• 纵横比

纵横比能够满足各种视频格式的需求，根据输出平台或个人喜好自由调整视频的长宽比例。

Runway预设了6种纵横比，能满足大部分需求。

（2）视频生视频 Video to video

用视频生成视频，步骤很简单，只需要在左侧输入框，放进去你想调整的视频；

再在右侧更改样式风格，修改风格强度，最后选择生成即可。

使用这项功能，可以一键调整视频风格，还能通过文本描述添加文字、动效、人物抠取和背景替换等。

风格参考(Style Reference)决定了视频的最终生成效果，有上传图片、选择风格及文字描述三种设置。

点击image可上传图像作为参考，runway生成的视频会模仿这些图像的风格和画风。

参考图像越多,生成效果就越丰富。

没有参考图像，选择第二个present，有现成的风格挑选。

第三个Prompt，可以用文字描述想要的效果。

上传准备好的视频，通过文字描述不断更改视频内容，就能得到这样的效果：

风格强度(Style Strength)控制了风格化的程度，值越高视频风格就越自由，会偏离原始视频；

值越低视频风格越接近原始视频，通常将值设置为0.5-0.8。

种子值(Seed)决定了生成结果的随机性。

相同的种子值会产生‍相同的风格化效果，不同的种子值会产生不同的效果。

（3）帧插值 Frame interpolation

这个工具能将一系列静止图像无缝转换为流畅的视频。

图像序列中的图像差异越小，生成的视频效果越自然流畅，可以说是让静态图片活了过来。

操作很简单，将多组照片上传后，点击生成即可。

同时生成效果玩法很多，看起来也新奇，适合在做自媒体但又不太懂特效的小伙伴们：

（4）口型同步 Lip sync video

口型同步能让静止图像或视频中的人物"活起来"，说你想让他说的任何话。

上传人物图像和音频，runway就能自动分析音频的语音特征，然后将对应的嘴型同步应用到选定的图像或视频上,从而实现逼真的说话效果。

这项功能最好使用单人面朝前方且嘴巴运动最少的视频，效果才明显。

在音频和图像部分，可选择runway自带的样品，也可上传已有音频或视频，自由度很大。

我选择的是runway自带的声音，听起来没有上传音频那么自然；

但看她的面部肌肉和唇部动作，还是很自然的，没有硬逼着开口的感觉。

2、编辑视频

（1）移除背景 Remove background

这项功能能将视频中的物体抠出来，剩下背景保持绿幕。

操作很简单，上传视频后，选择自己要保留的人像，runway会自动将其余背景变为绿幕。

仔细对比下生成效果，人像扣除很完整，哪怕背景杂乱，也不会受到影响。

用好这项功能，不需要拉绿幕，短视频创作者们，也能生成科幻大片。

（2）修复 inpainting

这个工具能从视频中删除某个物体，并修复删除后的视频。

视频中出现不喜欢的物体或者瑕疵，就在页面中上传视频，选中想要删除的物体，点击生成。

对比生成效果中，桌子上面的核桃被完整去除，而桌缝也没有消失，完美被修补

（3）颜色风格 Color grade(LUT)

这个工具很少见到，它能通过文字描述改变视频的颜色。

例如，你可以输入"詹姆斯-邦德黑白风格"、"泰坦尼克号电影色调"或"矩阵绿色屏幕色调"，Runway就会生成对应的色彩效果。

（4）慢视频 Super-slow motion

这个工具能将将普通视频平滑转换为超级慢动作效果，哪怕原视频帧率较低，runway也能填补缺失的中间帧，确保慢动作效果流畅自然。

用户可自由调节慢动作的速度，最高将视频减速至原始速度的10%

（5）模糊面孔 Blur faces

这个工具能检测视频中的人脸，并模糊掉选中的人脸，也就是打马赛克。

导入视频后，会自动检测并将人脸打码；

如果对马赛克度和覆盖面积不满意，可以自己调整数值。

省掉了一帧帧P图的麻烦，直接一键后期到位。‍

（6）景深 Depth of field

景深是摄影中的专属名词，是指在拍摄时，被对焦成像清晰的前后距离范围。

在景深范围内拍摄的物体会显得清晰，而超出这个范围的物体会变得模糊。

在工具中，上传准备好的视频，先把模式改为Editing编辑，才能调整焦虑和景深强度。

焦距数值越大，景深就越浅，只能将近处的东西拍清楚。

景深强度越大，景深效果越明显。

（7）场景检测 Scene detection

这个工具能够将成品视频，根据场景切割成一个个小片段。

可以重新排列原素材，也能对其中一段素材单独进行调整。

切割后的视频片段，会存储在All Assets库的文件夹中，选择需要的片段使用即可。

（8）视频深度 Extract depth

这个工具能自动从视频中提取深度信息，生成深度图。

深度图是一种用来表示场景中每个像素点到相机的距离信息的灰度图像；

灰度值为0表示该像素点离相机最近，可用来检测障碍物到镜头的距离。

（9）自动追踪 Motion tracking

这个工具能自动跟踪视频中任何物体的运动轨迹，并将其他元素(如文字、图形等)固定在该物体上，实现流畅跟随效果。

和之前的模糊面孔 Blur faces有相似之处，模糊面孔是给脸上加了个马赛克。

而自动追踪则是确定一个物体，这个物体不一定是人脸；

同时和物体同步移动的可以是其它元素。

二、图像类

1、生成图像

（1）文字生成图像 Text to image

Runway的文生图功能和其它绘画网站一样，输入文字描述词生成图片。

但Runway比midjourney、stable diffusion等网站来说，把图片尺寸、分辨率等都单独放出来，更适合新手。

（2）图像生成图像 Image to image

在图生图功能中，Runway的功能简单全面，能在基础设置中调整画质、张数和风格，不需要再写进提示词当中；

还增加提示词权重和结构权重两种，提示词权重越高，生成图像会更贴近提示词的描述。

结构权重越高，生成图像会更贴近参考图的结构。

Runway生成的图像会保存在All Assets中，可以直接进行转视频或其它操作。

（3）扩展图像 Infinite image

这个工具能将图片的任意部分无限扩展，能扩展和补全现有的图像素材，和midjourney中的图片扩展功能相同，但比它要更加自由方便。

上传图像后，选择生成框架，也就是你想生成图片哪部分内容，是想向右上扩展，还是左下扩展，可以随意控制。

确定要生成的区域后，在输入框中添加文字描述，也可以设置提示词权重和种子值。

提示词权重越高，生成的图像内容会更贴近提示词的描述。

固定的种子值，可以确保在相同的输入条件下，每次生成的图像结果都是相似的。

（4）图像变换 Image variation

这个工具可以生成图片的多个变体版本；

生成的变体图像会在构图、颜色、细节等方面与原始图片有所不同，但整体风格和主题是相似的。

使用这个功能的好处是，当你想改造一张图片，但又不知道从哪里入手时；

就可以提供一张现成的图片，从生成的创意变体中进一步深挖使用；

比如我上传的这张图片，Runway生成的4张图片中，人物改变、提篮改变、背景改变等。

如果生成的图片中，没有激发你的创意，可以重复生成。

2、编辑图像

（1）放大图像 Expand image

这个工具能扩展图像的边缘部分，与Infinite image功能不一样的是，它能扩展整个画面的边缘部分，而Infinite image是扩展某个方向的图像。

最后的生成效果，对图片的整个区域进行了扩展。

（2）背景混合 Backdrop remix

这个工具能为任何照片生成无限种背景和场景。

对于电商个体来说，给产品拍摄图片后，能通过文字描述更换需要的场景，

相比于国内图片软件提供的有限场景更换，Runway能提供任何场景。

上传图片后，在右侧有预设后的场景，也可以顶级Custom，输入文字描述，生成需要的场景。

（3）擦除替换 Erase and replace

图像的擦除替换功能和视频的修复功能类似，都能对目标图像中不满意的场景进行修改替换。

在上传后，只需要涂抹想要修改的区域，接着输入文字描述，点击生成，就能生成4种替换的图像；

在生成图片中选择喜欢的一张保存即可。

（4）添加颜色 Add color

这个工具可以给黑白照片添加颜色，只需要上传图片，就能自动检测画面并生成彩色画面。

我们上传一张黑白骏马奔驰的图片，点击右侧生成图片，就能免费看到添加颜色后的效果。

可以看到，生成的颜色相当自然，甚至连马的毛发都有色彩过渡。

（5）分辨率 Upscale image

分辨率用来提高图片画质，和之前爆火的画质增强工具Magnific AI是一个类型,

但Runway的画质增强功能可以免费使用。

最高可增强到4K画质，

想要修复老照片的同学，使用Runway，不仅能让画质变清晰，还能直接转成视频。

三、音频文字类

1、音频类

（1）音频生成 Generative audio

在口型同步功能中，我们也体验到了文本生成音频的功能，使用界面两者完全相同。

还不知道怎么用的同学，返回视频类型查看。

（2）清除噪音 Clean audio

清除噪音可以把视频或音频中嘈杂的背景音去掉，功能免费，操作也很简单。

（3）去除静音 Remove silence

Remove Silence能自动检测并删除音频文件中的静音部分，让剪辑更方便地处理视频。

比如采访、播客或会议录音等，其中往往包含大量无意义的静默时间段，

之前需要人工识别并处理，现在交给Runway，直接删除里面的静音片段。

上传视频后，可以设置最低音量及缓冲时间。

视频中低于最低音量的片段会被标红并删除，而高于最低音量的片段会保留。

缓冲时间指的是，在删除静默片段后，前后两句话之前留有一些静音，避免转折太过生硬。

2、文字类

（1）视频生成字幕 subtitles

字幕功能可以给视频加上字幕，

上传视频后，预先选择提取语言，可选语言数十种。

（2）视频转录文本 transcript

转录功能可以将视频的语言转换为可在线编辑可下载的文本；

操作步骤和Subtitles相同，只需要选择语言，点击生成即可。

Runway会提取每一句话的时间节点，以及该句话的内容，

支持在线修改字幕和下载.srt文件。

四、其它类型

1、3D

Runway提供3D捕捉 3D capture及3D纹理 3D texture两种3D功能。

3D捕捉的功能使用很简单，只需要你围着某个物体拍摄，将它的全方位图像都记录下来；

接着导入Runway，就能生成立体的图形。

这项功能不少见，比如扫描整间屋子，生成立体图像可以多方位查看。

但Runway进一步扩展，你可以再对这个3D模型进行下一步操作，

比如让屋子处于外太空中，或者将房屋改造为绿色森林，通过文字描述可以轻松实现。

3D纹理可根据文本描述生成无缝的原创3D纹理，

只需在Runway中输入描述性文本，如"大理石纹理"、"木纹"、"金属氧化纹理"等，就会生成对应的3D纹理图像。

生成的纹理是无缝的，可以直接应用于3D模型的UV映射，不需要进行复杂的纹理拼接。

2、AI训练

AI训练这部分内容，可以自定义生成自己的人物、图片风格及物体，

包括人物生成器 Character generator、图片风格生成器 Style generator及物品生成器 Object generator。

自定义成功后，能够在Runway功能中使用。

三者的使用过程不难，只需要上传大量的相关图片，至少需要15张，Runway就能全面分析你上传的内容。

在其它绘画网站中，我们使用了大量复杂的教程，比如种子值一致性等参数，保证物体不发生变化，

而在Runway中，当我们自定义人物后，这个人物将永远按照你的设定出现在图像或视频中。

以上就是Runway的全部功能教程，涉及图像、视频、音频等多个领域，

在目前的AI网站中，没有哪一个像Runway一样，能满足你的所有需求。

还想看哪个工具的详细教程，欢迎留言。