Runway 合作伙伴节点 视频生成 ComfyUI 官方示例

本文将介绍如何在 ComfyUI 中使用 Runway 节点进行视频生成的相关工作流

Runway 是一家专注于生成式 AI 的科技公司，提供强大的视频生成功能。目前 ComfyUI 已集成 Runway API，你可以直接在 ComfyUI 中使用相关节点进行视频生成。

目前 ComfyUI 中原生集成了 Runway 的以下视频生成模型：

• Runway Gen3a turbo
• Runway Gen4 turbo
• Runway First Last Frame to video

使用 API 节点需要保证你已经正常登录，并在受许可的网络环境下使用，请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。

便携版或手动安装用户

请确保你的 ComfyUI 已经更新。

• ComfyUI 下载
• ComfyUI 更新教程

本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。

如果加载工作流时有节点缺失，可能原因有：

1. 你用的不是最新开发版（nightly）。
2. 你用的是稳定版或桌面版（没有包含最新的更新）。
3. 启动时有些节点导入失败。

桌面版或云端用户

• 桌面版是基于 ComfyUI 稳定版本构建的，它会在有新的桌面稳定版本发布时自动更新。
• Cloud 会在 ComfyUI 稳定版本发布后更新，我们会同步更新 Cloud。

所以，如果你发现本教程中有任何核心节点缺失，那是因为对应的节点支持还在开发中没有发布正式的稳定版，请等待下一个稳定版本发布。

​

Gen3a turbo 图生视频工作流

​

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息，请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片

​

2. 按步骤完成工作流的运行

你可参考图片中的序号来完成最基础的文生图工作流运行：

1. 在 Load Image 节点中加载提供的输入图片
2. 在 Runway Gen3a turbo 节点中设置 prompt 描述视频内容，修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
3. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
4. 等待 API 返回结果后，你可在 Save Video 节点中查看生成的视频（右键菜单可以保存），对应的视频也会被保存至 ComfyUI/output/ 目录下。

​

Gen4 turbo 图生视频工作流

​

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息，请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片

​

2. 按步骤完成工作流的运行

你可参考图片中的序号来完成最基础的文生图工作流运行：

1. 在 Load Image 节点中加载提供的输入图片
2. 在 Runway Gen4 turbo 节点中设置 prompt 描述视频内容，修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
3. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
4. 等待 API 返回结果后，你可在 Save Video 节点中查看生成的视频（右键菜单可以保存），对应的视频也会被保存至 ComfyUI/output/ 目录下。

​

首尾帧视频生成工作流

​

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息，请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片

​

2. 按步骤完成工作流的运行

你可参考图片中的序号来完成最基础的文生图工作流运行：

1. 在 Load Image 节点中加载起始帧
2. 在 Load Image 节点中加载结束帧
3. 在 Runway First-Last-Frame to Video 节点中设置 prompt 描述视频内容，修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
4. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
5. 等待 API 返回结果后，你可在 Save Video 节点中查看生成的视频（右键菜单可以保存），对应的视频也会被保存至 ComfyUI/output/ 目录下。