ComfyUI Flux.1 ControlNet の使用例

FLUX.1 ControlNet モデルの概要

FLUX.1 Canny および Depth は、Black Forest Labs が提供する FLUX.1 Tools キットに含まれる2つの強力なモデルです。このツールキットは、FLUX.1 に制御およびガイダンス機能を追加することを目的としており、ユーザーが実画像や生成済み画像を修正・再生成できるようにします。 FLUX.1-Depth-dev および FLUX.1-Canny-dev は、いずれも120億パラメータの Rectified Flow Transformer モデルであり、テキストによるプロンプトに基づいて画像を生成しつつ、入力画像の構造的特徴を維持します。
Depth 版では深度マップ抽出技術を用いて元画像の空間構造を保持し、Canny 版ではエッジ検出技術を用いて元画像の構造的特徴を保持します。ユーザーは用途に応じて適切な制御手法を選択できます。両モデルには以下の特長があります：

高品質かつ高精細な出力結果
元画像との構造的一貫性を保ちつつ、プロンプトへの忠実な応答能力
効率向上のため、ガイド付き蒸留（guided distillation）技術で学習済み
研究コミュニティ向けに重み（weights）がオープンソース化されている
API インターフェース（Pro版）およびオープンソースの重み（Dev版）を提供

さらに、Black Forest Labs は完全版モデルから抽出されたアダプター版 FLUX.1-Depth-dev-lora および FLUX.1-Canny-dev-lora も提供しています。
これらは FLUX.1 [dev] 基底モデルに適用することで、ファイルサイズを小さくしたまま同様の機能を実現でき、特にリソースが限られた環境に最適です。本チュートリアルでは、FLUX.1-Canny-dev の完全版と FLUX.1-Depth-dev-lora を用いたワークフローの実行例を紹介します。

すべてのワークフロー画像のメタデータには、対応するモデルのダウンロード情報が記載されています。ワークフローの読み込みには以下の方法をご利用ください：

画像を ComfyUI へ直接ドラッグ＆ドロップ
またはメニュー Workflows → Open（Ctrl+O） を選択

デスクトップ版を使用していない場合、あるいは一部のモデルが自動ダウンロードされない場合は、手動インストールのセクションに従い、モデルファイルを対応するフォルダーに保存してください。画像の前処理については、以下のカスタムノードをご利用いただけます。本例では、あらかじめ前処理済みの画像を入力として提供します。

FLUX.1-Canny-dev 完全版ワークフロー

Comfy Cloud で実行

1. ワークフローおよび関連アセット

下記のワークフロー画像をダウンロードし、ComfyUI にドラッグ＆ドロップしてワークフローを読み込んでください。 ComfyUI ワークフロー - ControlNet

下記の画像をダウンロードし、入力画像として使用します。 ComfyUI Flux.1 Canny Controlnet 入力画像

2. モデルの手動インストール

以前に Flux 関連ワークフローの完全版を使用済みの場合、flux1-canny-dev.safetensors のみをダウンロードすれば十分です。
ただし、black-forest-labs/FLUX.1-Canny-dev のライセンス条件に同意する必要があります。そのため、black-forest-labs/FLUX.1-Canny-dev のページにアクセスし、下図のように該当リポジトリの利用規約に同意済みであることを確認してください。

必要なモデル一覧：

clip_l.safetensors
t5xxl_fp16.safetensors
ae.safetensors
flux1-canny-dev.safetensors（対応リポジトリの利用規約に事前に同意していることをご確認ください）

ファイルの保存先ディレクトリ構成：

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── t5xxl_fp16.safetensors
│   ├── vae/
│   │   └── ae.safetensors
│   └── diffusion_models/
│       └── flux1-canny-dev.safetensors

3. ワークフロー実行手順（ステップ・バイ・ステップ）

Load VAE ノードで ae.safetensors が正しく読み込まれていることを確認してください。
Load Diffusion Model ノードで flux1-canny-dev.safetensors が正しく読み込まれていることを確認してください。
DualCLIPLoader ノードで以下のモデルが読み込まれていることを確認してください：
- clip_name1: t5xxl_fp16.safetensors
- clip_name2: clip_l.safetensors
Load Image ノードで上記で提供した入力画像をアップロードしてください。
Queue ボタンをクリックするか、ショートカット Ctrl（Cmd） + Enter を押してワークフローを実行してください。

4. 実験を開始しましょう

FLUX.1-Depth-dev モデルを用いて、Depth 版のワークフローを実行してみてください。以下の画像を入力としてご利用いただけます：
ComfyUI 室内深度マップ

また、以下のカスタムノードを用いて画像の前処理を行うことも可能です：