動画生成モデルがロボットを動かす。RTX 5090一枚・反応101msでAudiが実運用

FLUX 3 は、Black Forest Labs が2026年7月23日に発表した、画像・動画・音声を1つのアーキテクチャで扱うマルチモーダル基盤モデルです。

📖 この記事で分かること

• FLUX 3 が画像・動画・音声を統合した経緯
• 動画予測の土台から行動を取り出す仕組み
• Audi の生産現場で扱っている作業の中身
• 現時点で使える範囲と未公表の項目

💡 知っておきたい用語

• video-action モデル:動画の続きを予測する力を、そのままロボットの手の動かし方に変換するモデル

最終更新日: 2026年7月24日

▶ 公式ページ

• FLUX 3 発表ページ(Black Forest Labs)
• FLUX 3 x mimic 発表ページ(Black Forest Labs)

FLUX 3 と FLUX-mimic の発表内容

この記事のポイント

• Black Forest Labs が 2026年7月23日、マルチモーダル基盤モデル FLUX 3(2026年7月時点)を発表しました。
• 動画は単一生成で最大20秒、ネイティブ音声付き。競合比で52〜93%のケースで選好されたとしています。
• 同じ土台から派生した FLUX-mimic が Audi の生産拠点で稼働し、反応時間は101msです。
• 動画は early access 提供中、画像は数週間内、ロボティクスは選定パートナー経由(2026年7月時点)。

Black Forest Labs は7月23日、マルチモーダル基盤モデル「FLUX 3」と、ロボット向けの video-action モデル「FLUX-mimic」を同時に発表しました。同社は FLUX 1 / FLUX 2 で静止画の生成モデルとして知られてきましたが、FLUX 3 では画像・動画・音声を一つのアーキテクチャで扱う設計に切り替えています。

注目すべきは、この2つが別々の製品ではなく、同じ土台を共有している点です。動画の続きを予測するために学習した内部表現から、ロボットの行動を取り出しています。

動画・音声を1つの土台に載せる「Self-Flow」

FLUX 3 は「Self-Flow」と呼ぶアプローチを採用しています。マルチモーダルな生成と理解を効率よく揃えるための方式で、画像・動画・音声を別々のタスクとして分けるのではなく、同じ現実を異なる角度から見たものとして扱います。

動画は単一生成で最大20秒まで対応します。予備評価は720pの10秒 text-to-video にネイティブ音声を付けた条件で行われ、競合モデルとの初期比較では52〜93%のケースで FLUX 3 が選好されたとしています。強みとして挙げられているのは、人物の表情の捉え方、音と物理的な出来事の対応づけ、そして多言語対応の3点です。

入力はテキストのプロンプトだけでなく、画像参照・動画の継続・キーフレーム誘導にも対応します。

計算コストの内訳も公開されており、学習時は動画予測が総計算コストの95%超を占めます。一方で720pの動画に音声を付けた場合、音声が占めるトークンは0.5%未満です。音声を足すコストは相対的に小さく、重心は一貫して動画側にあります。

動画予測の内部表現から行動を取り出す

FLUX-mimic は、ロボット企業の mimic robotics との共同開発です。FLUX 3 のバックボーンを産業用途に適応させたもので、mimic 側がロボット学習・器用なマニピュレーション・量産導入の知見を、Black Forest Labs 側がマルチモーダル学習とモデリングの知見を持ち寄っています。

仕組みとして特徴的なのは、タスクごとに専用の作り込みをするのではなく、FLUX 3 が学習した世界表現から行動をデコードしている点です。動画予測の経路から取り出した中間特徴量で軽量なアクションデコーダを学習させ、バックボーンの特徴表現から直接、行動を引き出しています。

学習データは、一般的な動画が数千万時間、マニピュレーションに特化した内容が数十万時間です。学習中にアクション予測を加えた際、text-to-video / image-to-video の品質が一時的に約10%低下しましたが、3,500ステップで完全に回復したとしています。動画生成の品質を犠牲にせずロボット制御を同居させられた、という報告です。

性能面では、フルモデルをファインチューニングした場合にマニピュレーションタスクの成功率が state-of-the-art に達したとしています。さらに、バックボーンを凍結した状態でも従来のvision-language-action モデルを上回りました。掴み損ねを自分で修正するような、失敗からの自然な復帰も示されています。標準的な video-action モデルと比べたサンプル効率の改善も報告されています。

処理速度は、バックボーンが単一の RTX 5090 GPU 上で80ms未満、ロボットシステム全体の反応時間で101msです。データセンター級の構成ではなく、GPU 1枚で現場に置ける水準に収まっています。

Audi の生産現場で扱っている作業

FLUX-mimic は Audi の生産拠点でテスト・導入されています。Audi Production Lab の Christoph Schneider 氏は、従来のロボティクスでは不可能だった複雑な軟体物のマニピュレーション作業をロボットが解いている、と述べています。

具体的な用途として挙がっているのは次の4つです。

• トレイへの部品キッティング
• 電子制御ユニット(ECU【イーシーユー】)の嵌合
• 部品の組み付け
• シールやケーブルなど柔らかい素材の取り扱い

このうち、柔らかい素材の扱いは従来の自動化が苦手としてきた領域です。形が固定されないため、あらかじめ決めた座標に手を動かす方式では対応しにくいという事情があります。

提供状況は分かれています。動画は early access が提供中、画像は数週間内に early access を開始予定、アクション(ロボティクス)は選定パートナー経由です(2026年7月時点)。将来的には API・private weight・オープンウェイトのマルチモーダルバックボーンの提供が予定されていますが、価格は未公表です。

編集部の見方

編集部は、この発表で最も効くのは動画の生成品質そのものではなく、動画予測のために作った土台を、そのまま行動生成に転用できたことだと見ています。

• 根拠1: 学習時の計算コストの95%超が動画予測に費やされています。この投資で得た内部表現が行動生成にも使えるなら、ロボット向けに一から学習し直すコストを回避できます。
• 根拠2: バックボーンを凍結したままでも従来の vision-language-action モデルを上回っています。土台の表現自体に行動に必要な情報が含まれていることを示す結果で、デコーダ側の作り込みに依存していません。
• 根拠3: 単一の RTX 5090 で80ms未満、システム全体で101msという数字は、生産ラインに置ける計算量に収まっています。研究段階の性能ではなく、Audi での実運用と整合します。

この見方が変わる条件は、オープンウェイトのバックボーンが実際に提供され、他社が同じ土台を再現できるようになった場合です。そのときは優位性がモデル側から、現場データと導入運用の側に移ります。

生成AIの文脈で動画モデルを評価する際、これまでは出力の見栄えが主な指標でした。今回の発表は、同じモデルが物理的な作業の精度でも評価される段階に入ったことを示しています。業務側で見るべき指標も、その分だけ変わります。

よくある質問

Q: FLUX 3 は今すぐ使えますか?

A: 動画は early access が提供中です。画像は数週間内に early access を開始予定、ロボティクス向けのアクションは選定パートナー経由での提供となっています(2026年7月時点)。

Q: 料金はいくらですか?

A: 発表時点で価格は公表されていません。将来的に API・private weight・オープンウェイトのバックボーン提供が予定されていますが、条件は未発表です。

Q: FLUX-mimic は Audi 以外でも使えますか?

A: 現時点で公表されているのは Audi の生産拠点での導入事例です。アクション系の提供は選定パートナー経由とされており、一般提供の時期は明らかにされていません。

まとめ

Black Forest Labs は2026年7月23日、画像・動画・音声を統合した FLUX 3 と、そのバックボーンを転用した video-action モデル FLUX-mimic を発表しました。動画予測で得た内部表現から行動をデコードする設計により、バックボーンを凍結した状態でも従来の vision-language-action モデルを上回っています。単一の RTX 5090 で80ms未満、システム全体で101msという処理速度で、Audi の生産拠点では柔らかい素材の取り扱いを含む作業に導入されています。価格と一般提供の条件は未公表です。

ロボット制御に関わる別のアプローチについては、以下の記事も参考になります:

【用語解説】

• Self-Flow: FLUX 3 が採用する方式。マルチモーダルな生成と理解を効率よく揃えるためのアプローチで、画像・動画・音声を同じ現実の別の側面として扱う
• アクションデコーダ: 動画予測の経路から取り出した中間特徴量を入力に、ロボットの行動を出力する軽量な部品
• マニピュレーション: ロボットが物をつかむ・はめる・組み付けるといった、手先を使う操作全般

引用元:

• [1] FLUX 3 x mimic: The Next Generation of Video-Action Models(Black Forest Labs)
• [2] FLUX 3(Black Forest Labs)
• [3] Black Forest Labs Unveils First Model for Robotics in Shift to Physical AI(Bloomberg)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。