Transformers v5.17.0、780BのHYV4対応。Vision RoPEは移行が必要

Transformers v5.17.0 は、HYV4やVibeVoiceなど6系列のモデル対応を追加する一方、Vision RoPEの統一によって独自ビジョンモデルには移行作業が生じる更新です。

📖 この記事で分かること

• v5.17.0で追加された6系列の新モデルの中身
• HYV4が780Bで動く仕組みと1Mトークンの文脈長
• Vision RoPE統一で移行が必要になる条件
• 生成・キャッシュ・量子化まわりの修正内容

💡 知っておきたい用語

• MoE:モデルの中に多数の専門家を置き、入力ごとに一部だけを働かせる仕組み。全員を毎回動かさないぶん計算量を抑えられる。
• RoPE:単語や画像パッチの「位置」を回転で表す位置埋め込みの方式。

最終更新日: 2026年9月10日

▶ 公式ページ

• Transformers v5.17.0 リリースノート(GitHub)

Transformers v5.17.0で何が変わったか

この記事のポイント

• Hugging Faceが2026年9月9日にTransformers v5.17.0(2026年9月時点)を公開しました。
• HYV4やVibeVoiceなど6系列の新モデルに対応し、HYV4は総パラメータ780B・コンテキスト長1Mトークンです。
• vision rotary embeddingsの統一は破壊的変更で、独自実装のvision modelは移行が必要です。

Hugging Faceは2026年9月9日、Transformers v5.17.0を公開しました。更新の柱は二つで、一つは新しいモデル系列の追加、もう一つはvision系の位置埋め込み実装の統一です。前者は使える範囲を広げる変更、後者は既存コードの書き換えを迫る変更であり、性格が正反対のものが同じリリースに同居しています。

公式リリースノートは、vision rotary embeddingsの統一を破壊的変更として明記しています。新モデルを目当てにバージョンを上げると独自実装が動かなくなる可能性があるため、更新前に自分のコードがどちら側にあるかを見極める必要があります。

追加された新モデル系列

v5.17.0では、HYV4、VibeVoice、NeoMME、Fun-ASR-Nano、KimiLinear、NVIDIA Canary-1B-v2といった系列が新たに扱えるようになりました。

規模が最も大きいのはHYV4(Hy4-Preview)です。総パラメータは780BのMoEですが、1トークンあたりの活性パラメータは49Bに抑えられています。内部には256のルーティングexpertと、常時稼働するshared expertが1つ置かれ、各トークンは8つのexpertへ振り分けられます。コンテキスト長は1Mトークンです。

音声系の追加が目立つのも今回の特徴です。VibeVoiceはLLM構造の中でnext-token diffusionを行い、複数話者の長時間音声生成を狙います。Fun-ASR-Nanoは800Mで中国語・英語・日本語の音声認識に対応し、NVIDIA Canary-1B-v2は多言語ASRと音声翻訳向けです。マルチモーダル側では、NeoMMEが260Mと800Mの2サイズの多言語encoderとして加わりました。

日本語を扱う開発者に直接効くのはFun-ASR-Nanoです。800Mという小ささで日本語を含む3言語に対応するため、手元の環境でも検証を始めやすい位置にあります。

Vision RoPEの統一と破壊的変更

今回のリリースで最も注意が要るのは、vision rotary embeddings(2D/3D)がmodeling_rope_utils.pyの統一RoPE計算モジュールへ標準化された点です。公式リリースノートはこれを破壊的変更として扱っています。

影響を受けるのは、attention layer単位でRoPEを持つ実装や、model固有のRoPE grid interleavingに依存しているcustom vision modelです。公開モデルをそのまま呼び出している利用では該当しませんが、社内でvision modelを改造している場合は移行作業が発生します。

一方で、位置埋め込みの計算が1か所へ集まったことで、今後vision系モデルが追加されるたびに同じ処理が各モデルへ散らばる状態は解消されます。移行コストは一度きりで、その先の追従は軽くなる形の変更です。

生成・キャッシュ・量子化まわりの改善

生成処理では、decode stepごとに発生していた不要なaccelerator synchronizationが取り除かれ、step単位のoverheadが減りました。トークンを1つ出すたびに走る処理のため、出力が長いほど差が出る種類の最適化です。あわせて、generation時にremote hubのファイルを無条件でdownloadしていた挙動も修正されました。

cache周辺の修正も複数入っています。対象はVibeVoiceのquantized cache、VoxtralRealtimeにおけるnon-static cacheの判定、そしてpaged attentionをcacheなしで呼んだ際のsilent failureです。最後のものは失敗が表に出ないまま処理が進む種類の不具合で、気づかないまま使っていた環境がある可能性があります。

量子化ではFP8やMXFP4を含む修正が入り、AutoRoundは5/6/7 bitに対応しました。kernelがfallbackしたときに警告が出るようになった点も、意図せず遅い経路へ落ちていた状況を検知しやすくします。

編集部の見方

編集部は、v5.17.0で実務に最も効くのは新モデルの追加ではなくVision RoPEの統一だと見ます。

• 根拠1: 公式リリースノートが破壊的変更として明記しているのはこの1点であり、更新の可否判断はここに集約されます。新モデルは使わなければ影響しませんが、RoPEの変更は既存コードに触れます。
• 根拠2: 影響範囲が「attention layer単位、またはmodel固有のRoPE grid interleavingに依存するcustom vision model」と具体的に示されています。自社実装が該当するかを事前に確認でき、更新計画を立てられます。
• 根拠3: paged attentionのsilent failure修正のように、気づきにくい不具合が同時に潰されています。更新を先送りするほど、この種の修正を取り込めない期間が延びます。

この見方が変わる条件: HYV4やVibeVoiceを本番で使う計画が具体的にある場合、判断の重心は新モデル側へ移ります。総パラメータ780Bは動かせる環境が限られるため、その検証自体が別の作業になります。

よくある質問

Q: v5.17.0へ上げると必ずコード修正が必要ですか?

A: すべての利用者に必要なわけではありません。修正が要るのは、attention layer単位のRoPEやmodel固有のRoPE grid interleavingに依存するcustom vision modelを持っている場合です。

Q: HYV4は手元のGPUで動きますか?

A: 公式リリースノートに動作要件の記載はありません。総パラメータ780B、1トークンあたり49B活性という規模から、一般的な単一GPU環境を前提とした構成ではありません。

Q: 日本語の音声認識に使えるモデルは追加されましたか?

A: Fun-ASR-Nanoが800Mで中国語・英語・日本語に対応しています。多言語ASRと音声翻訳の用途では、NVIDIA Canary-1B-v2も追加されました。

まとめ

Transformers v5.17.0は、HYV4やVibeVoiceを含む6系列の新モデル対応と、vision rotary embeddingsの統一という性格の異なる変更を同時に含みます。前者は使わなければ影響しませんが、後者はcustom vision modelを持つ環境に移行作業を求めます。生成のstep単位overhead削減やcache周辺の修正も入っており、更新の判断は自分のvision実装が該当するかを確認するところから始まります。

【用語解説】

• ASR: 自動音声認識のこと。音声を文字へ書き起こす処理を指します。
• shared expert: MoEの中で、入力によらず常に働くexpert。ルーティングで選ばれるexpertとは別枠で置かれます。
• paged attention: attentionのキャッシュをページ単位で管理し、メモリ利用効率を高める手法。

引用元:

• [1] Transformers v5.17.0 Release Notes(GitHub)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。