How Diffusion Controller unifies and simplifies AI image generation

Capture record

• Canonical URI： https://research.google/blog/how-diffusion-controller-unifies-and-simplifies-ai-image-generation/
• Source class： original research（Google Research 官方研究文章，並連到 arXiv:2603.06981 的論文 abstract）。本筆保留來源自己的研究敘述與限制，status: draft。
• 原文標題： How Diffusion Controller unifies and simplifies AI image generation
• 作者／出版者： Chih-wei Hsu、Moonkyung Ryu／Google Research；對應論文作者另含 Tong Yang、Guy Tennenholtz、Yuejie Chi、Craig Boutilier、Bo Dai。
• 發布時間： Google Research 頁面標示 September 29, 2026；arXiv 頁面標示論文於 2026-03-07 提交。
• 擷取時間： 2026-09-29T18:42:11+00:00
• Retrieval method： 以 web_extract 讀取 Google Research canonical article；以 Python urllib 直接 HTTP GET 核對 Google Research 與 arXiv metadata／abstract，並以 Python 標準函式庫解析文章 HTML。全程未使用 browser。
• HTTP metadata： Google Research status 200、response Date: Tue, 29 Sep 2026 18:40:20 GMT、Content-Type: text/html; charset=utf-8、182,511 bytes、HTML payload SHA-256 12679125a45c26f178f26bc2d13e1a910379affce05dd25b352277a3871b4c4d。arXiv status 200、response Date: Tue, 29 Sep 2026 18:41:16 GMT、Content-Type: text/html; charset=utf-8、43,199 bytes、HTML payload SHA-256 10649ed0d5c6fb3583fe4410415a982d58a1193c8e4aa80634e3c0e3994592ef。
• Saved payloads and SHA-256： 無；只保存本 wrapper。未保存 Google Research HTML、圖片、arXiv PDF／HTML 全文、模型權重、benchmark payload 或生成 artifacts。frontmatter 的 sha256 是本檔 frontmatter 結束後 body 的 SHA-256，不代表可由 hash 重建未保存的外部內容。

Faithful summary

Google Research 將 Diffusion Controller（DiffCon） 描述成一個輕量的「steering damper」network：它不重建或全面改寫 base image model，而是在生成過程中逐步注入小幅控制修正，讓輸出更貼近使用者指定的 prompt、style 或其他 target，同時盡量保留原本的影像品質與穩定性。文章把問題 framing 成 prompt alignment 與 image quality 之間的控制取捨。¹²

來源指出，現有方法通常分成 inference-time guidance 與較重的 fine-tuning／adapter 路線；Diffusion Controller 則把 reverse diffusion denoising 視為連續控制問題，讓預訓練 backbone 可以保持 frozen，再以 side network 依中間 denoising state 產生控制修正。arXiv abstract 將此形式化為 state-only stochastic control，並以 generalized linearly-solvable MDP、terminal objective 與 f-divergence cost 統一描述。¹²

From theory to practice

Google Research 文章列出兩條以 final reward 為核心的 fine-tuning 路線：policy gradient／PPO 以 clipping rule 限制更新幅度，避免訓練過程出現大幅、失控的變化；reward-weighted loss 則把高品質生成結果加權到直接的回歸目標。arXiv abstract 進一步指出，後者在 KL divergence 下具有 minimizer-preservation guarantee；本筆未讀取完整論文公式、證明或超參數。¹²

文章特別強調 gray-box／access-restricted 場景：控制網路只需要取得暴露的中間 denoising output，就能對封閉或不允許修改內部權重的模型施加修正；相對地，white-box 版本則可聯合訓練控制網路與 base model。這是來源提出的架構能力，不等於所有 closed-source image model 都已被實際驗證。¹²

Experiments and results

研究以 Stable Diffusion v1.4 為 backbone，對 SFT、reward-weighted loss（RWL）與 PPO 三種 fine-tuning regime 評估，並使用 Human Preference Score v2（HPS-v2）觀察 prompt／aesthetic preference alignment。文章列出四種結構：gray-box 的 Diffusion Controller、naive side-network baseline，以及 white-box 的 Diffusion Controller-J 與 Diffusion Controller-S。¹

Google Research 表示，在 SFT 與 RWL 設定中，gray-box Diffusion Controller 的 HPS-v2 win rate 高於 LoRA；文章也表示它在 human evaluation 中取得較佳的 subjective quality 與 prompt matching。這些比較是來源研究的 benchmark／human-evaluation account，本輪未讀取完整實驗表格、評測 protocol、信賴區間或重跑結果。¹

文章另指出，完全解鎖、可改動 base model 內部權重的 white-box 版本，對 baseline 達到 90% win rate；該數字保留為 Google Research 文章的來源陳述，不能直接外推為所有模型、prompt 分布或 production image workflow 的固定效果。¹

Runtime control and reusable pattern

Diffusion Controller 的一個 runtime 特徵是可以調整單一 inference-time guidance strength，動態改變控制約束強度，讓使用者在 prompt alignment 與原始影像穩定性之間做連續取捨。文章將 personalization、harmful-content safety mechanism 與 video model control 列為後續研究方向；這些是 future work，不是本輪已驗證的產品能力。¹

raw-only 的可重用 pattern 是：frozen generative backbone + 小型 side controller + final-reward objective + 可調式 runtime control。對 AI Ark 而言，這可作為 diffusion model control、preference alignment 與生成式媒體 eval 的觀察素材，與 diffusion-model-creativity、generative-media-agent-workflow 交叉閱讀；本輪不把它升格為 compiled concept。

Claim ledger

ID	Source claim	Status	Owning evidence and boundary
C01	Google Research 於 2026-09-29 發布〈How Diffusion Controller unifies and simplifies AI image generation〉，作者為 Chih-wei Hsu 與 Moonkyung Ryu。	supported	Google Research canonical article metadata 直接支持；只代表來源 metadata。1
C02	Diffusion Controller 把 reverse diffusion 視為連續控制問題，使用 frozen backbone 與輕量 control correction／side network。	supported	Google Research 文章與 arXiv abstract 都直接描述此 framing 與 model form；本輪未執行模型。12
C03	方法包含 policy gradient／PPO 與 reward-weighted regression；arXiv abstract 描述 KL 下的 minimizer-preservation guarantee。	supported	兩個來源都支持方法名稱與主要性質；完整證明、公式與實作細節未讀取。12
C04	在 Stable Diffusion v1.4、SFT／RWL／PPO 與 HPS-v2 評測設定中，Diffusion Controller 被報告為優於對應 baseline，且部分 gray-box 比較優於 LoRA。	partially-supported	Google Research 文章直接報告這些比較；完整表格、baseline 定義、統計不確定性與獨立重跑未完成。1
C05	white-box 版本對 baseline 達到 90% human-preference win rate。	partially-supported	數字直接來自 Google Research 文章；本輪未讀取完整 human-evaluation protocol、樣本數與原始評測輸出。1
C06	單一 inference-time guidance strength 可讓使用者在控制強度與影像穩定性間動態調整。	supported	Google Research 文章直接描述 runtime parameter；未實際操作產品或模型。1
C07	Diffusion Controller 已能普遍、穩定地控制所有封閉式 image model，並在 production 中保持品質與安全。	unresolved	來源只展示研究方法與 Stable Diffusion v1.4 實驗，沒有跨模型、跨資料分布、production reliability 或 safety evaluation 證據。12
C08	personalization、harmful-content mitigation 與 video-model control 已完成並可直接部署。	unresolved	文章將其列為 future directions，未提供已完成系統或部署證據。1

Evidence boundary

本記錄支持的最小結論是：Google Research 在 2026-09-29 介紹 Diffusion Controller，一個把 diffusion denoising 重寫成連續控制問題的架構；其核心是 frozen backbone 上的輕量 side controller，並以 policy-gradient／PPO 與 reward-weighted regression 兩類方法做 reward-driven fine-tuning。Google Research 文章與 arXiv abstract 都支持這個方法描述，文章另報告 Stable Diffusion v1.4、HPS-v2 與 human preference 的研究結果。¹²

本記錄不能證明 Diffusion Controller 對所有 closed-source image models、所有 prompt／preference distributions 或 production workloads 普遍有效；不能把 90% win rate、HPS-v2 比較或「不破壞穩定性」直接視為跨模型保證。完整論文、實驗表格、模型權重、code、benchmark payload、human-evaluation raw data 與產品操作本輪未讀取、未保存或未重跑。沒有 human verification，未加入 verified。

Rights boundary

僅保存 metadata、繁中 faithful summary、claim ledger、必要的證據核對連結與 evidence boundary；未保存 Google Research HTML、圖片、arXiv PDF／HTML 全文、模型權重、benchmark payload、human-evaluation raw data 或生成圖片。各來源的文章、論文、圖像、模型與資料仍受其版權、授權與服務條款約束；canonical links 是後續查核入口，來源讀取不等於取得重製、下載或商業使用授權。

Footnotes

1. Google Research，〈How Diffusion Controller unifies and simplifies AI image generation〉，Chih-wei Hsu、Moonkyung Ryu，2026-09-29；https://research.google/blog/how-diffusion-controller-unifies-and-simplifies-ai-image-generation/。 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³ ↩¹⁴ ↩¹⁵ ↩¹⁶ ↩¹⁷

2. Tong Yang、Moonkyung Ryu、Chih-Wei Hsu、Guy Tennenholtz、Yuejie Chi、Craig Boutilier、Bo Dai，〈Diffusion Controller: Framework, Algorithms and Parameterization〉，arXiv:2603.06981，2026-03-07 提交；本次讀取 abstract／metadata；https://arxiv.org/abs/2603.06981。 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸