One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation

📌 【Apple ML】一層注意力就夠？用預訓練視覺編碼器做影像生成

TL;DR：Apple 提出 FAE，僅用單層 attention 將預訓練視覺表示轉為生成用低維潛在，兼顧重建與理解。

視覺生成模型習慣在壓縮潛在空間（latent space）裡運作，而預訓練視覺表示（visual representations）又常被認為品質很好。但兩者之間的鴻溝，過去總得靠複雜架構去填。Apple ML 這篇 CVPR 2026 論文主張：其實一層就夠了。

🤔 理解特徵與生成潛在的根本衝突

視覺生成模型（如 diffusion models）通常在壓縮後的 latent space 運作，以平衡訓練效率與樣本品質。另一方面，將高品質預訓練視覺表示（無論是對齊進 VAE 或直接在生成模型內使用）已是熱門方向。

但兩者存在本質 mismatch：representation encoders 偏好高維 latent，能捕捉被遮罩區域的多種假設；生成模型則偏好低維 latent，且必須忠實保留注入的噪聲（noise）。這種落差讓先前研究依賴複雜目標與架構。

🧩 FAE：用兩個解碼器繞開維度矛盾

作者提出 FAE（Feature Auto-Encoder），一個簡單但有效的框架，能用最少單層 attention layer，將預訓練視覺表示轉換成適合生成的低維 latent，同時保留足夠資訊供重建與理解。

核心設計是耦合兩個獨立的深度解碼器（deep decoders）：

• 第一個解碼器：訓練來重建原始特徵空間（feature space）。
• 第二個解碼器：以重建後的特徵作為輸入，進行影像生成。

FAE 具通用性，可用多種 self-supervised encoders（如 DINO、SigLIP）例項化，並接入兩類生成家族：diffusion models 與 normalizing flows。

📊 ImageNet 256×256 上的近頂尖表現

在 class-conditional 與 text-to-image 基準上，FAE 皆有強勁表現。以 ImageNet 256×256 為例：

• 搭配 CFG 的 diffusion model：FID 達 1.29（訓練 800 epochs），以及 1.70（訓練 80 epochs），接近 state-of-the-art。
• 不使用 CFG 時，FAE 也達到素材截斷前所描述的「sta…」（原文未完整提供後續資料）。

🎯 實務啟示

對工程師而言，FAE 展示了一條輕量路徑：不必為了用預訓練視覺編碼器而重訓複雜對齊模組，單層 attention 加上雙解碼器設計，就能把 DINO、SigLIP 這類表示接進 diffusion 或 flow 模型。若你正在評估如何複用現有 encoder 做生成任務，這套框架值得作為 baseline 試驗。

🔗 來源

• 標題：One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation
• 連結：https://machinelearning.apple.com/research/adapting-pretrained-visual-encoders

#ComputerVision #ImageGeneration #DiffusionModels #VisualEncoders #FAE #DINO #SigLIP #LatentSpace #AppleML #CVPR2026