作者：Sixiang Chen等

解讀：AI生成未來

很多AI 海報生成默認(rèn)從一句 prompt 出發(fā)（Text-to-Poster）。但在真實設(shè)計流程里，更常見的起點其實是一張參考圖/舊海報/產(chǎn)品主視覺：你希望在保留關(guān)鍵主體的前提下，完成擴圖、補全、改比例、換風(fēng)格、換布局等操作，最終得到一張“更像成品海報”的結(jié)果。

PosterOmni 圍繞的核心一句話是：

one model for generalized multi-task image/poster-to-poster generation

用同一個開源模型，統(tǒng)一覆蓋常見設(shè)計側(cè)需求：既能做精細(xì)編輯，也能做高層次的風(fēng)格與版式再創(chuàng)作。

傳統(tǒng)很多方案更像“一套修圖工具 + 一套生成工具”拼在一起，能做但經(jīng)常割裂；

PosterOmni 更像一個“從參考稿出發(fā)的設(shè)計助理”：你給它一張參考圖，它既能細(xì)修，又能按風(fēng)格/布局意圖重構(gòu)。

亮點直擊

1）統(tǒng)一“圖生海報”范式：一個模型覆蓋六類典型設(shè)計任務(wù)

PosterOmni 不把海報能力拆成多個模型/插件，而是把 image/poster-to-poster 的典型需求系統(tǒng)化為 6 類任務(wù)，并統(tǒng)一在單一模型中：

局部編輯（精修類）：Extend（擴圖）、Fill（補全）、Rescale（改比例）、Identity-driven（ID 保持）

全局創(chuàng)作（再設(shè)計類）：Style-driven（風(fēng)格參考）、Layout-driven（布局參考）

重點不在“任務(wù)列表”，而在它們共同對應(yīng)一個現(xiàn)實工作流：

給定參考圖/舊海報 → 按需求做編輯/重排/換風(fēng)格/換布局 → 輸出新海報。

2）“數(shù)據(jù)—蒸餾—獎勵”閉環(huán)：讓 one model 同時兼顧精修與創(chuàng)作，減少多任務(wù)互相干擾

多任務(wù)最難的問題之一是干擾：局部編輯強調(diào)像素一致、主體自然保持；全局創(chuàng)作強調(diào)整體風(fēng)格抽象與版式結(jié)構(gòu)的重創(chuàng)作。直接混在一起訓(xùn)練，常見結(jié)果是模型“都會一點，但不夠穩(wěn)定”。

PosterOmni 的訓(xùn)練路線更克制：

先分別訓(xùn)練 局部編輯專家 與 全局創(chuàng)作專家

再用 任務(wù)蒸餾 融合能力到一個學(xué)生模型（PosterOmni-SFT）

最后引入統(tǒng)一獎勵與強化學(xué)習(xí)，把“審美偏好”和“編輯精度/指令遵循”一起對齊

3）PosterOmni-Bench：用統(tǒng)一基準(zhǔn)把“設(shè)計側(cè)常見需求”比清楚

我們建立了多任務(wù)基準(zhǔn) PosterOmni-Bench（中英文共 1020 條測試提示，覆蓋六任務(wù)），并進(jìn)行系統(tǒng)評測。結(jié)果顯示 PosterOmni 在六類任務(wù)上整體更均衡，尤其在需要高階理解的 布局遷移/風(fēng)格遷移 上提升更明顯；在 改比例/ID 保持 等局部任務(wù)上也更穩(wěn)定。在公平的評測與打分方式下，整體表現(xiàn)也超過了部分先進(jìn)的商業(yè)系統(tǒng)，與最先進(jìn)的商業(yè)模型較為接近。

總覽：PosterOmni 能解決哪些“設(shè)計側(cè)常見需求”？

真實工作流的“雙重挑戰(zhàn)”：比例要改、版式要動；風(fēng)格要學(xué)、內(nèi)容不能抄；主體要穩(wěn)、細(xì)節(jié)要自然

PosterOmni 聚焦的并不是“生成一張好看的圖”，而是更接近設(shè)計側(cè)的需求組合。

例如:

Rescale（改比例）：不是簡單裁剪/拉伸，而是更接近“比例變了，布局跟著重排”。比如把豎版活動海報改成方圖社媒封面，標(biāo)題層級、留白、元素間距需要一起調(diào)整，同時主體不能漂。

Style-driven（風(fēng)格參考）：在保留user prompt需求的同時，更希望學(xué)到“配色/質(zhì)感/光影/字體氣質(zhì)”等抽象風(fēng)格，而不是把參考圖的具體元素直接 copy 過去（現(xiàn)存的商業(yè)模型在某些場景下也容易出現(xiàn)這種“拼貼式拷貝”的現(xiàn)象）。

Layout-driven（布局參考）：在保留user prompt需求的同時，復(fù)用的是結(jié)構(gòu)邏輯（視覺中心、信息分區(qū)、層級關(guān)系），而不是硬套模板導(dǎo)致生硬拼裝。

PosterOmni 把“精修”和“再設(shè)計”都放進(jìn)同一個 image/poster-to-poster 引擎里，讓常見設(shè)計操作可以在一個模型內(nèi)完成。

方法論

PosterOmni 的核心目標(biāo)，是把真實設(shè)計里常見的“一張參考圖 + 一句指令”統(tǒng)一成 one model for generalized multi-task image/poster-to-poster generation：既能做局部精修（比如擴圖、補全、縮放、ID保持），也能做全局創(chuàng)作（布局遷移、風(fēng)格遷移），并且在同一個模型里做到“既改得準(zhǔn)、又改得好看”。

為了讓同一個模型同時具備這兩類能力，我們設(shè)計了一條完整的 數(shù)據(jù)—專家—蒸餾的SFT訓(xùn)練管線，在最后用 Omni-Edit 強化學(xué)習(xí)把“審美”和“任務(wù)完成度”一起對齊，避免常見的多任務(wù)互相干擾。

階段 1：自動化數(shù)據(jù)構(gòu)建與 PosterOmni-200K

高質(zhì)量、多任務(wù)、可控的配對數(shù)據(jù)，是統(tǒng)一模型的地基。PosterOmni 先用一套全自動合成管線生成 PosterOmni-200K，并同步構(gòu)建評測集 PosterOmni-Bench。整個數(shù)據(jù)構(gòu)建流程把“創(chuàng)意提示生成—候選圖生成—多模態(tài)過濾—任務(wù)特定配對”串成一個閉環(huán)：先生成具有真實海報語境的 prompts 和 base images，再做嚴(yán)格篩選，最后按任務(wù)生成輸入輸出對再過濾，組成訓(xùn)練與評測數(shù)據(jù)套件。

(1) 提示詞與基圖生成（更像“真實設(shè)計 brief”）

PosterOmni不是用簡單 caption，而是組合“主體/品類 + 場景 + 風(fēng)格標(biāo)簽”，再讓 VLM（如 GPT、Qwen3）寫成帶排版與美學(xué)約束的結(jié)構(gòu)化提示（例如標(biāo)題/副標(biāo)題/位置、整體風(fēng)格意圖等），再用強 T2I 生成器（如 Qwen-Image 等）渲染多個候選圖，提前剔除缺主體、文字崩壞、布局塌陷的樣本。

這一步的意義是：讓后續(xù)所有任務(wù)都圍繞“設(shè)計側(cè)真實需求”展開，而不只是通用圖像編輯。

(2) 多模態(tài)過濾（保證“能訓(xùn)練、也能評測”）

合成數(shù)據(jù)最大的問題不是規(guī)模，而是噪聲。我們做了分層過濾：

訓(xùn)練集：用 PaddleOCR 做文字可讀性/關(guān)鍵詞一致性檢查，再用 Jina-clip-v2 做圖文一致性，去掉錯字、錯語種、錯語義、排版不合理樣本。

評測集：在 OCR 之外再引入 Gemini-2.5-Flash 判斷“任務(wù)適配性”（例如布局遷移任務(wù)必須有可解析的布局結(jié)構(gòu)），保證 benchmark 的可比性與可靠性。同時用 SAM-2 做分割/區(qū)域生成，為后續(xù)“填充/擴圖”等任務(wù)提供 mask 級監(jiān)督信號。

(3) 六類任務(wù)的配對構(gòu)建（把常見設(shè)計需求“落到數(shù)據(jù)上”）

在通過過濾的“文本→海報”基語料上，我們按六類任務(wù)生成 image/poster-to-poster 的訓(xùn)練對：Extending / Filling / Rescaling / ID-driven / Layout-driven / Style-driven，分別對應(yīng)空間補全、比例重排、主體一致性、布局復(fù)用與風(fēng)格遷移等真實需求。并在后續(xù)使用VLM/人工過濾保證每個任務(wù)的質(zhì)量。

實現(xiàn)上，每個任務(wù)走一個模塊化的數(shù)據(jù)構(gòu)建器：

extending/filling 用 SAM2 生成局部區(qū)域或缺失 mask；

rescaling 用 BrushNet 類/閉源方法構(gòu)造“比例變化→內(nèi)容重排”的監(jiān)督對；

ID-driven 用 PaddleDet 抽主體并結(jié)合強編輯器形成“保 ID 的變化”；

layout/style-driven 則通過 prompt-controlled rerendering 構(gòu)造“復(fù)用布局/風(fēng)格但不復(fù)制內(nèi)容”的訓(xùn)練對。

階段 2：任務(wù)蒸餾（先分治，再統(tǒng)一：讓“精修”和“創(chuàng)作”在一個模型里共存）

直接把六個任務(wù)混在一起訓(xùn)練，最容易出現(xiàn)的就是任務(wù)干擾：局部任務(wù)追求像素對齊，全局任務(wù)追求構(gòu)圖與風(fēng)格抽象，兩者在同一參數(shù)空間里會互相拉扯，導(dǎo)致模型難以優(yōu)化收斂。PosterOmni 的做法是：先訓(xùn)練專家，再蒸餾到學(xué)生模型。

(1) 專家訓(xùn)練：局部專家 + 全局專家

局部編輯專家：側(cè)重 extending / filling / rescaling / ID-driven，強調(diào)實體一致性、邊界自然、文字清晰等“可控編輯”。

全局創(chuàng)作專家：側(cè)重 layout-driven / style-driven，學(xué)習(xí)抽象布局邏輯與風(fēng)格調(diào)性，輸出更像“重新設(shè)計”的結(jié)果。

同時，我們還會引入輔助文本渲染相關(guān)的訓(xùn)練信號，避免模型在專注某些編輯任務(wù)時犧牲文字可讀性（因為海報任務(wù)里“寫對字”是底線能力）。

(2) 蒸餾到單一學(xué)生：PosterOmni-SFT

最終統(tǒng)一模型不是靠“參數(shù)硬融合”，而是訓(xùn)練一個學(xué)生網(wǎng)絡(luò)去對齊專家的速度場/預(yù)測行為：總損失由兩部分組成——

一部分是輔助文本渲染損失（保證文字穩(wěn)定、清晰）；

另一部分是任務(wù)蒸餾損失（讓學(xué)生輸出逼近對應(yīng)任務(wù)專家的輸出）。

論文里把它寫成一個總目標(biāo)（含 Auxiliary Text Rendering Loss + Task Distillation Loss），學(xué)生的預(yù)測記作 ，專家輸出記作 ，從而把“局部精修的確定性”和“全局創(chuàng)作的生成性”一起遷移進(jìn)同一個 backbone。

這一階段結(jié)束后的 PosterOmni-SFT，可以理解成“一個模型同時繼承了兩類老師的長處”：既能做嚴(yán)格受控的局部編輯，又能執(zhí)行抽象的布局/風(fēng)格指令，而不是依賴多個模型串聯(lián)。

階段 3：統(tǒng)一獎勵模型訓(xùn)練（  ：把“好看 + 做對任務(wù)”變成可優(yōu)化信號）

監(jiān)督微調(diào)能讓模型“學(xué)會做”，但很難讓模型“學(xué)會做得更好看、更像設(shè)計師”。不同于 SFT 階段往往存在“審美、保真、任務(wù)目標(biāo)”等目標(biāo)相互拉扯的情況，最終海報的評價在各個子任務(wù)之間其實共享一套通用原則（如構(gòu)圖平衡、層級清晰、色彩和諧、文本可讀性等）于是我們訓(xùn)練一個統(tǒng)一獎勵模型 ，同時輸出通用審美與任務(wù)特定完成度的綜合獎勵，用來驅(qū)動后面的強化學(xué)習(xí)。

(1) 偏好數(shù)據(jù)怎么來

我們用 PosterOmni-SFT 對同一條 image-to-poster prompt 生成成對結(jié)果，先用 Gemini-2.5-Pro 做篩選，再讓標(biāo)注者選擇“更美觀且更符合任務(wù)”的那張。更關(guān)鍵的是，我們加入了一個很實用的 negative-pair 策略：把“輸入?yún)⒖紙D”當(dāng)作 rejected，把“模型編輯后的輸出”當(dāng)作 chosen，強迫獎勵模型認(rèn)識到“有意義的改動”本身也是價值，避免模型在某些任務(wù)里學(xué)會投機——比如 layout/style 任務(wù)里直接把參考圖 copy 過去。

(2) 模型形式與訓(xùn)練目標(biāo)

  基于 Qwen3-VL 編碼器 + 輕量 MLP head，同時編碼“視覺質(zhì)量 + 指令 + 任務(wù)類型”，用 Bradley–Terry 目標(biāo)把偏好對轉(zhuǎn)成可優(yōu)化的排序損失： 促使 chosen 的分?jǐn)?shù)高于 rejected。

結(jié)果就是：  學(xué)到的不只是“好看”，還學(xué)到“對這個任務(wù)來說什么算做對、什么算偷懶”。

階段 4：Omni-Edit 強化學(xué)習(xí)

有了獎勵模型之后，關(guān)鍵問題是：如何把獎勵真正“寫回”擴散/流匹配模型里，并且訓(xùn)練穩(wěn)定。PosterOmni 沿用 DiffusionNFT 這類思路：不走傳統(tǒng)逆過程的策略梯度（容易不穩(wěn)定），而是在正向擴散過程上做直接優(yōu)化，用一種對比式 diffusion loss 把速度預(yù)測器推向高獎勵行為、遠(yuǎn)離低獎勵行為。DiffusionNFT 會從舊策略  構(gòu)造隱式正/負(fù)策略 、，并用獎勵 加權(quán)的目標(biāo)函數(shù)，把更新方向穩(wěn)定地約束在“更高獎勵”的區(qū)域；獎勵還會做歸一化以穩(wěn)定尺度。

DiffusionNFT 本身提供的是“在正向擴散/流匹配過程中做對比式更新”的穩(wěn)定范式；我們的貢獻(xiàn)在于把它適配到 image-to-poster 的條件輸入形式（輸入圖 + 指令 + 任務(wù)類型），并形成一套可落地的 Omni-Edit RL 訓(xùn)練流程：讓速度預(yù)測器在同一訓(xùn)練機制下同時處理“局部編輯 + 全局創(chuàng)作”的兩類任務(wù)。

很多工作會直接把強 VLM 的 logits / 打分當(dāng)作通用編輯獎勵，但這類獎勵往往不理解 poster 任務(wù)的“完成標(biāo)準(zhǔn)”，容易出現(xiàn)“看起來像、但沒按任務(wù)做”的投機解。PosterOmni 的核心區(qū)別是：我們用  給出 task-aware 的分?jǐn)?shù)，在統(tǒng)一的獎勵尺度下同時編碼審美質(zhì)量與任務(wù)對齊/完成度，從而讓 RL 更新方向不僅“更好看”，也“更像完成這個任務(wù)”。

Poster 評價在跨任務(wù)上有大量共性（構(gòu)圖平衡、層級、可讀性、配色等），因此我們用 統(tǒng)一獎勵模型去優(yōu)化這些共享質(zhì)量維度；同時通過 task tags / task descriptions 把不同任務(wù)的差異化標(biāo)準(zhǔn)顯式條件化，避免某個任務(wù)的偏好干擾另一個任務(wù)。

實驗：PosterOmni 到底強在哪里？

我們把評測拆成三塊：統(tǒng)一基準(zhǔn)（PosterOmni-Bench）→ 自動評測與對比 →  關(guān)鍵模塊消融。

1) PosterOmni-Bench：把“設(shè)計側(cè)常見需求”系統(tǒng)化成可評測基準(zhǔn)

我們首先做了一個專門面向 image/poster-to-poster 的多任務(wù)基準(zhǔn) PosterOmni-Bench，覆蓋六類任務(wù)：Extend / Fill / Rescale / ID-driven / Layout-driven / Style-driven。

為了更貼近真實使用場景，Bench 同時包含中英文提示：540 條中文 + 480 條英文，共 1020 條，并且在六大主題（產(chǎn)品、美食、活動/旅行、自然、教育、娛樂）上均勻分布，既有單參考圖也有多參考圖的輸入形式。

評測方式上，我們采用強 VLM（Gemini-2.5-Pro）對結(jié)果進(jìn)行打分：

既看審美（整體視覺和諧、構(gòu)圖平衡、風(fēng)格一致性等）

也看任務(wù)完成度（是否按指令完成編輯/遷移、是否保持需要保持的內(nèi)容）

并在 1–5 分范圍內(nèi)給出綜合評分（加權(quán)匯總為最終指標(biāo)）。

直觀理解：這個基準(zhǔn)不是在測“會不會畫圖”，而是在測“會不會像設(shè)計師一樣做海報改稿/再設(shè)計”。

2) 定量對比：六項任務(wù)全線領(lǐng)先，開源里斷層，閉源里逼近

在 PosterOmni-Bench 上，我們對比了主流開源系統(tǒng)（如 Qwen-Image-Edit、FLUX.1 Kontext、BAGEL、UniWorld-V2 等）以及強閉源系統(tǒng)（如 Seedream 系列）。結(jié)果非常一致：PosterOmni對比所有開源模型 在六項任務(wù)上全部拿到最高分,在整體評價上也超過現(xiàn)有的部分閉源模型，并且提升不只來自某一個任務(wù)，而是“局部精修 + 全局創(chuàng)作”兩條能力線同時變強。

對比 Qwen-Image-Edit：PosterOmni 在 Extend / Fill / Rescale / ID / Layout / Style 六項上均明顯提升，尤其在 Layout-driven / Style-driven 這類需要高階設(shè)計理解的任務(wù)上提升更大（不是“貼圖式遷移”，而是更像“學(xué)到布局/風(fēng)格的規(guī)則再生成”）。

對比 Seedream-4.0：整體上 PosterOmni 的平均表現(xiàn)已經(jīng)超過，這點證明把開源的單模型直接把復(fù)雜需求做到了可用級別。

3) 定性對比：為什么說它“學(xué)風(fēng)格/學(xué)布局”不是“直接 copy”？

定性結(jié)果里最典型的兩類失敗，我們在很多 baseline（包括部分閉源系統(tǒng)）上都能反復(fù)看到：

Style-driven：一些模型會把參考圖里的局部元素直接“貼”過來，導(dǎo)致“看起來像拼貼”，甚至把不該復(fù)制的具體物體也搬運過去；PosterOmni 更偏向去學(xué)習(xí)配色、材質(zhì)感、筆觸/光影、字體氣質(zhì)這些“風(fēng)格本質(zhì)”，再把它遷移到新主體上。

Rescale / Layout-driven：很多系統(tǒng)只能做到裁剪/拉伸，或簡單把元素擠壓到新畫布；PosterOmni 更像在做“改比例→重排版”：標(biāo)題層級、留白、元素間距會跟著一起調(diào)整，主體也更穩(wěn)定。

4) 消融實驗：每個模塊到底貢獻(xiàn)了什么？

我們做了系統(tǒng)消融，核心想回答：PosterOmni 的提升來自哪里——是“多訓(xùn)點數(shù)據(jù)”還是“確實解決了多任務(wù)互相干擾 + 審美對齊”。

(a) 任務(wù)蒸餾 vs 直接混訓(xùn)：

我們對比了：

基座模型（如 Qwen-Image-Edit）六任務(wù)直接混訓(xùn)（Mixed Training）只訓(xùn)局部專家 / 只訓(xùn)全局專家先訓(xùn)專家再蒸餾到學(xué)生（Task Distillation）再加上輔助文本渲染損失（PosterOmni-SFT）

結(jié)果顯示：

直接混訓(xùn)能漲一點，但仍會被“局部精修 vs 全局構(gòu)圖”拉扯；單獨的局部/全局專家會明顯偏科；蒸餾后的學(xué)生模型最穩(wěn)，并且加上輔助文本渲染后，文字清晰度進(jìn)一步提升（對海報任務(wù)很關(guān)鍵）。

(b) 專家融合方式：為什么“參數(shù)硬融合”不行？

我們還對比了常見的 LoRA 融合方式（線性插值、ZipLoRA 等）和我們的蒸餾策略:

參數(shù)融合容易出現(xiàn)“塌向某個專家”、或者干脆“直接 copy 參考圖”的失�。徽麴s是讓學(xué)生去學(xué)行為（輸出分布），而不是在參數(shù)空間硬拼，所以更能保持互補能力。

小結(jié)：為什么這套方法能支撐“one model for generalized multi-task image/poster-to-poster generation”

數(shù)據(jù)把六類真實設(shè)計需求系統(tǒng)化成訓(xùn)練對（且有嚴(yán)格過濾），保證模型學(xué)到的是“可用的設(shè)計能力”。

蒸餾把局部專家與全局專家的優(yōu)勢遷移到單一學(xué)生，避免多任務(wù)硬混導(dǎo)致的能力互相牽制。

獎勵 + RL用統(tǒng)一的  把“好看 + 做對”變成可優(yōu)化信號，再用 DiffusionNFT 的穩(wěn)定正向優(yōu)化注入模型，讓最終模型既不投機 copy。

參考文獻(xiàn)

[1] PosterOmni: Generalized Artistic Poster Creation via Task Distillation and Unified Reward Feedback

       原文標(biāo)題 : CVPR 2026｜“全能AI海報設(shè)計師”PosterOmni開源: 6大任務(wù)笑傲開源社區(qū)，媲美閉源商用