從 LoRA 到零訓練：角色一致性革命

角色一致性的噩夢

在 2024 年，AI 圖像生成有一個骯髒的秘密：你可以生成一個漂亮的角色一次，但永遠無法生成他們的第二個版本。

認識一下 Sarah。她在奧斯汀經營一家小型設計公司。2024 年 3 月，她成功爭取到一個夢想客戶——一家兒童書籍出版商需要 24 幅同一主角的插圖。這個角色是一隻好奇的紅狐狸，名叫 Rusty，有獨特的斑紋、綠色圍巾和琥珀色的眼睛。

Sarah 的工作流程是這樣的：

第 1 週：在 Midjourney 中生成 200+ 張圖像。找到 3 張與客戶願景相符的圖像。展示。

第 2 週：客戶選擇了 Rusty v2。現在 Sarah 需要在 24 個不同的場景中生成 Rusty。同一隻狐狸。同一條圍巾。同一雙眼睛。

嘗試 1：在提示詞中添加"角色一致"。結果：24 隻不同的狐狸。有些橙色。有些棕色。有一隻莫名其妙是紫色的。

嘗試 2：使用 Midjourney 的角色參考（CF）功能。更好，但圍巾的顏色漂移。眼睛的形狀改變。背景元素混入了角色。

嘗試 3：訓練一個 LoRA。Sarah 花費 50 美元購買雲 GPU 配額。等待 6 小時進行訓練。LoRA 過度擬合——每個 Rusty 都有完全相同的姿態。客戶想要 Rusty 跑步、跳躍、睡眠。LoRA 只能做"Rusty 站立和可愛地看"。

總時間：3 週。總成本：800 美元的工具和修訂。客戶滿意度："你能讓第 7 集的 Rusty 看起來更像第 3 集的 Rusty 嗎？"

這是 2024 年 AI 圖像生成的現實。角色一致性是行業的開放性傷口。

---

舊的解決方案（以及它們為什麼失敗）

解決方案 1：提示詞工程

承諾：編寫詳細的提示詞，AI 將記住。

現實：

"A red fox named Rusty, orange fur with white chest patch,
wearing a forest green scarf, amber eyes, friendly expression..."

生成 10 張圖像。你得到 10 條不同的圍巾。3 種不同的眼睛顏色。一隻有兩條尾巴的狐狸。

目前的擴散模型不會"記住"角色。它們生成概率。每張圖像都是一次全新的擲骰子。

成功率：簡單角色約 15%，複雜角色約 3%。

解決方案 2：角色參考（Midjourney CF）

Midjourney 的 2024 年角色參考是向前邁出的一步。上傳參考圖像，添加 --cref URL，然後希望最好。

問題：

• 風格滲漏：參考圖像的光線和背景污染新的生成
• 特徵漂移：面部特徵在各代之間漂移
• 控制有限：對肖像有效，對複雜姿態或極端角度失敗

成功率：頭部特寫約 40%，全身動作拍攝約 10%。

解決方案 3：LoRA 訓練

"專業"解決方案。在 15-30 張角色圖像上訓練小模型。然後在生成中使用該 LoRA。

工作流程：

1. 收集 20+ 張角色的高質量圖像（或費力地生成它們）
2. 用標題標記每張圖像
3. 租賃 GPU（0.50-2 美元/小時）
4. 訓練 2-6 小時
5. 測試，意識到它過度擬合，調整參數
6. 重新訓練
7. 發現 LoRA 適用於正面姿態但在側面失敗
8. 收集更多側面圖像
9. 重新訓練
10. 最終得到可接受的結果——僅針對一個特定角色

每個角色的時間：8-20 小時。成本：計算中的 30-100 美元。需要的專業知識：顯著。

當客戶說："我們喜歡 Rusty！現在我們需要他的妹妹，一隻藍灰色的狐狸，有黃色圍巾"時——你重新開始。

---

Nano Banana 2：零訓練革命

2026 年 1 月。Google 發布 Nano Banana 2（Gemini 3.1 Flash Image）。重要的功能：原生參考圖像支持。

不是 LoRA。不是訓練。上傳最多 6 張參考圖像。模型理解。角色保持一致。

Sarah 的新工作流程（2026 年 2 月）

同一個客戶。同一個 Rusty。新方法：

步驟 1：生成或上傳 3-6 張 Rusty 的參考圖像：

• 正面，中立表情
• 側面
• 3/4 視角，圍巾可見
• 面部斑紋特寫
• 全身站立
• 動作姿態（奔跑）

步驟 2：生成場景 1：

"Rusty the fox exploring a forest clearing, morning light,
curious expression, children's book illustration style"

參考圖像：[上傳 6 個 Rusty 參考]

結果：Rusty。正確的橙色毛髮。白色胸部斑點。森林綠色圍巾。琥珀色眼睛。

步驟 3：生成場景 2：

"Rusty jumping over a stream, dynamic pose, water splashing"

參考圖像：[同樣 6 個參考]

結果：同一個 Rusty。在運動中。圍巾流動正確。眼睛仍是琥珀色。

步驟 4-24：對剩餘場景重複。每個 Rusty 都是同一個 Rusty。

總時間：2 天。總成本：API 調用約 15 美元。客戶滿意度："這正是我們所設想的。"

區別不是增量的。這是絕對的。

---

原生參考圖像如何工作

技術轉變

傳統擴散模型：[文本] → [噪聲] → [圖像]

Nano Banana 2：[文本 + 參考圖像 + 上下文] → [多模態理解] → [一致圖像]

關鍵：多模態推理。Nano Banana 2 不會從參考中"複製"像素。它理解是什麼讓 Rusty "成為 Rusty"——毛髮圖案、圍巾顏色、眼睛形狀、個性——並將該理解應用於新的上下文。

6 個參考的最佳點

為什麼是 6 個？通過廣泛的測試，Google 發現超過 6 個參考的邊際收益遞減：

推薦的參考集：

1. 正面肖像（中立表情）
2. 側面（顯示輪廓）
3. 3/4 視角（最多功能角度）
4. 細節特寫（臉部/獨特特徵）
5. 全身（比例）
6. 動作/表達變化（個性）

什麼保持一致（什麼不會）

高度一致（95% + 可靠性）：

• 面部特徵和結構
• 配色方案（毛皮、衣服、配件）
• 比例和身體類型
• 獨特的標記（疤痕、圖案）

中等一致（80-90% 可靠性）：

• 光線方向（模型適應場景）
• 表達強度（情緒隨上下文變化）
• 衣服細節（可能簡化複雜圖案）

有意變量（按設計）：

• 姿態和角度（適應每個場景）
• 背景（因上下文而異）
• 光線質量（適應環境）

---

你現在可以採取行動

你的第一個角色一致性測試

所需時間：15 分鐘。成本：約 0.50 美元。

步驟 1：創建一個簡單的角色

轉到 Google AI Studio。選擇 Gemini 3.1 Flash Image。

提示詞：

"A friendly robot mascot for a tech startup, rounded design,
blue and white color scheme, LED face display, minimalist aesthetic"

生成 4-6 個變化。選擇最好的。

步驟 2：構建你的參考集

從生成的角色來看，創建 6 張參考圖像：

• 裁剪/調整大小以關注不同的角度
• 或使用"正面"、"側面"、"臉部特寫"等提示詞重新生成

步驟 3：測試一致性

新的提示詞：

"The robot mascot working at a desk, typing on a laptop,
office environment, soft lighting"

上傳你的 6 張參考圖像。生成。

步驟 4：使用不同的上下文再次測試

"The robot mascot presenting on stage, spotlight, confident pose,
audience visible in background"

同樣的 6 張參考。生成。

比較：同一個機器人？同樣的顏色？同一張臉？這就是角色一致性。

---

生產工作流程模板

對於品牌吉祥物

參考集：

• 3-4 個顯示完整設計的中立姿態
• 1-2 個表達變化
• 1 個細節特寫

生成策略：

• 始終為所有品牌材料使用相同的參考集
• 在參考中鎖定調色板，讓模型適應光線
• 每個場景生成 3-4 個選項，選擇最好的

成本估計：每張圖像 0.10-0.30 美元 vs. 每個角色 LoRA 訓練 50-200 美元。

對於故事書插圖

參考集：

• 角色 A：6 個參考
• 角色 B：6 個參考
• 設置/風格：2-3 個參考

生成策略：

• 使用一致的參考批量生成場景
• 分別生成角色，如需複雜交互則複合
• 使用"兒童書籍插圖風格"提示詞修飾符以保持一致性

時間節省：3 週 → 3 天每本書。

對於產品可視化

參考集：

• 產品：4-6 個參考（不同角度）
• 風格/環境：2 個參考

生成策略：

• 產品參考確保 SKU 一致性
• 環境參考控制情緒/光線
• 生成 50+ 個場景而不改變產品

使用場景：電商團隊為數百個 SKU 生成生活方式圖像。

---

高級技術

技術 1：角色 + 風格分離

問題：你想要一致的角色和一致的藝術風格跨越場景。

解決方案：使用 4 個參考作為角色，2 個作為風格。

參考 1-4：[你的角色以各種姿態]
參考 5-6：[風格示例 - 例如，"Studio Ghibli 風格藝術作品"]

提示詞："角色在森林場景中，風格與參考 5-6 匹配"

模型從參考 1-4 維護角色一致性，從參考 5-6 維護風格一致性。

技術 2：季節性/時間變化

問題：你的角色在場景 7 需要冬裝，但仍必須可識別。

解決方案：保留 4 個核心參考（臉/身體），用季節變體替換 2 個。

參考 1-4：[核心角色 - 臉、身體、比例]
參考 5-6：[冬裝的角色、角色與雪景背景]

提示詞："角色走過雪街，穿著冬裝"

結果：維護核心身份，應用季節性變化。

技術 3：多角色場景

問題：兩個角色在一張圖像中互動。

當前限制：Nano Banana 2 支持總共 6 個參考，不是每個角色 6 個。

解決方案：

• 單獨生成角色 A（帶 A 的參考）
• 單獨生成角色 B（帶 B 的參考）
• 生成背景/環境
• 在傳統編輯軟件中複合

或者：使用 3 個參考作為角色 A，3 個參考作為角色 B，謹慎提示：

"Character A and Character B having coffee together, cafe setting"

結果會有所不同。對於具有非常不同的輪廓/配色方案的角色最佳。

---

零訓練的經濟學

成本比較：傳統 vs. Nano Banana 2

場景：50 張兒童書籍，3 個經常出現的角色。

第一張圖像的時間

對於客戶工作，這意味著：同一天的角色批准，第二天的場景交付。

---

真實案例研究

案例研究 1：電商時尚品牌

客戶：直面消費者的時尚品牌，200 個 SKU。

舊工作流程：

• 雇用模特：500 美元/天
• 工作室租賃：300 美元/天
• 攝影：每個系列 2 天
• 後期處理：3 天
• 總計：每個系列約 2000 美元 + 5 天

Nano Banana 2 工作流程：

• 生成品牌模特參考：30 分鐘
• 生成 200 個生活方式場景：4 小時
• 選擇和小型修飾：1 天
• 總計：每個系列約 100 美元 + 1.5 天

結果：成本降低 80%，時間節省 70%。所有 200 張圖像的模特一致性。

案例研究 2：獨立遊戲開發者

客戶：創建視覺小說的獨立開發者。

舊工作流程：

• 委託藝術家：每個角色 50-100 美元
• 等待時間：2-4 週
• 修訂：25 美元每個
• 12 個角色 × 75 美元 = 900 美元

Nano Banana 2 工作流程：

• 生成角色概念：2 小時
• 鎖定參考，生成所有表達/姿態：4 小時
• 12 個角色：30 美元 API 成本

結果：成本降低 97%。完全創意控制。同一天迭代。

---

限制和解決方案

限制 1：複雜交互

兩個角色牽手？擁抱？戰鬥？

當前狀態：具有挑戰性。Nano Banana 2 處理單個角色非常出色。多角色交互可能會融合特徵（"嵌合體效應"）。

解決方案：單獨生成角色，手動複合。或結合使用專業的姿態控制工具。

限制 2：極端角度

俯視圖？極端縮小？

當前狀態：參考圖像有幫助，但極端視角可能會漂移。

解決方案：在你的 6 個參考中包含一個極端角度拍攝。或首先生成標準角度，使用 img2img 和透視變換。

限制 3：細節一致性

特定的珠寶圖案？衣服上的文字？精確的紋身設計？

當前狀態：廣泛的特徵保持一致。細節可能會有所不同。

解決方案：對於關鍵細節，在 Nano Banana 2 中生成基礎角色，然後在後期處理中覆蓋精確細節。

---

未來 12 個月

角色一致性已解決——目前為止。接下來是什麼？

預測的演變：

• 2026 年 Q2：12+ 個參考圖像對複雜角色的支持
• 2026 年 Q3：內置的角色記憶/"人物"，你可以保存和重用
• 2026 年 Q4：視頻角色一致性（視頻幀中的同一角色）
• 2027：3D 角色一致性（從任何角度生成同一角色）

軍備競賽已經轉變。它不再是"我們能保持角色一致嗎？"而是"我們能管理多少角色，能有多快？"

---

系列導航

這是 Nano Banana 2 大師課系列的第 1 篇。

• 下一篇：E02：從文本到圖像到對話到圖像
• 系列概覽：大師課索引

---

角色一致性是第一道關卡。它已經倒下。演變還在繼續。