數位化身嘴型與聲音不同步時,先在未剪輯輸出中檢查第一個詞、一次停頓與最後一個詞。固定延遲、後段漂移、靜音仍動作或口形不自然,分別指向不同的修正環節。
不要從完整的重新渲染開始。 首先決定嘴巴是否總是遲到,後來變得更糟,在沒有人說話時移動,或者只是看起來不對。 這些問題感覺相似,但它們需要不同的測試。
編輯前命名時機模式
播放原始頭像匯出並檢查三個時刻:
- 第一個口語
- 一個安靜的停頓
- 最後的口語
然後給問題貼上標籤。
| # | 你看到的是什麼 | 時機模式 | 先修復 |
|---|---|---|---|
| 1 | 嘴巴早或晚停留的量相同 | 固定偏移量 | 檢查音訊開始、剪下的第一個單詞,並編輯對齊 |
| 2 | 開場似乎很接近,然後後面的話就落後了 | 漂 | 分割長音訊並檢查節奏、連線或速度編輯 |
| 3 | 嘴巴在沉默或音樂中移動 | 假動作 | 乾淨的呼吸、房間音調、回聲、噪音或背景音樂 |
| 4 | 嘴巴準時張開,但看起來繃緊了 | 口型問題 | 改善肖像角度、可見的嘴唇、牙齒、裁剪或提示 |
時機模式勝過感覺。 「感覺不對」並沒有告訴你要解決什麼。 「第一個單詞開始晚了,但結尾也同樣晚了」給你一個有用的測試。
編輯前檢查原始匯出
在判斷最終編輯之前,請務必比較原始匯出。 如果原始檔案是同步的,但釋出或編輯的版本不是,那麼頭像生成不是第一個問題。
檢查:
- 移動影片但不移動音訊的標題卡
- 獨立音訊移動了幾幀
- 僅在一條軌道上改變速度
- 在頭像剪輯之前放置的過渡
- 改變時間的社交平臺匯出
複製編輯時間線,刪除過渡和速度變化,並對齊音訊和影片的起點。 如果原始匯出工作正常,請修復時間線。 不要重新生成頭像。
要更廣泛地瞭解每個DomoAI工具在生產鏈中的位置,請使用 DomoAI指南 在你重建專案之前。
1. 固定偏移:口腔開始早或晚
第一個單詞的延遲通常來自音訊的開頭。 音訊在第一個單詞之前可能有太多的空白。 它也可能切斷第一個子音。
這些是相反的問題。 以不同的方式修復它們。
先修復: 在觸控肖像或提示之前,僅調整音訊開始或時間線對齊。
如果檔案有很長的引導,請修剪沉默。 如果第一個聲音被剪掉了,請在單詞前恢復一個小而乾淨的邊距。 不要在波形峰值處直接切割。
使用帶有清晰第一聲音的測試線:
請在會議前檢視藍色資料夾。
僅測試起點。 保持相同的縱向、語音、提示和剪輯長度。
版本名稱:
同步_啟動-原始_v01
同步_啟動-修剪_v02
同步_啟動-恢復-邊距_v03
如果在兩次乾淨的啟動測試後延遲保持完全相同,請停止修剪。 改為檢查原始匯出、編輯對齊或工具輸出。
2. 漂移:延遲後來變得更糟
漂移意味著一開始的時機看起來可以接受,但後來會變得更糟。 不要透過修剪第一個框架來修復漂移。 這隻會推動整個問題。
先修復: 將線條分成更短的自然部分,並將相同的肖像與相同的提示進行比較。
將相同的音訊分成更短的自然部分,並根據相同的肖像進行測試。
| 測試 | 聲音 | 保持不變 | 評論 |
|---|---|---|---|
| 一 | 完整的20秒線 | 肖像和提示 | 第一個單詞,中間停頓,最後一個單詞 |
| B1號 | 前10秒 | 肖像和提示 | 第一個詞和結尾 |
| B2號 | 第二個10秒 | 肖像和提示 | 新的第一個單詞和結尾 |
如果較短的部分保持接近,您的整個部分可能太長,無法進行乾淨的審查或編輯控制。 在觀眾期望改變的地方放置連線:
- 在句子結尾
- 在標題卡下
- 在螢幕錄製期間
- 在產品特寫下
- 在新想法開始之前
如果一個簡短的原始部分仍然漂移,請檢查該部分的音訊和語音節奏。 即使檔案開始乾淨,倉促的措辭、長時間的呼吸和不均勻的音量也會讓嘴巴感覺晚了。
還要檢查您是否在生成後編輯了音訊。 如果您拉伸、壓縮、去色或替換了軌道,請將其與生成頭像的確切檔案進行比較。 乾淨的重新渲染無法修復時間線後面發生的不匹配。
3. 假動作:沉默或音樂時嘴巴會移動
沉默期間的嘴巴移動通常意味著頭像仍然聽到什麼。 這可能是呼吸、房間音調、音樂尾部、鍵盤噪音、回聲或粗略的編輯。
先修復: 從純語音或純人聲音訊中生成,然後在匯出後新增音樂。
使用純語音或純語音音訊進行生成。 在影片編輯器中匯出後新增背景音樂。
要獲得乾淨生成的聲音,請建立旁白 DomoAI文字轉語音,然後將其傳送到頭像工作流程中。 使用一個帶有真正停頓的簡短測試:
開啟專案。 暫停一次。 現在檢查最後一幀。
在生成之前,請用耳機聆聽。 放大暫停,檢查波形是否真的安靜下來。 降噪也會產生偽影,因此將處理後的音訊與原始音訊進行比較。
對於唱歌的頭像,當你需要精確的嘴巴時機時,不要從完整的混合歌曲中生成。 將人聲軌道用於頭像。 匯出後新增樂器或完整混音。
4. 嘴巴形狀問題:時機正確,但嘴巴看起來還是不對
有時嘴巴會在正確的時間張開,但形狀看起來不對。 那不是時間問題。 這是一個視覺可讀性問題。
先修復: 在重寫指令碼之前,用更清晰的正面肖像測試相同的音訊。
檢查肖像:
- 臉是不是側得太遠了?
- 頭髮、手還是麥克風遮住了嘴巴?
- 第一幀的嘴巴已經張開了嗎?
- 牙齒或嘴唇模糊了嗎?
- 作物是否切緊了下巴或下巴?
以更清晰的正面肖像執行相同的音訊。 在此測試期間,不要重寫指令碼。
如果人像需要小修一下,請使用 多模型圖片生成與編輯 清理作物、背景或障礙物。 在測試期間保持面部識別和嘴巴形狀穩定。
特殊情況:分別測試歌曲、翻譯的臺詞和難懂的單詞
一些同步問題只出現在一個短語上。 名字、縮寫、數字、翻譯的行和演唱結尾可能會暴露出一個簡單的測試句錯過的時機問題。
對於難懂的名字,請先測試確切的行:
Q3 SKU 遷移將於 8 月 12 日開始。
然後測試一個更清晰的口語版本:
更新從8月12日開始。 它影響了存檔的產品變體。
如果確切的措辭必須保留,請用標題來支援它。 不要強迫頭像讓密集的線條感覺簡單。
對於翻譯的臺詞,請使用最終的本地化音訊。 不要評判帶有英文佔位符的日語、西班牙語或德語剪輯。 檢查每種語言的發音、字幕中斷、第一個單詞的時機和最後的閉口。
對於唱歌,測試真正的聲樂短語。 說話的替代品不會顯示相同的嘴巴形狀或保持的結尾。 包括一個乾淨的樂器間隙,這樣你就可以看到當人聲停止時,嘴巴是否穩定下來。
執行一個同像同步測試
在重建完整影片之前,先進行一次簡短的測試。 重點是隔離時機,而不是製作最後一幕。
準備:
- 一幅清晰的肖像
- 一條乾淨的8到12秒音訊線
- 一個可見的停頓
- 一個簡單的操作提示
- 一張時間戳表
指令碼:
請打包藍色盒子。 暫停一次。 把它放在前門旁邊。
行動提示:
冷靜的演講者,直接的眼神接觸,放鬆的表情,在停頓時保持不動,在最後一句話後微微點頭。
執行測試 DomoAI 數位化身。 一次更改一個輸入。
版本名稱:
同步_肖像A_音訊-原創_v01
同步_肖像A_音訊-清潔暫停_v02
同步_肖像A_音訊-慢速_v03
比較 V01號 隨著 V02號 測試暫停。 比較 V02號 隨著 版本03 測試速度。 不要比較兩個同時更改了縱向和音訊的版本。
如果同樣的問題在每次乾淨的測試中倖存下來
有時,在測試乾淨的音訊、清晰的肖像和簡短的部分後,相同的同步問題仍然存在。 屆時,停止進行隨機編輯。
儲存一個小證據包:
- 源肖像或頭像影片
- 用於生成的確切音訊檔案
- 編輯前的原始匯出
- 時間戳失敗
- 行動提示
- 夾子長度
- 版本名稱和版本之間的一次變化
這有助於你決定下一步行動。 您可以嘗試不同的源縱向,僅重建失敗的部分,或傳送帶有精確描述的檔案以支援。
不要只傳送最終的社交出口。 社交應用程式可以壓縮、修剪或更改時間。 原始匯出和確切的音訊源更重要。
在記錄問題時,請使用以下句子:
在原始匯出中,第一個單詞準時開始,但在00:06的安靜暫停期間,嘴巴繼續移動。
這樣的筆記給審稿人提供了一個真正的起點。 「嘴巴很奇怪」沒有。
使用五時戳稽核表
一次檢視整個片段會讓同步感覺主觀。 使用時間戳。
頭像同步評論
檔名:
肖像:
音訊版本:
行動提示:
00:00第一次可見的嘴巴動作:
00:__第一個口語:
00:__安靜停頓:
00:__難懂的單詞或名字:
00:__最終閉合:
圖案:
可能的原因:
下一個變化:
在重新渲染之前填寫這個。 如果您無法命名模式,請執行一個較短的測試。
將工作表用於原始檔案和已編輯檔案。 清楚地標記它們:
原始_匯出_同步表_v01
編輯_時間線_同步表_v01
如果原始工作表透過,而編輯的工作表失敗,請修復編輯。 如果兩者都在同一位置失敗,請修復輸入或重新執行短生成測試。
常見問題
WAV總是比MP3好嗎?
不。 使用支援的格式並比較相同的錄音。 清晰的語音、完整的單詞開頭、乾淨的停頓和穩定的音量比副檔名更重要。
唇語強度能修復開始較晚的口腔嗎?
不是本身。 Lip Sync Strength可以調整應用的口腔運動效果,但它不能固定固定偏移。 首先檢查音訊開始和時間線對齊情況。
我應該在一句不好的句子後重新生成整個剪輯嗎?
不。 替換包含問題的最小部分。 在句子結尾、標題更改、螢幕錄製或計劃切口時加入它。
側角照片會導致同步問題嗎?
它可能會使嘴巴的形狀看起來不及時。 在確定音訊有誤之前,使用清晰的前置源測試相同的音訊。
升級可以修復口腔同步嗎?
不。 升級可以提高最終的銳度,但它不能將口移到正確的時間戳。 使用 影片畫質提升工具 在您選擇同步的拍攝後。
修復第一個失敗的時間戳
開啟原始匯出,標記第一個單詞,一個停頓,以及最後的開口。 透過一個小更改來修復第一個失敗的時間戳。 然後,在重建整個剪輯之前,重新執行一個簡短的測試。



