Table of Content
Turn any text, image, or video into anime, realistic, or artistic videos. Over 30 unique styles available.
WAV 파일은 말의 타이밍, 멈춤, 속도와 연기를 제공하고 인물 이미지는 얼굴을 제공합니다. 먼저 5초 또는 10초만 생성하세요. 전체 영상을 만들기 전에 첫 단어, 한 번의 의도적인 멈춤, 마지막 입 닫힘을 확인합니다.
WAV는 연기의 타이밍을 제어하지만 시각적 정체성을 만들거나 자연스러운 움직임을 보장하지는 않습니다. 문제를 해결할 때는 오디오와 이미지의 역할을 분리해야 합니다.
오디오가 영향을 주는 항목은 다음과 같습니다.
오디오가 정하지 않는 항목은 다음과 같습니다.
인물 이미지 기반의 말하는 얼굴은 새 얼굴 움직임을 생성해야 합니다. 반면 영상 기반 립싱크는 기존 연기를 유지하고 주로 교체한 오디오에 맞춰 입 움직임을 바꿉니다.
이 구분은 인물 애니메이션과 **영상 중심 립싱크**의 차이이기도 합니다. 인물 이미지 워크플로에서는 이미지가 주체를, 오디오가 전달 방식을 제공합니다. 영상 중심 립싱크에서는 원본 영상에 이미 연기가 들어 있습니다.
기술적으로 유효한 파일도 좋은 음성 입력이 아닐 수 있습니다. 영상을 생성하기 전에 녹음 전체를 듣고 명확한 문제를 수정합니다.
WAV 사전 점검 항목은 다음과 같습니다.
DomoAI의 **AI 아바타**는 최대 80MB의 MP3, WAV, M4A 업로드를 지원합니다. 배경 음악이 없는 또렷한 음성이 가장 좋은 출발점입니다.
선택한 도구를 확인하지 않고 샘플 레이트나 비트 깊이를 하나로 지정하지 마세요. WAV는 컨테이너 이름이며 지원 인코딩은 도구마다 다를 수 있습니다. 보편적인 설정을 가정하는 것보다 지원되는 파일 안의 명료한 음성이 더 중요합니다.
테스트 녹음 중간에 짧고 자연스러운 멈춤을 넣습니다. 예: “첫 번째 장면이 준비됐습니다. [멈춤] 타이밍을 함께 확인하겠습니다.”
이 멈춤은 관찰 가능한 기준점입니다. 목소리가 멈추면 입도 닫히거나 안정되어야 합니다. 계속 움직인다면 잔여 소음, 음악, 숨소리, 실내 배경음 또는 생성 결과가 원인일 수 있습니다.
테스트는 짧게 유지합니다. 5초나 10초면 첫 단어, 한 번의 멈춤과 마지막 입 닫힘을 확인할 수 있습니다.
안정적인 움직임을 생성하려면 이미지에 충분한 얼굴 정보가 있어야 합니다. 깨끗한 WAV도 가려진 입, 심한 측면 얼굴이나 흐린 이미지는 고칠 수 없습니다.
다음 조건의 이미지로 시작합니다.
손, 마이크, 머리카락, 그림자나 액세서리로 입을 가리지 마세요. 크롭이 너무 타이트하면 머리가 움직일 때 가장자리에 문제가 보일 수 있습니다.
일러스트, 애니메이션 캐릭터, 반려동물, 그림과 역사적 초상화는 일반 사진과 얼굴 비율이나 질감이 달라 추가 테스트가 필요할 수 있습니다. 눈과 입 모양이 분명한 입력을 선택하고 긴 WAV를 사용하기 전에 짧은 샘플을 생성합니다.
타이밍은 정확하지만 정체성이 바뀐다면 인물 이미지나 움직임 지시를 확인합니다. **이미지 편집**으로 원본을 수정하거나 움직임을 줄입니다. 얼굴은 안정적이지만 입이 늦게 시작한다면 WAV 또는 동기화를 확인합니다.
첫 생성은 최종 작품이 아니라 입력을 검증하기 위한 테스트입니다. 각 결과의 원인을 알 수 있도록 설정을 단순하게 유지합니다.
지시 예시:
작은 머리 움직임과 가끔 하는 눈 깜박임으로 자연스럽게 말합니다. 멈춤 구간에서는 중립적인 표정을 유지합니다.
서로 충돌하는 지시를 여러 개 넣지 마세요. 큰 제스처, 빠른 머리 회전이나 극단적인 표정은 WAV 립싱크 자체가 작동하는지 판단하기 어렵게 만듭니다.
portraitA_wav-clean_motion-low_v01처럼 버전을 분명하게 이름 붙입니다. 오디오를 수정했다면 새 버전 이름을 사용합니다. 설정 기록은 여러 입력이 동시에 바뀐 영상을 비교하는 실수를 막습니다.
타이밍, 정체성과 프레이밍을 통과한 결과에만 **비디오 업스케일러**를 적용합니다.
오디오의 특정 순간을 이름 붙여 영상과 비교하면 동기화를 더 쉽게 판단할 수 있습니다. 무작위로 반복 재생하면 수정 방법이 없는 막연한 인상만 남기기 쉽습니다.
다음 기준점을 표시합니다.
정상 음량, 음소거와 느린 속도로 각각 한 번씩 봅니다. 정상 재생은 시청자 경험을 보여 줍니다. 음소거는 반복되는 머리 움직임, 깜박임과 정체성 변화를 드러냅니다. 느린 재생은 눈에 보이는 불일치가 시작되는 프레임을 찾는 데 도움이 됩니다.
타임스탬프가 있는 검토표를 사용합니다.
| 시간 | 오디오 이벤트 | 시각적 확인 | 결과 | 다음 테스트 |
|---|---|---|---|---|
| 00:01 | 첫 단어 | 말과 함께 입이 시작됨 | 통과 | 없음 |
| 00:08 | 의도적인 멈춤 | 입이 계속 움직임 | 실패 | 멈춤의 소음 확인 |
| 00:17 | 마지막 단어 | 입이 늦게 닫힘 | 검토 | 끝부분 오디오를 자르고 재시험 |
프레임 단위로 확인한 뒤에는 전체 영상을 정상 속도로 다시 봅니다. 느린 화면에서만 보이는 작은 차이는 일반 시청에 영향을 주지 않을 수 있지만 반복되는 멈춤 오류는 영향을 줄 가능성이 큽니다.
보이는 증상과 연결된 입력만 변경합니다. 뚜렷한 가설 없이 다시 생성하면 같은 실패를 반복하면서 시간과 크레딧을 사용할 수 있습니다.
| 증상 | 가능성이 높은 원인 | 다음 테스트 |
|---|---|---|
| 무음 중 입이 움직임 | 잔여 소음, 음악, 숨소리 또는 모델 움직임 | 더 깨끗한 멈춤으로 짧은 샘플 재생성 |
| 입이 늦게 시작함 | 앞쪽 무음 또는 타이밍 불일치 | 시작 부분을 자르고 발화 시작 비교 |
| 빠른 단어가 약함 | 너무 빠른 말 또는 부족한 입 세부 정보 | 문장을 조금 늦추거나 더 선명한 인물 사용 |
| 얼굴 아래쪽이 늘어남 | 측면 각도, 가려진 입 또는 강한 움직임 | 정면 이미지를 사용하고 움직임 감소 |
| 얼굴 정체성이 바뀜 | 부족한 세부 정보, 타이트한 크롭 또는 생성 편차 | 더 선명한 원본과 고정 크롭 사용 |
| 머리가 뻣뻣함 | 움직임 부족 또는 지나치게 제한적인 지시 | 작은 움직임 하나를 명시해 시험 |
| 후반부 타이밍이 밀림 | 긴 영상 또는 오디오 문제 | WAV를 승인된 짧은 구간으로 분할 |
버전마다 한 가지 변수만 바꾸세요. 오디오 정리, 이미지 교체와 움직임 지시 수정을 동시에 하면 개선 원인을 알 수 없습니다.
긴 스크립트는 자연스러운 문장이나 장면 경계에서 나눕니다. 각 구간에서 이미지, 크롭과 움직임 지시를 동일하게 유지합니다. 별도 생성 영상은 얼굴 위치나 표정이 조금 다를 수 있으므로 편집 후 연결부를 확인합니다.
자동화는 인물 이미지와 WAV가 수동 테스트를 통과한 뒤 시작해야 합니다. 파일 업로드 성공만으로 시각적 품질을 증명할 수 없습니다.
API 워크플로에서는 현재 인증과 업로드 방식을 확인한 뒤 **Talking Avatar API**에서 미디어 참조, 요청 필드, 길이 규칙, 콜백과 오류 응답을 확인합니다. 수동 테스트에서 검증한 동일한 이미지와 오디오를 전달하고 작업 ID, 입력 버전, 설정, 출력과 실패 상태를 저장해 반복 작업을 추적합니다.
전체 API 구현은 개발자 문서에 두고 크리에이터 워크플로에서는 미디어 준비와 검증에 집중합니다.
아니요. 호환되는 얼굴 이미지도 필요합니다. 오디오는 타이밍과 연기를, 이미지는 시각적 정체성을 제공합니다.
보통 넣지 않습니다. 말소리만 있는 오디오가 분석과 동기화에 더 적합합니다. 말하는 얼굴 영상이 목소리와 입 타이밍 검사를 통과한 뒤 편집 단계에서 음악을 추가합니다.
멈춤 구간에 소음, 음악, 숨소리나 실내 배경음이 남아 있을 수 있습니다. 모델이 작은 움직임을 계속할 수도 있습니다. 파형을 확인하고 더 깨끗한 멈춤을 만든 뒤 짧게 다시 생성해 비교합니다.
항상 그렇지는 않습니다. 현재 도구가 지원하는 형식을 사용하고 선명한 음성을 우선하세요. 둘 다 지원한다면 컨테이너가 립싱크 품질을 결정한다고 가정하지 말고 같은 녹음으로 비교합니다.
선명한 인물 이미지와 사용 권한이 있는 깨끗한 녹음을 준비합니다. 의도적인 멈춤 하나를 넣고 타임스탬프를 표시하며 문제가 생기면 한 변수만 바꿉니다. 짧은 버전이 안정된 뒤 전체 영상을 만드세요.
Recent articles
