영역 적응(region-aware) 업스케일
곡 전체를 한 번에 처리
- 원본 전곡
- 영역 분석
- 영역별 모듈
- 합성
- 샤이니 · 링딩동(HD)
- 신화 · T.O.P(SD)
SD · HD → 1080 → 4KUPSCALE · GENERATE
STUDIO REALIVE · AI CREATIVE UNIT
SM 뮤직비디오
업스케일
원본 상태, 세 곡의 결과, 공정과 확장안
- 01원본과 결과 · 링딩동 · 신화 · S.E.S.
- 02두 갈래 공정 · 영역 적응 업스케일과 생성
- 03생성 파이프라인 단계별 자료와 개선 범위
MEETING BRIEF
02 · ORIGINAL · SHINEE · RING DING DONG
링딩동 · Ring Ding Dong (2009, HD)
2009 · 원본
03 · ORIGINAL · 신화 · T.O.P
신화 · T.O.P (1999, SD)
1999 · 원본
04 · ORIGINAL · S.E.S. · TWILIGHT ZONE
S.E.S. · Twilight Zone (1999, SD)
1999 · 원본
05 · RESULT · RING DING DONG
링딩동 HD 마스터 앞 30초를
4K로 올렸습니다
HD 마스터 · 4K 출력
HD 마스터
영역 적응 업스케일 · 4K
00:00 / 00:00
06 · RESULT · RING DING DONG 8K
샤이니 · 링딩동 8K 시험 구간 (10초)
입력은 한 번 4K로 올린 파일, 자체 GPU 서버에서 8K로 한 번 더 올림
8K 시험 · 같은 영역 100% 크롭
4K 입력 · 2배 확대
8K
00:00 / 00:00
07 · RESULT · T.O.P
신화 전곡을 영역 적응 업스케일로
1080p까지 올렸습니다
원본과 결과를 한 화면에 겹침
원본 SD
영역 적응 업스케일
00:00 / 00:00
08 · RESULT · TWILIGHT ZONE
S.E.S.는 전곡 업스케일에
재생성 편집본(앞 40초)을 더했습니다
전곡 비교 · 재생성 편집본
원본 SD
영역 적응 업스케일
00:00 / 00:00
원본 SD
재생성 편집본
00:00 / 00:00
09 · TWO TRACKS
뮤직비디오마다
두 갈래 중 하나로 보냅니다
곡 단위 판단
판단
- 원본 상태SD · HD · 오염
- 중요도MV의 비중
- 목표 품질해상도 · 마감 수준
생성 파이프라인
핵심 MV를 컷별로 새로 만듦
- 시트
- →
- 가이드맵
- →
- 생성
- →
- 검수
- S.E.S. · Twilight Zone(SD · 시범)
10 · TRACK ① · REGION-AWARE UPSCALE
영역 적응(region-aware) 업스케일은
화면 부분마다 다른 모듈을 씁니다
곡 단위 일괄 처리
- 1프레임 분석화면 전체를 훑어 구성을 읽음
- 2영역 분리얼굴 · 인물 · 배경 · 글자
- 3영역별 모듈영역마다 다른 처리를 붙임
- 4합성한 프레임으로 다시 합침
- 얼굴→얼굴 보정
- 인물→초해상도
- 배경→노이즈 제거 · 압축 흔적 제거
- 글자(로고)→글자 보정
곡 단위로 한 번에 돌아 시간이 적게 듭니다. 대신 영상마다 모듈 강도를 맞추는 튜닝이 필요합니다.
11 · TRACK ② · GENERATION
생성 파이프라인은 레퍼런스를 모아
컷을 다시 만듭니다
컷마다 레퍼런스 구성이 다릅니다
A시트캐릭터 · 로케이션 · 프랍
B컷별 가이드스켈레톤 · 뎁스 · 아웃라인
C3D캐릭터 애니메이션 · 블락아웃
생성
Seedance 생성
A · B · C 레퍼런스를
함께 넣어 컷을 만듭니다
- 검수 · 보정얼굴 · 입모양 · 떨림
- 업스케일고른 컷만 1080p 이상
- 편집원래 타임라인 자리에
클로즈업은 캐릭터 시트와 시작 프레임 비중이 크고, 원경 · 군무는 로케이션 시트와 3D가 필요합니다.
12 · ②-1 · CHARACTER SHEET
캐릭터 시트는 그 시기 얼굴이 기준입니다
S.E.S. 세 멤버 · 1999년 당시
만드는 순서 · 유진 예시
13 · ②-2 · LOCATION · PROP
로케이션 시트로
공간과 빛을 맞춥니다
유리의 성 · 링 터널
14 · ②-3 · START FRAME
시작 프레임으로 첫 장면을
먼저 확정합니다
원본 위 · 시작 프레임 아래
원본
시작 프레임
원본
시작 프레임
원본
시작 프레임15 · ②-4 · GUIDE MAPS
컷마다 원본에서 가이드맵을 뽑습니다
T019 · 여섯 화면 동시 재생
여섯 화면이 같은 시점으로 반복 재생됩니다
00:00 / 00:0016 · ②-5 · 3D ANIMATION · BLOCKOUT
원경 · 군무는 3D로
동작과 공간을 잡습니다
애니메이션 추출 예시 · T020
애니메이션 추출 예시: AI 추출 → 사람이 교정 → 생성 레퍼런스
00:00 / 00:00- 원본 컷
- AI로 3D · 애니메이션 추출
- 사람이 교정
- 레퍼런스로 투입
- 3D 가이드 생성
블락아웃 모델링세트의 큰 형태만 3D로 세워 원근 · 조명 · 카메라를 원본에 맞춥니다.
공수AI 추출 위에 사람이 교정하는 구조라 컷당 공수를 산정할 수 있습니다.
17 · ②-6 · FACE REVIEW
생성 컷의 얼굴은
항목을 나눠 검수합니다
얼굴 검수 기록
- 중안부 비율
- 원본 · 시작 · 끝 프레임
- 눈 간격
- 중안부 길이
- 프레임별 얼굴 크롭
- 닮음 유지
- 입모양 싱크
- 수정 전후
- 프레임 간 떨림
- 중안부 ÷ 동공간 거리
18 · WHAT CAN IMPROVE
문제마다 원인과 해법,
도달 수준을 정했습니다
문제 · 원인 · 해법 · 도달 수준
| 문제 | 원인 | 해법 | 도달 수준 |
|---|---|---|---|
| 인물 아웃라인 떨림 | 프레임 단위 얼굴 교체 · 가이드맵 노이즈 | 가이드맵 시간 안정화, 경계 마스크 정리, 영상 단위 얼굴 보정 | 재생 속도에서 안 보이는 수준 |
| 세트 합성 티 유리 공간 · 바닥 | 시트로 다시 만든 배경 질감이 원본과 다름 | 로케이션 시트 정밀화 + 블락아웃으로 원근 · 조명 맞춤, 원본 배경 일부 재사용 | 원본 세트와 같은 공간으로 읽히는 수준 |
| 얼굴 생김새 | 원경 얼굴 정보 소실, 얼굴 관절 튐 | 원본 얼굴 기반 캐릭터 시트, 3D 헤드 방향 가이드, 중안부 비율 검수 | 클로즈업은 본인 인식, 원경은 3D 적용 후 근접 |
| 입모양 · 표정 | 생성 단계의 입 움직임 오차 | 입모양 수정 단계 (T023 사례) | 가사 구간에서 자연스러운 수준 |
| 컷 간 이질감 | 출처별 질감 차이 | 마감 통일 · 모든 컷을 같은 색보정 · 입자감 · 선명도로 한 번 더 통과 | 이어 봐도 끊기지 않는 수준 |
19 · APPENDIX · SOURCE SPECS
받은 원본 파일 9개의 사양
파일별 해상도 · 코덱 · 길이
| 파일 | 해상도 | 코덱 · 주사 | 길이 | 비고 |
|---|---|---|---|---|
| 991029_S.E.S._Twilight Zone(M4687308).MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 4:19 | SD 기준 원본 · 실제 화면 약 709×340 · 레터박스 안 제작사 로고 |
| 991029_S.E.S._Twilight Zone_본방송(ORIGINAL).mxf | 1920×1080 · 16:9 | MPEG-2 · 인터레이스 | 4:19 | SD를 16:9로 늘린 업컨버트 · 레터박스와 로고 그대로 |
| 991029_S.E.S._Twilight Zone.avi | 720×480 · 4:3 | DV | 4:22 | DV 사본 |
| 05. 신화_T.O.P_MV.MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:25 | SD 기준 원본 · 실제 화면 약 710×384 · HONG PICTURES 로고 |
| 990415_신화_T.O.P. (Twinkling Of Paradise).MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:25 | 위 파일과 크기 · 길이가 같음 |
| (데이터 교체) 05. 신화_T.O.P_MV.MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:26 | 교체본 · 0.6초 김 |
| T.O.P _신화.mxf | 1920×1080 · 16:9 | MPEG-2 · 인터레이스 | 5:27 | SD를 16:9로 늘린 업컨버트 · HONG PICTURES 로고 그대로 |
| 05. 091019-SHINee-RingDingDong-MV-CABLE-HD-master_SR.mp4 | 3840×2160 · 16:9 | HEVC Main10 · 프로그레시브 | 3:59 | HD를 4K로 이미 키운 파일 |
| RDD_master.mov (SHINee 링딩동 HD 마스터) | 1920×1080 · 16:9 | H.264 · 프로그레시브 | 3:59 | 링딩동 원본으로 사용 · 7,170프레임 |
모든 파일 29.97fps. SD 720×512 중 위 32줄은 방송 신호 영역입니다. 1080 MXF 두 개는 해상도만 크고 더 좋은 원본이 아닙니다.