영역 적응(region-aware) 업스케일
상태가 괜찮은 컷 대부분.
곡 전체를 한 번에 처리합니다.
SD · HD → 1080 → 4KUPSCALE · GENERATE
STUDIO REALIVE · AI CREATIVE UNIT
SM 뮤직비디오
업스케일
원본 상태, 세 곡의 결과, 공정과 확장안
- 01원본과 결과 · 링딩동 · 신화 · S.E.S.
- 02두 갈래 공정 · 영역 적응 업스케일과 생성
- 03품질 상한과 250편 운영안
MEETING BRIEF
진행 여부와 수준은 SM이 정합니다
오늘은 판단 재료를 드리는 자리입니다. 원본이 어떤 상태인지, 지금 공정으로 어디까지 나오는지, 250편으로 넓히면 어떻게 나눌지를 차례로 보여 드립니다. 할지 말지와 목표 수준은 SM이 정합니다. 저희는 공정마다 나오는 품질과 드는 공수를 근거와 함께 드립니다. 순서는 원본 세 곡, 결과 세 곡, 두 갈래 공정, 생성 파이프라인의 단계별 자료, 품질 상한과 확장안입니다.02 · ORIGINAL · SHINEE · RING DING DONG
링딩동 원본은 이미 4K로
한 번 키운 파일입니다
2009 · 받은 원본
ffprobe · 프레임 확인 2026.10.14 · 화면용 프록시 1920×1080
03 · ORIGINAL · 신화 · T.O.P
신화 원본은 SD이고
실제 화면은 약 384줄입니다
1999 · 받은 원본
ffprobe · 프레임 확인 2026.10.14 · 화면용 프록시(디인터레이스, 4:3 비율 유지, 레터박스 · 로고 그대로)
04 · ORIGINAL · S.E.S. · TWILIGHT ZONE
S.E.S. 원본은 실제 화면이
340줄뿐입니다
1999 · 받은 원본
ffprobe · 프레임 확인 2026.10.14 · 화면용 프록시(디인터레이스, 4:3 비율 유지, 레터박스 · 로고 그대로)
05 · RESULT · RING DING DONG
링딩동은 시험 구간만 있습니다
시험 구간 · 전곡은 HD 원본 수령 후
시험 구간 결과 · 추가 예정
9월 29일 시험 구간을 처리했습니다.
같은 구간을 겹쳐 비교할 수 있게 넣을 예정입니다.
전곡 처리는 SM 지정 HD 원본(.mov)을 받은 뒤에 합니다. 이미 4K로 키운 파일을 다시 키우지 않습니다.
9월 29일 시험 구간(클로즈업 · 218.45초부터 4초) · 영역 적응 업스케일
06 · RESULT · T.O.P
신화 전곡을 영역 적응 업스케일로
1080p까지 올렸습니다
원본과 결과를 한 화면에 겹침
원본 SD
영역 적응 업스케일
차이 · 밝을수록 많이 바뀐 곳00:00 / 00:00
영역 적응 업스케일 1080p 전곡 · 원본과 프레임 정렬(SSIM 확인) · 소리는 원곡
07 · RESULT · TWILIGHT ZONE
S.E.S.는 전곡 업스케일에
재생성 편집본(앞 40초)을 더했습니다
전곡 비교 · 재생성 편집본
원본 SD
영역 적응 업스케일
차이 · 밝을수록 많이 바뀐 곳00:00 / 00:00
영역 적응 업스케일 1080p 전곡 · 원본과 프레임 정렬(SSIM 확인) · 재생성 편집본 2026.10.14 최종 렌더 39.9초
08 · TWO TRACKS
컷마다 두 갈래 중
하나로 보냅니다
곡별 컷 수 · 분량 · 원본 컷 목록 기준
생성 파이프라인
업스케일로 안 살아나는 핵심 컷.
원경 · 군무는 3D 보강을 더합니다.
| 곡 | 전체 | ① 영역 적응 업스케일 | ② 생성 | 3D 보강 대상후보 · 추정 |
|---|---|---|---|---|
| S.E.S.Twilight Zone | 160컷259.0초 | 124컷207.2초 | 36컷51.8초 | 60컷106.9초 · 후보(추정) |
| 신화T.O.P | 186컷325.4초 | 175컷276.6초 | 11컷48.8초 | 57컷105.9초 · 후보(추정) |
| 링딩동Ring Ding Dong | 컷 계측 전 · HD 원본을 받은 뒤 셉니다 | |||
3D 보강 후보는 원경 · 군무 · 얼굴이 작은 컷을 센 추정값이고, ② 생성 컷과 일부 겹칩니다.
METRICS.json 2026.10.14 · 원본 컷 목록 S.E.S. 160 · 신화 186 · 편집 타임라인 감사 · 샷 분석
09 · TRACK ① · REGION-AWARE UPSCALE
영역 적응(region-aware) 업스케일은
화면 부분마다 다른 모듈을 씁니다
곡 단위 일괄 처리
- 01영상 분석얼굴 · 인물 · 배경 · 글자 영역을 찾음
- 02영역별 특화 모듈 조합노이즈 제거 · 압축 흔적 제거 · 초해상도 · 얼굴 보정 · 글자 보정
- 03합성한 프레임으로 다시 합침
1234- 1얼굴→얼굴 보정
- 2인물→초해상도 · 노이즈 제거
- 3배경→노이즈 · 압축 흔적 제거
- 4글자 · 로고→글자 보정
곡 단위로 한 번에 돌아 시간이 적게 듭니다. 대신 영상마다 모듈 강도를 맞추는 튜닝이 필요합니다.
S.E.S. 01:23.7 원본(디인터레이스) · 같은 시점 영역 적응 업스케일 결과 · 영역 표시는 설명용이며 처리 로그가 아님
10 · TRACK ② · GENERATION
생성 파이프라인은 레퍼런스를 모아
컷을 다시 만듭니다
컷마다 레퍼런스 구성이 다릅니다
시트
캐릭터 · 로케이션 · 프랍
컷별 가이드
스켈레톤 · 뎁스 · 아웃라인
3D 예정
캐릭터 애니메이션 · 블락아웃 모델링
- 01
Seedance 2.5
멀티모달 생성레퍼런스를 함께 넣어
컷을 만듭니다 - 02
검수 · 보정
얼굴 · 입모양 ·
떨림을 확인 - 03
업스케일
고른 컷만
1080p 이상으로 - 04
편집
원래 타임라인
자리에 넣음
클로즈업은 캐릭터 시트와 시작 프레임 비중이 크고, 원경 · 군무는 로케이션 시트와 3D가 필요합니다.
제작 기록 2026.10.06–10.14 · 3D 단계는 결과물이 아직 없습니다
11 · ②-1 · CHARACTER SHEET
캐릭터 시트는 그 시기 얼굴이 기준입니다
S.E.S. 세 멤버 · 1999년 당시
만드는 순서 · 유진 예시
캐릭터 시트 2026.10.06 · 당시 잡지 사진 레퍼런스 · 컷 전용 시트(착장별)는 별도
12 · ②-2 · LOCATION · PROP
로케이션 시트로
공간과 빛을 맞춥니다
유리의 성 · 링 터널
프랍 시트컷별로 필요할 때 만듭니다. 지금 S.E.S.에는 따로 만든 프랍 시트가 없습니다.
로케이션 시트 2026.10.06–10.12 · 조명 기준 프레임은 원본 S025에서 인물을 지운 것
13 · ②-3 · START FRAME
시작 프레임으로 첫 장면을
먼저 확정합니다
원본 위 · 시작 프레임 아래
원본
시작 프레임
원본
시작 프레임
원본
시작 프레임시작 프레임 2026.10.08–10.12 · 원본은 같은 컷의 프레임(디인터레이스) · 클로즈업 원본은 4:3 그대로
14 · ②-4 · GUIDE MAPS
컷마다 원본에서 가이드맵을 뽑습니다
T012 · 다섯 화면 동시 재생
다섯 화면이 같은 시점으로 반복 재생됩니다
00:00 / 00:00T012 · 선화 Lineart · 깊이 Video Depth Anything · 스켈레톤 Sapiens2 · 2026.10.12
15 · ②-5 · 3D ANIMATION · BLOCKOUT
원경 · 군무는 3D로
동작과 공간을 잡습니다
추출 예시 있음 · 3D 가이드 생성은 예정
애니메이션 추출 예시: AI 추출 → 사람이 교정 → 생성 레퍼런스
00:00 / 00:00- 원본 컷
- AI로 3D · 애니메이션 추출
- 사람이 교정
- 레퍼런스로 투입
- 3D 가이드 생성 예정
블락아웃 모델링세트의 큰 형태만 3D로 세워 원근 · 조명 · 카메라를 원본에 맞춥니다.
공수AI 추출 위에 사람이 교정하는 구조라 컷당 공수를 산정할 수 있습니다.
애니메이션 추출 예시 T020 · 입력 1080p 24fps · 플레이블라스트 720p 30fps · 둘 다 4초 반복
16 · ②-6 · PROGRESS · REVIEW
컷마다 네 단계를 거치고
얼굴을 따로 검수합니다
진행표 · 얼굴 검수 기록
원본시작 이미지초안 480p1080 최종
T017유리 터널 3인
T021슈 미디엄
초안은 480p로 빠르게 여러 번 뽑고, 고른 것만 1080p로 확정합니다.
컷별 진행표 T001–T027 · 얼굴 검수 기록 2026.10.12–10.14 · 측정은 사람의 판단을 돕는 자료
17 · SAME CUT
같은 순간을 공정별로 놓았습니다
S.E.S. · 클로즈업 1 · 원경 1
원본 SD ↔ ① 영역 적응 업스케일② 생성3D 보강
클로즈업T027 · 유진 클로즈업
원본 00:59.509
원본 00:59.509
원본 SD
① 업스케일
원경T017 · 유리 터널 원경
원본 00:39.122
원본 00:39.122
원본 SD
① 업스케일
클로즈업은 생성에서 크게 오르고, 원경은 차이가 작습니다.
같은 타임라인 순간의 정지 프레임 1920×1080 · 원본은 디인터레이스 후 결과와 같은 화면 영역(레터박스 제외) · 생성은 편집 반영본 · METRICS.json
18 · QUALITY CEILING
클로즈업은 4K급, 원경은 1080 느낌
이음새를 맞추는 방법입니다
지금 도달한 수준 · 우리 해법
붙으면
덜컹
- 해법 1마감 통일
모든 컷을 같은 마감에 한 번 더 통과. 영역 적응 업스케일 → 공통 색보정 → 입자감 · 선명도 맞춤.
- 해법 2원경 끌어올리기
3D 레퍼런스로 얼굴 위치 · 방향을 복원해 원경 생성 품질을 클로즈업 쪽으로.
- 해법 3컷 유형별 품질 기준표
클로즈업 · 미디엄 · 원경마다 목표 선명도와 검수 기준. 기준 아래면 재작업.
판단 포인트중요 MV는 전 컷을 생성하면 질감이 처음부터 하나라 이음새가 가장 매끄럽습니다. 대신 공수가 큽니다.
클로즈업 T027 · 원경 T017 편집 반영 생성본 · 현재 출력 파일은 1080p · 4K급은 화면에서 느끼는 화질
19 · WHAT CAN IMPROVE
문제마다 원인과 해법,
도달 수준을 정했습니다
팀 판단 · 시험 컷으로 확인 예정
| 문제 | 원인 | 해법 | 도달 수준 |
|---|---|---|---|
| 인물 아웃라인 떨림 | 프레임 단위 얼굴 교체 · 가이드맵 노이즈 | 가이드맵 시간 안정화, 경계 마스크 정리, 영상 단위 얼굴 보정 | 재생 속도에서 안 보이는 수준 |
| 세트 합성 티 유리 공간 · 바닥 | 시트로 다시 만든 배경 질감이 원본과 다름 | 로케이션 시트 정밀화 + 블락아웃으로 원근 · 조명 맞춤, 원본 배경 일부 재사용 | 원본 세트와 같은 공간으로 읽히는 수준 |
| 얼굴 생김새 | 원경 얼굴 정보 소실, 얼굴 관절 튐 | 원본 얼굴 기반 캐릭터 시트, 3D 헤드 방향 가이드, 중안부 비율 검수 | 클로즈업은 본인 인식, 원경은 3D 적용 후 근접 |
| 입모양 · 표정 | 생성 단계의 입 움직임 오차 | 입모양 수정 단계 (T023 사례) | 가사 구간에서 자연스러운 수준 |
| 컷 간 이질감 | 출처별 질감 차이 | 마감 통일 (앞 장 해법 1) | 이어 봐도 끊기지 않는 수준 |
제작 기록 2026.10.06–10.14 · T023 입모양 수정 · 도달 수준은 팀 판단이며 계측값이 아님
20 · SCALE TO 250
250편은 영역 적응 업스케일 일괄이 기본이고
수작업은 핵심 컷에만 씁니다
운영안 · 확정 아님
A 영역 적응 업스케일 일괄대부분 · 영상별 튜닝 후 전곡
B 생성 · C 3D5~10% (가정)
- A 영역 적응 업스케일 일괄 · 대부분
- B 생성 · 중요 MV의 핵심 컷
- C 3D 보강 · B 중 원경 · 군무
B · C 수작업은 전체의 5~10%. S.E.S. 실측 생성 비율(컷 기준 22.5%)은 난도가 높은 곡의 상한 참고값입니다.
원본 등급(SD/HD · 오염) × MV 중요도 × 컷 난이도(샷 크기 · 얼굴 크기 자동 분석)로 자동 분류하고 사람이 확정합니다.
Latent Works에 컷 원장 · 후보 · 선정 · 검수 기록을 남겨 진행을 추적합니다.
SM이 정할 것
- 대상 범위와 우선 MV 목록
- 목표 해상도 (4K, 필요 시 8K)
- 일정 · 예산 범위
- HD 원본 제공
2026.10.14 내부 운영안 · 비율은 가정이며 비용은 별도 협의
21 · APPENDIX · SOURCE SPECS
받은 원본 파일 8개의 실측 사양
ffprobe · 프레임 확인 · 2026.10.14
| 파일 | 해상도 | 코덱 · 주사 | 길이 | 비고 |
|---|---|---|---|---|
| 991029_S.E.S._Twilight Zone(M4687308).MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 4:19 | SD 기준 원본 · 실제 화면 약 709×340 · 레터박스 안 제작사 로고 |
| 991029_S.E.S._Twilight Zone_본방송(ORIGINAL).mxf | 1920×1080 · 16:9 | MPEG-2 · 인터레이스 | 4:19 | SD를 16:9로 늘린 업컨버트 · 레터박스와 로고 그대로 |
| 991029_S.E.S._Twilight Zone.avi | 720×480 · 4:3 | DV | 4:22 | DV 사본 |
| 05. 신화_T.O.P_MV.MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:25 | SD 기준 원본 · 실제 화면 약 710×384 · HONG PICTURES 로고 |
| 990415_신화_T.O.P. (Twinkling Of Paradise).MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:25 | 위 파일과 크기 · 길이가 같음 |
| (데이터 교체) 05. 신화_T.O.P_MV.MXF | 720×512 · 4:3 | MPEG-2 4:2:2 · 인터레이스 | 5:26 | 교체본 · 0.6초 김 |
| T.O.P _신화.mxf | 1920×1080 · 16:9 | MPEG-2 · 인터레이스 | 5:27 | SD를 16:9로 늘린 업컨버트 · HONG PICTURES 로고 그대로 |
| 05. 091019-SHINee-RingDingDong-MV-CABLE-HD-master_SR.mp4 | 3840×2160 · 16:9 | HEVC Main10 · 프로그레시브 | 3:59 | HD를 4K로 이미 키운 파일 |
| SHINee SM 지정 원본 .mov (HD 마스터) | — | — | — | 미수령 · 미계측 |
모든 파일 29.97fps. SD 720×512 중 위 32줄은 방송 신호 영역입니다. 1080 MXF 두 개는 해상도만 크고 더 좋은 원본이 아닙니다.
ffprobe 실측 2026.10.14 · 1080 MXF는 인덱스 경고가 있으나 재생 정보는 읽힘
22 · APPENDIX · LIMITS · 8K
영역 적응 업스케일은 4K까지,
8K는 다른 경로입니다
문서 조사 · 2026.10.14
영역 적응 업스케일
- 4096출력 가로 · 세로 상한
- 2배초해상도 배율
일반 2D 8K 납품 경로는 확인되지 않았습니다.
| 경로 | 최대 출력 | 8K | 조건 |
|---|---|---|---|
| 영역 적응 업스케일 | 4K | 불가 | 2D 납품 기준 |
| Higgsfield | 4K | 불가 | — |
| BytePlus vCube | 8K | 공식 지원 | VOD 활성화 · Johor 리전 · 단가 미확인 |
| Topaz Video | 8K 프리셋 | 가능 | Pro 라이선스 · 사내 GPU |
| SeedVR2 (로컬) | 제한 없음 | 구조상 가능 | 8K 실측 사례 없음 · PRO 6000 |
8K는 HD 마스터(.mov)에서 올려야 합니다. 이미 4K로 키운 파일에서 올리면 새 디테일이 거의 없습니다.
공식 API 문서 · BytePlus VOD 문서 · Topaz 문서 · SeedVR2 README · 접속 2026.10.14