짧은 영상 프롬프트가 중간부터 흐려지는 이유는 아이디어가 부족해서가 아니라, 행동·카메라·빛·시간 순서를 한 문장에 겹쳐 넣기 때문입니다. WanPE는 이 짧은 요구를 바로 길게 고쳐 쓰기보다, 완성된 영상에서 읽어낸 것처럼 샷 단위의 촬영 계획으로 역구성하려는 연구입니다. 공개된 것은 논문 v1의 평가이며, 지금 설치해 쓸 수 있는 도구라는 뜻은 아닙니다.
30초 요약
- WanPE는 영상 기반 reverse construction으로 멀티샷 계획을 만들겠다고 제안한 연구입니다.
- 핵심은 장면을 늘리는 것이 아니라, 사용자 요구를 샷 사이에서 잃지 않게 보존하는 데 있습니다.
- 논문 내 Wan3.0 평가와 실제 공개 배포·재현 가능성은 별개로 봐야 합니다.
WanPE는 프롬프트를 어떻게 ‘역으로’ 나누나
일반적인 확장은 “고양이가 카페에 들어간다”를 더 화려한 문장으로 풀어 쓰는 방향에 가깝습니다. WanPE 논문은 반대로 실제 영상에서 샷의 행동, 카메라, 조명, 소리 흐름을 읽어 샷별 계획을 만들고, 그 계획이 사용자의 원래 의도에서 벗어나지 않도록 학습하겠다고 설명합니다.
생활 비유로 보면 한 줄 메모를 소설로 불리는 일이 아니라, 행사 당일의 결과물을 보고 진행표를 되짚어 만드는 일에 가깝습니다. 어느 순간에 누가 무엇을 하고 카메라가 어디를 보는지 먼저 분해하니, ‘멋진 영상’ 같은 넓은 요청도 다음 단계의 선택지로 바꿀 여지가 생깁니다.
한 문장 입력은 어떤 계획이 되나
아래는 논문 사용법을 재현한 결과가 아니라, 논문이 말하는 샷 수준 계획을 이해하기 위한 편집 예시입니다. 모델명이나 성능을 넣지 않아도, 계획의 단위가 달라지는 지점은 확인할 수 있습니다.
| 입력 | 샷 계획으로 풀어 쓴 예시 |
|---|---|
| “비 온 뒤 문을 여는 작은 서점, 8초” | 샷 1(0~2초): 젖은 간판과 문손잡이, 고정 클로즈업. 샷 2(2~5초): 문이 열리며 따뜻한 실내 빛, 손을 따라가는 미디엄 샷. 샷 3(5~8초): 책장 사이로 들어가는 인물의 뒷모습, 느린 전진. |
이 표에서 중요한 것은 수식어의 양이 아닙니다. 각 샷에 시간·피사체 행동·카메라 중 적어도 두 축을 배정하면, 생성 결과가 어긋났을 때 무엇을 고칠지도 보입니다. 예컨대 조명이 틀리면 샷 2를, 동선이 어색하면 샷 3의 카메라 지시를 먼저 만지면 됩니다.
논문은 이런 계획을 “video-grounded reverse construction”으로 만들고, Semantic-Consistency GRPO(SC-GRPO)라는 학습 절차로 샷을 넘어서도 사용자 요구의 의미를 보존하려 했다고 설명합니다. 약어가 낯설다면, 여기서는 ‘장면을 나누는 동안 처음 요청을 잊지 않게 하는 보정 장치’ 정도로 읽어도 충분합니다.
forward rewriting과 무엇이 다른가
forward rewriting은 입력 문장을 앞에서 뒤로 더 자세히 쓰는 방식입니다. 빠르게 아이디어를 보강하기에는 편하지만, 멀티샷에서는 첫 샷의 주인공·행동·공간 조건이 뒤 샷에서 바뀌는지 점검하기 어렵습니다.
WanPE가 겨냥하는 역구성은 결과 영상에 필요한 샷 구조를 먼저 복원한 뒤 텍스트 계획으로 옮기는 접근입니다. 논문이 주장하는 이점은 ‘긴 프롬프트’ 자체보다 샷 간 의미 일관성에 있으므로, 한 컷짜리 짧은 루프처럼 전환 설계가 거의 없는 작업에는 이득이 작을 수 있습니다.
논문이 검증한 범위는 어디까지인가
WanPE 논문은 2026년 9월 24일 arXiv에 v1으로 제출됐습니다. 초록은 397B 파라미터, 105만 개 실제 영상 학습, 5~30초 길이를 다루는 WanPEval과 약 1.1만 건의 블라인드 쌍대 비교를 제시합니다.
Wan3.0 생성기에 연결한 논문 내 평가에서는 raw user prompt보다 사람 선호도가 5~15초 구간에서 10.66~18.84포인트, 30초 구간에서 50.86포인트 높았다고 보고합니다. 이는 저자들이 설정한 모델·평가 구성의 결과이며, 다른 영상 모델·언어·개별 프롬프트에도 같은 수치가 나온다는 보장은 아닙니다.
논문 초록은 reverse construction이 forward rewriting보다 우수하다고 적지만, 이 글은 WanPE 추론을 실행하거나 해당 수치를 재현하지 않았습니다. 더구나 공개 확인한 Wan2.1 공식 README에는 별도 prompt extension 안내가 있을 뿐, WanPE의 공개 코드·가중치·API·라이선스·Wan3.0 연동 절차는 확인하지 못했습니다.
지금 바로 적용할 수 있는 건 ‘계획 형식’입니다
도구가 공개되기를 기다리기보다 다음 순서로 짧은 프롬프트를 정리해 보세요. 이는 WanPE 실행법이 아니라 멀티샷 요구를 검토하는 실무용 템플릿입니다.
- 전체 길이와 꼭 남길 한 가지 사건을 한 줄로 적습니다.
- 전환이 필요한 지점마다 샷을 나누고, 각 샷에 시간·행동·카메라 중 두 가지를 둡니다.
- 샷마다 바뀌면 안 되는 조건(인물, 장소, 시간대, 핵심 소품)을 별도 줄에 반복 기록합니다.
- 첫 생성 후에는 ‘전체를 더 자세히’가 아니라, 어긋난 샷의 한 축만 고칩니다.
특히 인물 연속성이나 공간 이동이 중요한 영상일수록 이 형식이 편합니다. 반대로 단일 제품 컷, 짧은 반복 애니메이션처럼 전환 자체가 목적이 아닌 작업은 한 문장 프롬프트와 참조 이미지가 더 단순할 수 있습니다.
작업 환경을 함께 정리한다면
샷 계획표와 생성 결과를 나란히 놓고 비교할 때는 화면 높이를 확보하는 보조 장비가, 여러 버전의 결과 파일을 남길 때는 별도 저장 공간이 각각 도움이 될 수 있습니다. 아래 두 항목은 WanPE의 성능이나 실행 조건과는 무관하며, 계획 검토와 결과 보관이라는 서로 다른 작업 장면에 맞춰 골랐습니다.
계획표와 결과 영상을 한 화면에서 번갈아 볼 때, 노트북 화면 주변의 세로 여백을 정리하는 용도입니다. 책상 규격과 사용 중인 모니터의 장착 조건은 카드 상세에서 따로 확인해야 합니다.
생성 결과와 수정 전후 버전을 따로 보관해 샷별 차이를 되짚는 용도입니다. 실제 연결 방식과 필요한 저장 용량은 작업 파일 크기에 맞춰 확인하세요.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
출처
- WanPE 논문: https://arxiv.org/abs/2609.30221
- Wan2.1 공식 저장소: https://github.com/Wan-Video/Wan2.1
핵심 정리: 다섯 가지 질문과 답
Q. WanPE는 무엇을 바꾸려 하나요?
짧은 영상 요청을 샷별 촬영 계획으로 확장하는 프롬프트 강화 방식을 제안합니다.
Q. 역구성은 단순히 프롬프트를 길게 쓰는 일인가요?
아닙니다. 결과 영상에서 샷 구조를 복원해 시간·행동·카메라 같은 단위를 계획으로 만드는 접근입니다.
Q. 논문에서 확인한 핵심 검증은 무엇인가요?
Wan3.0과 연결한 저자 평가, 5~30초 길이의 WanPEval, 약 1.1만 건 블라인드 쌍대 비교입니다.
Q. 지금 WanPE를 설치해 실행할 수 있나요?
이 글에서 확인한 공개 자료만으로는 코드·가중치·API·라이선스·실행 절차를 확인하지 못했습니다.
Q. 도구가 없어도 적용할 수 있는 방법은 무엇인가요?
프롬프트를 샷별 시간·행동·카메라 계획으로 먼저 나누고, 유지할 조건을 각 샷에 대조하는 방식입니다.
'AI > AI 최신 기술' 카테고리의 다른 글
| AgentKernel 프롬프트 인젝션, 도구 실행 전에 어디서 끊어야 할까 (0) | 2026.09.27 |
|---|---|
| IterSynth, 검색 기록이 길어질수록 답이 흐릴 때 무엇을 버려야 할까 (0) | 2026.09.27 |
| 토큰 중첩 학습, 두 텍스트를 한 번에 예측해도 되는 이유와 멈춰야 할 지점 (0) | 2026.09.26 |
| SWE-bench 점수, 높은데도 에이전트를 바로 맡기면 안 되는 이유 (0) | 2026.09.25 |
| JitMem, 에이전트 메모리를 저장할 때 요약하면 놓치는 단서 (0) | 2026.09.25 |
댓글