AI 영상 생성이 계속 실패했던 이유, 카메라 관점을 바꾸니 해결됐다

AI 영상 생성 도구를 사용하다 보면 프롬프트를 아무리 구체적으로 작성해도 원하는 장면이 계속 나오지 않을 때가 있습니다. 저 역시 최근 VEO 3로 치와와 부기장이 등장하는 비행기 조종실 영상을 만들면서 비슷한 경험을 했습니다.

첫 번째 장면에서는 비행기 출입구 쪽에서 앞쪽 창유리를 바라보는 조종실 내부의 모습을 만들었습니다. 이후 두 번째 장면에서는 카메라의 위치를 바꾸어 비행기 앞쪽 창유리 쪽에서 조종실 내부를 바라보는 모습을 만들고 싶었습니다.

그런데 두 번째 장면을 생성하면서 문제가 발생했습니다.

카메라의 위치와 조종실 내부의 모습을 구체적으로 설명하고, 기장과 부기장의 위치까지 프롬프트에 넣었습니다. 하지만 영상을 생성할 때마다 이상하게도 기장석과 부기장석의 위치가 제가 생각했던 것과 다르게 나타났습니다.

처음에는 VEO 3가 첫 번째 장면의 인물 위치를 제대로 이어받지 못한 것이라고 생각했습니다. 그래서 프롬프트의 내용을 조금씩 수정하면서 여러 번 영상을 다시 생성했습니다.

하지만 결과는 계속 비슷했습니다.

계속해서 바뀌던 기장석과 부기장석의 위치

저는 분명 기장과 부기장의 위치를 정확하게 적었다고 생각했습니다. 그런데 생성된 영상을 확인할 때마다 두 사람의 위치가 서로 바뀌어 있었습니다.

 

(사진: 비행기 앞쪽 창유리 방향에서 조종실 내부를 바라보는 장면이지만 기장석과 부기장석의 위치가 의도와 다르게 생성된 모습)

 

[수정 전 프롬프트(실제는 영어로 작성)]

"업로드된 조종석 참조 이미지를 전체 조종석의 MASTER REFERENCE(최우선 기준 이미지)​로 사용한다.

업로드된 조종석 참조 이미지의 조종석 배치, 조종석 구조, 조종사 좌석, 계기판, 스로틀 쿼드런트, 센터 페데스털, 오버헤드 패널, 전면 유리창, 측면 창문, 조종석 출입문 및 전체적인 조종석 비율​을 가능한 한 동일하게 재현한다.

오른쪽 좌석의 부기장만 치와와로 교체한다. 그 외 모든 요소는 변경하지 않는다.

실제 보잉 또는 에어버스 상업용 여객기와 동일한 물리적 조종석 구조와 좌석 배치를 유지한다.

중요 좌석 방향 규칙

실제 항공기 기준으로는기장은 항상 항공기 왼쪽 좌석, 부기장은 항상 ​항공기 오른쪽 좌석에 앉는다.

이러한 카메라 기준 좌우 관계는 영상 전체에서 반드시 일관되게 유지한다."

 

몇 번을 다시 생성해도 문제가 해결되지 않다 보니 프롬프트를 더 길게 작성해야 하는 것인지 고민하게 됐습니다.

그러다 생성된 영상을 다시 자세히 살펴보면서 제가 아주 기본적인 부분을 놓치고 있었다는 것을 알게 됐습니다.

바로 카메라의 관점에서 좌우를 생각하지 않았다는 것이었습니다.

내가 생각한 왼쪽과 카메라가 보는 왼쪽은 달랐다

첫 번째 장면에서 카메라는 비행기 출입구 쪽에 있었습니다. 이때는 제가 생각하는 조종실의 좌우와 크게 문제가 없었습니다.

하지만 두 번째 장면에서는 카메라가 비행기 앞쪽 창유리 쪽으로 이동해 조종실 내부를 바라보고 있었습니다.

카메라의 위치가 바뀌었기 때문에 같은 조종실을 바라보더라도 카메라에서 보이는 좌우의 기준 역시 달라질 수 있었습니다.

저는 처음 프롬프트를 작성할 때 제 입장에서 기장석과 부기장석의 위치를 생각했습니다.

하지만 AI에게는 제가 생각하는 좌우가 아니라 카메라가 현재 어느 위치에서 무엇을 바라보고 있는지가 중요했습니다.

이 부분을 깨닫고 나니 그동안 계속해서 기장석과 부기장석의 위치가 바뀌었던 이유가 이해됐습니다.

문제는 단순히 VEO 3가 위치를 기억하지 못한 것이 아니라 제가 프롬프트에서 좌우의 기준을 잘못 잡고 있었던 것이었습니다.

그래서 이번에는 제 입장이 아니라 카메라가 바라보는 화면을 기준으로 좌우를 다시 지정했습니다.

카메라의 위치에서 바라봤을 때 기장석은 오른쪽, 부기장석은 왼쪽​이라고 수정했습니다.

그리고 다시 영상을 생성해 보았습니다.

좌우 기준을 바꿔 다시 생성해 보았다

수정한 프롬프트를 적용한 뒤 결과를 확인해 보았습니다.

이번에는 이전과 달랐습니다. 계속해서 뒤바뀌어 나오던 기장석과 부기장석의 위치가 제가 원했던 방향으로 제대로 생성됐습니다.

 

(사진: 카메라의 관점에서 좌우를 수정한 후 기장석과 부기장석이 원하는 위치에 생성된 모습)

 

[수정 후 프롬프트 삽입 (실제는 영어로 작성)]

"업로드된 조종석 참조 이미지를 전체 조종석의 MASTER REFERENCE(최우선 기준 이미지)​로 사용한다.

업로드된 조종석 참조 이미지의 조종석 배치, 조종석 구조, 조종사 좌석, 계기판, 스로틀 쿼드런트, 센터 페데스털, 오버헤드 패널, 전면 유리창, 측면 창문, 조종석 출입문 및 전체적인 조종석 비율​을 가능한 한 동일하게 재현한다.

오른쪽 좌석의 부기장만 치와와로 교체한다. 그 외 모든 요소는 변경하지 않는다.

실제 보잉 또는 에어버스 상업용 여객기와 동일한 물리적 조종석 구조와 좌석 배치를 유지한다.

중요 좌석 방향 규칙

실제 항공기 기준으로는기장은 항상 항공기 왼쪽 좌석, 부기장은 항상 ​항공기 오른쪽 좌석에 앉는다.

하지만 카메라가 두 조종사의 정면에서 바라보기 때문에, 카메라 화면에서는 좌우가 반대로 보인다.

기장 = 항공기 기준 왼쪽 좌석 = 카메라 화면 오른쪽

치와와 부기장 = 항공기 기준 오른쪽 좌석 = 카메라 화면 왼쪽

이러한 카메라 기준 좌우 관계는 영상 전체에서 반드시 일관되게 유지한다."

 

여러 번 영상을 다시 생성하면서도 해결되지 않았던 문제가 프롬프트의 좌우 기준을 바꾸는 것만으로 해결됐습니다.

프롬프트를 길게 쓰는 것만이 해결책은 아니었다

이번 경험을 통해 한 가지 중요한 사실을 알게 됐습니다.

AI 영상이 원하는 대로 나오지 않으면 우리는 흔히 프롬프트의 설명이 부족하다고 생각합니다.

그래서 등장인물의 외모를 더 자세하게 설명하고, 배경이나 카메라 움직임을 추가하고, 영상 스타일이나 화질까지 계속해서 내용을 늘리게 됩니다.

저 역시 처음에는 그렇게 했습니다.

하지만 이번 경우에는 프롬프트의 정보가 부족했던 것이 아니었습니다.

제가 프롬프트를 바라보는 관점 자체가 달랐던 것이 문제였습니다.

특히 카메라가 한 위치에서 다른 위치로 이동하는 장면에서는 이런 부분을 더욱 주의해야 한다는 것을 알게 됐습니다.

같은 공간을 촬영하더라도 카메라가 어디에 위치하고 어느 방향을 바라보느냐에 따라 화면에서 보이는 좌우가 달라질 수 있기 때문입니다.

원하는 영상이 나오지 않는다면 관점을 바꿔보자

이번 일을 겪으면서 앞으로 VEO 3에서 원하는 영상이 계속 나오지 않는다면 무조건 프롬프트부터 길게 작성하지 않으려고 합니다.

먼저 카메라가 어디에 있는지, 그리고 ​카메라가 어느 방향을 바라보고 있는지부터 다시 확인해 볼 생각입니다.

그 위치에서 바라봤을 때 인물과 사물이 실제로 어느 쪽에 있어야 하는지도 다시 생각해 보려고 합니다.

영상 제작에 집중하다 보면 이런 작은 부분을 놓치기 쉽습니다. 저 역시 여러 번 영상을 생성하고 나서야 아주 기본적인 부분을 발견했습니다.

결국 이번 경험에서 제가 얻은 가장 큰 교훈은 원하는 영상이 계속 나오지 않을 때는 프롬프트의 내용을 더 추가하는 것만큼이나 ‘내가 지금 어느 위치에서 이 장면을 바라보고 있는가’를 다시 생각해 보는 것도 중요하다는 것​입니다.

AI 영상 생성은 아주 작은 관점의 차이 때문에 여러 번 실패할 수도 있습니다.

하지만 반대로 생각하면 그 작은 부분 하나를 찾아내는 순간, 계속 해결되지 않던 영상이 의외로 간단하게 해결되기도 합니다.

이번 치와와 부기장 영상 제작 경험은 저에게 프롬프트 작성에서 ‘무엇을 설명할 것인가’뿐만 아니라 ‘어떤 위치에서 바라보고 설명할 것인가’도 중요하다​는 것을 알려준 경험이었습니다.