AI 영상을 만들기 시작했을 때 저는 원하는 움직임이 나오지 않으면 프롬프트를 수정해서 다시 생성하면 된다고 생각했습니다. 실제로 처음에는 이 방법이 상당히 효과적이었습니다. 강아지의 얼굴이나 털 색깔이 달라지면 고정 캐릭터 이미지를 사용했고, 행동이 어색하면 움직임을 조금 더 구체적으로 적었습니다. 그런데 여러 편의 AI 영상을 직접 만들어 보면서 생각하지 못했던 문제가 생겼습니다. 프롬프트를 계속 수정해도 원하는 움직임이 나오지 않는 경우가 있었습니다. 특히 제가 만들었던 아트트릭 영상에서 이런 경험을 여러 번 했습니다.
1. 움직임을 구체적으로 적어도 해결되지 않았던 장면
제가 만들었던 아트트릭 영상 중에는 바닥에 실제 구멍처럼 보이는 그림이 있고, 강아지나 고양이가 그 위에서 마치 진짜 구멍을 만난 것처럼 반응하는 장면이 있었습니다. 중요한 것은 동물이 실제 구멍 안으로 떨어지는 것이 아니었습니다. 바닥에 그려진 구멍을 실제 구멍처럼 인식한 듯한 상황에서 강아지나 고양이가 그곳에 빠지지 않으려고 발을 버둥거리거나 몸을 움직이는 모습이 핵심이었습니다. 이 장면은 동물이 가만히 있는 것만으로는 재미가 살아나지 않았습니다. 강아지나 고양이가 몸을 움직이고 발을 허우적거리면서 마치 실제로 바닥이 꺼진 것처럼 반응해야 아트트릭의 효과가 제대로 느껴졌습니다. 그래서 처음에는 프롬프트에 움직임을 더 자세하게 넣으면 해결될 것이라고 생각했습니다. 하지만 실제로 생성해 보면 이상한 결과가 반복될 때가 있었습니다. 분명 강아지나 고양이가 활발하게 움직여야 하는 장면인데 움직임이 거의 없거나, 몸은 조금 움직이지만 발버둥치는 느낌이 전혀 없는 영상이 만들어지기도 했습니다. 이럴 때 저는 프롬프트를 다시 수정했습니다. 움직임을 더 강하게 표현하고, 동물이 어떻게 반응해야 하는지도 구체적으로 적어 보았습니다. 그런데 이상하게도 계속 비슷한 결과가 나오는 경우가 있었습니다.
2. 프롬프트를 계속 수정한다고 항상 해결되지는 않았다
처음에는 이런 상황이 생기면 제가 프롬프트를 잘못 작성했다고 생각했습니다. 그래서 계속 문장을 바꾸고 움직임을 추가했습니다. 예를 들어 단순히 "강아지가 구멍을 보고 놀란다"라고 적는 것보다 강아지가 구멍 그림 위에서 균형을 잡으면서 앞발을 빠르게 움직이고, 떨어지지 않으려고 몸을 버티는 모습을 구체적으로 설명했습니다. 그런데 그렇게 프롬프트를 수정해도 비슷한 영상만 반복해서 만들어지는 경우가 있었습니다. 특히 아트트릭 홀 영상에서는 제가 원하는 장면과 실제 생성되는 장면의 차이가 컸습니다. 원래는 강아지나 고양이가 상당히 활발하게 움직여야 하는데, 계속 몸을 조금 움직이는 정도의 영상만 생성되는 경우였습니다. 이런 경험을 하면서 저는 AI 영상에서 움직임을 만들어 내는 것이 단순히 프롬프트에 동작을 하나 더 추가한다고 해결되는 문제만은 아니라는 것을 느꼈습니다.
3. 같은 결과가 반복되면 생성을 잠시 멈췄다
처음에는 원하는 결과가 나올 때까지 계속 생성했습니다. 하지만 실패한 영상을 여러 번 반복해서 만들다 보니 오히려 시간이 많이 걸렸습니다. 그래서 어느 순간부터는 같은 결과가 계속 나오면 생성을 잠시 멈추었습니다. 몇 번을 수정해도 움직임이 제대로 나오지 않으면 그 자리에서 계속 생성하지 않고 다음날 다시 시도해 보기도 했습니다. 또는 사용하던 생성 툴 자체를 껐다가 한참 뒤에 다시 실행해서 같은 장면을 다시 만들어 보기도 했습니다. 그런데 재미있는 것은 이전에는 계속 잘 나오지 않던 움직임이 나중에 다시 생성했을 때는 만들어지는 경우가 있었다는 것입니다. 왜 그런 차이가 생기는지는 저도 정확하게 알지 못합니다. 이것이 AI 영상 제작에서 검증된 방법이라고 말할 수도 없습니다. 단순히 제가 여러 영상을 제작하면서 경험한 현상입니다. 그래서 지금은 원하는 결과가 나오지 않는다고 해서 무조건 같은 프롬프트를 계속 수정하지는 않습니다.
4. 잘못된 생성 기록을 지우고 다시 시작하기도 했다
또 하나 제가 시도했던 방법은 잘못 생성된 영상의 기록을 지우고 다시 생성하는 것이었습니다. 이 방법을 사용하게 된 데에는 나름의 이유가 있었습니다. 제가 영상을 여러 번 생성하다 보면 앞에서 잘못 만들어진 영상들이 생성 기록에 남아 있게 됩니다. 그런데 제 경험상 이런 상태에서 새로운 프롬프트를 입력해도 생성 툴이 이전에 만들어진 영상과 비슷한 결과를 계속 보여주는 것처럼 느껴지는 경우가 있었습니다. 물론 실제로 생성 툴이 이전 영상을 참고해서 그렇게 만드는 것인지, 단순히 비슷한 결과가 우연히 반복된 것인지는 알 수 없습니다. 하지만 제 입장에서는 분명히 이상하게 느껴졌습니다. 분명 프롬프트를 수정했는데도 이전에 실패했던 영상과 비슷한 움직임이 계속 나오고, 같은 문제가 반복되는 경우가 있었습니다. 그래서 이런 상황에서는 잘못 생성된 영상 기록을 정리하고 다시 생성해 보았습니다. 그렇게 완전히 새롭게 시작한다는 느낌으로 다시 시도했을 때 이전과 다른 결과가 나오는 경우가 있었습니다. 이 역시 제가 직접 경험한 방법일 뿐입니다. 생성 기록을 삭제하면 AI가 이전 영상의 영향을 받지 않는다고 제가 확인한 것은 아닙니다. 다만 계속 같은 결과가 반복될 때에는 기존 생성 결과를 정리하고 다시 시작해 보는 것이 저에게는 하나의 방법이 되었습니다.
5. 캐릭터 자체를 바꾸어 보기도 했다
아트트릭 홀 장면에서 특히 기억에 남는 경험도 있습니다. 강아지가 구멍 그림 위에서 떨어지지 않으려고 활발하게 발버둥치는 장면이 계속 만들어지지 않을 때, 강아지라는 조건을 그대로 유지하면서 프롬프트만 계속 수정하는 대신 아예 고양이로 바꿔서 다시 만들어 보기도 했습니다. 이것은 처음부터 계획했던 제작 방법은 아니었습니다. 같은 장면에서 비슷한 결과가 계속 반복되다 보니 상황 자체를 조금 바꿔 본 것입니다. 그런데 이렇게 캐릭터를 바꾸거나 장면의 조건을 달리하면 이전과 다른 움직임이 나오는 경우가 있었습니다. 물론 이것 역시 모든 AI 영상에서 통하는 공식이라고 생각하지는 않습니다. 단순히 제가 영상을 만들면서 얻은 개인적인 경험입니다.
6. 움직임이 안 될 때는 상황 자체를 전환했다
이런 경험을 반복하면서 저는 AI 영상 제작에서 조금 다른 방식으로 생각하게 되었습니다. 예전에는 원하는 영상이 나오지 않으면 프롬프트를 계속 수정했습니다. 하지만 어느 순간부터는 일정 횟수 이상 비슷한 결과가 나오면 같은 작업을 계속 반복하지 않았습니다. 프롬프트를 수정해 보고, 그래도 안 되면 잠시 생성을 멈추었습니다. 다음날 다시 시도하거나 생성 툴을 껐다가 나중에 다시 실행해 보기도 했습니다. 기존 생성 기록을 정리해 보고 다시 시작하기도 했고, 강아지를 고양이로 바꾸는 것처럼 캐릭터 자체를 바꾸기도 했습니다. 결국 제가 사용한 방법의 공통점은 하나였습니다. 계속 같은 조건에서 같은 결과를 만들어 내려고 하지 않는 것이었습니다. 왜 이런 방법으로 결과가 달라졌는지는 지금도 정확하게 알지 못합니다. AI 생성 과정에서 실제로 어떤 일이 일어났는지 제가 확인할 수 없기 때문입니다. 그래서 이것을 특별한 AI 영상 제작 공식이라고 이야기하고 싶지는 않습니다. 그저 제가 영상을 제작하면서 실패를 줄이기 위해 자연스럽게 시도하게 된 방법들입니다.
7. 실제 같은 움직임은 프롬프트만의 문제가 아니었다
AI 영상 제작을 처음 시작했을 때 저는 움직임을 잘 만들려면 프롬프트를 잘 작성하는 것이 가장 중요하다고 생각했습니다. 물론 프롬프트는 여전히 중요했습니다. 강아지나 고양이가 어떤 행동을 해야 하는지 구체적으로 설명하면 결과가 달라졌고, 캐릭터의 외형이 계속 변할 때는 고정 캐릭터 이미지를 사용하는 것이 큰 도움이 됐습니다. 하지만 여러 영상을 만들면서 프롬프트만으로 해결되지 않는 상황도 있다는 것을 경험했습니다. 특히 제가 만들었던 아트트릭 홀 영상처럼 동물이 바닥의 구멍 그림을 실제 구멍처럼 느끼고 떨어지지 않으려고 발버둥치는 장면은 원하는 움직임이 나와야 영상의 재미가 살아납니다. 그런데 프롬프트를 계속 수정해도 움직임이 거의 없는 영상이 반복될 때가 있었습니다. 그럴 때 저는 더 이상 같은 방법만 고집하지 않았습니다. 생성을 잠시 멈추고 다음날 다시 만들어 보기도 했고, 생성 툴을 껐다가 다시 실행하기도 했습니다. 잘못 생성된 영상 기록을 정리한 뒤 다시 시도하기도 했으며, 때로는 강아지를 고양이로 바꾸는 것처럼 상황 자체를 전환해 보기도 했습니다. 이 방법들이 과학적으로 검증된 방법은 아닙니다. 특히 생성 기록을 지우는 것이 실제로 AI의 결과에 어떤 영향을 주는지도 저는 알지 못합니다. 하지만 AI 영상을 직접 만들면서 제가 반복적으로 경험했던 것은 분명했습니다. 같은 방법으로 계속 생성한다고 항상 더 좋은 결과가 나오는 것은 아니었다는 것입니다. 오히려 어느 순간에는 수정을 멈추고 다른 방법을 선택하는 것이 결과적으로 시간을 줄여 주기도 했습니다. AI 영상 제작은 한 번의 프롬프트로 완성되는 작업이 아니었습니다. 원하는 움직임이 나오지 않았을 때 무엇을 수정할지, 언제 생성을 멈출지, 언제 다른 조건으로 전환할지를 판단하는 과정도 제작의 일부였습니다. 결국 제가 경험한 AI 영상의 움직임 문제는 단순히 "프롬프트를 잘못 작성해서" 생긴 문제만은 아니었습니다. 프롬프트를 수정하고 고정 캐릭터를 사용해도 해결되지 않는 경우가 있었고, 그럴 때는 시간차를 두고 다시 생성하거나 기존 생성 결과를 정리하고 다시 시작하거나 상황 자체를 바꾸어 보는 방법도 필요했습니다. 이것이 모든 AI 영상 생성 툴에서 통하는 방법이라고 말할 수는 없습니다. 다만 여러 번의 실패와 재생성을 경험하면서 제가 알게 된 것은 하나였습니다. AI 영상 제작에서 중요한 것은 원하는 움직임을 한 번에 만들어 내는 능력뿐만 아니라, 원하는 결과가 나오지 않을 때 언제 다른 방법으로 전환할지를 판단하는 능력도 중요하다는 것이었습니다.