AI 영상 제작을 처음 시작했을 때는 영상이 한 번에 완성될 것이라고 생각했습니다. 원하는 장면을 머릿속으로 떠올린 다음 프롬프트를 입력하면 비슷한 영상이 만들어질 것이라고 생각했기 때문입니다. 하지만 실제로 여러 영상을 만들어 보니 생각보다 훨씬 많은 장면을 버리게 됐습니다. 특히 기억에 남는 작업은 거실 바닥에 그려진 착시 홀 그림에 강아지가 떨어져 허우적대는 장면을 만드는 과정이었습니다. 단순히 강아지가 구멍처럼 보이는 그림 위로 떨어지는 장면이라고 생각했지만, 막상 영상을 생성해 보니 제가 원하는 모습과는 상당히 다른 결과가 계속 나왔습니다. 처음에는 강아지가 홀에 떨어지는 순간만 제대로 표현되면 성공이라고 생각했습니다. 그런데 실제 영상을 자세히 살펴보니 떨어지는 장면 이후의 움직임이 더 중요했습니다. 강아지가 홀 안에 빠진 것처럼 보여야 하는데, 생성된 영상에서는 강아지가 바닥에 그대로 서 있거나 잠깐 몸을 움직인 뒤 거의 움직이지 않는 경우가 있었습니다.
1. 떨어졌지만 움직임이 부족했던 장면
가장 먼저 많이 버린 장면은 강아지가 홀에 떨어진 뒤 움직임이 거의 없는 경우였습니다. 정지된 이미지를 만드는 것이라면 강아지가 홀에 빠진 모습만 제대로 표현해도 어느 정도 만족할 수 있습니다. 하지만 영상에서는 달랐습니다. 강아지가 홀에 떨어졌다면 그다음에 몸을 움직이고, 균형을 잃고, 앞발이나 뒷발을 허우적거리는 모습이 자연스럽게 이어져야 했습니다. 그런데 처음 생성된 영상에서는 강아지가 홀에 떨어지는 순간까지는 괜찮은데 그 이후 갑자기 움직임이 멈추는 경우가 있었습니다. 보는 사람 입장에서는 강아지가 실제로 빠진 것인지 단순히 홀 그림 위에 올라간 것인지 구분하기 어려웠습니다. 결국 이런 영상은 아깝지만 버릴 수밖에 없었습니다.
2. 움직임이 너무 부자연스러웠던 장면
두 번째로 많이 버린 것은 움직임 자체가 이상한 경우였습니다. 강아지가 허우적대는 동작을 넣고 싶었지만 AI가 만들어 준 움직임은 사람이 생각하는 자연스러운 움직임과 달랐습니다. 앞발을 움직이기는 하는데 몸 전체가 같이 이상하게 흔들리거나, 다리가 순간적으로 길어졌다 짧아지는 것처럼 보이는 장면도 있었습니다. 어떤 영상에서는 강아지가 홀에 빠진 것처럼 보이기는 했지만 몸의 중심이 제대로 잡히지 않아 마치 공중에 떠 있는 것처럼 보였습니다. 이런 장면은 단순히 움직임이 조금 어색한 정도가 아니라 영상 전체의 현실감을 떨어뜨렸습니다. 처음에는 이런 결과가 나오면 AI 영상 생성 자체의 한계라고 생각했습니다. 그런데 여러 번 시도하면서 생각이 조금씩 바뀌었습니다.
3. 강아지의 움직임이 홀 밖으로 벗어난 장면
가장 아쉬웠던 부분 중 하나는 강아지가 홀 안에서 움직여야 하는데 움직임이 홀의 위치를 벗어나는 경우였습니다. 예를 들어 거실 바닥에 커다란 착시 홀 그림이 있고 강아지가 그 안에 빠진 상황을 만들었는데, 처음에는 강아지가 홀 안에서 허우적대다가 어느 순간 몸이 홀 바깥쪽으로 이동해 버리는 경우가 있었습니다. 영상의 앞부분에서는 분명히 홀 안에 있었는데 뒷부분에서는 강아지의 몸이 바닥 위에 걸쳐 있거나 홀의 경계를 넘어가 버렸습니다. 이렇게 되면 처음 설정한 상황 자체가 무너집니다. 그래서 단순히 "강아지가 홀에 빠져서 허우적거린다"라고 적는 것만으로는 부족하다는 것을 알게 됐습니다.
4. 프롬프트를 계속 수정하기 시작했습니다
이때부터 저는 생성된 영상에서 문제가 발생한 부분을 먼저 찾고, 그 문제를 해결하기 위해 프롬프트를 조금씩 수정하기 시작했습니다. 처음에는 프롬프트를 길게 작성하면 좋은 결과가 나올 것이라고 생각했습니다. 하지만 실제 작업을 하면서 중요한 것은 무조건 많은 내용을 넣는 것이 아니라 AI가 잘못 이해한 부분을 찾아 구체적으로 다시 설명하는 것이라는 것을 알게 됐습니다. 예를 들어 강아지가 홀 안에서 움직이지 않는다면 움직임을 더 구체적으로 표현하고, 홀 밖으로 벗어난다면 강아지의 움직임 범위와 위치를 명확하게 지정했습니다. 단순히 "허우적거린다"라는 표현에서 끝내지 않고 어떤 자세로 움직이는지, 몸의 위치가 어디에 있어야 하는지 등을 계속 보완했습니다. 그리고 영상을 다시 생성했습니다. 결과가 마음에 들지 않으면 다시 수정했습니다. 이 과정을 반복하다 보니 처음에는 무엇을 어떻게 수정해야 할지도 몰랐던 제가 어느 순간부터 생성된 영상만 보고도 "이 부분은 프롬프트에서 위치를 더 명확하게 지정해야겠다", "움직임을 더 구체적으로 설명해야겠다"라고 판단할 수 있게 됐습니다.
5. 실패한 영상이 프롬프트 공부가 됐습니다
지금 생각해 보면 그때 가장 많이 버렸던 영상들이 오히려 제게 가장 많은 것을 알려주었습니다. 완성된 영상만 계속 만들었다면 프롬프트 작성 능력이 이렇게까지 늘지는 않았을 것 같습니다. 원하는 결과가 나오지 않았기 때문에 왜 이상하게 만들어졌는지 영상을 반복해서 확인했고, 그 원인을 찾아 프롬프트를 수정했기 때문입니다. 특히 AI 영상에서는 이미지와 달리 움직임과 위치, 시간의 흐름까지 설명해야 한다는 것을 직접 경험했습니다. "강아지가 홀에 떨어진다"라는 한 문장만으로는 제가 머릿속으로 생각한 장면을 그대로 표현하기 어려웠습니다. 떨어진 다음 어떤 움직임을 하는지, 그 움직임이 어디까지 이어지는지, 강아지가 어느 위치를 유지해야 하는지까지 구체적으로 생각해야 했습니다. 이 과정을 반복하면서 프롬프트를 작성하기 전에 먼저 머릿속으로 영상의 움직임을 장면별로 생각하는 습관도 생겼습니다.
6. 한 편을 완성하는 데 버린 영상들이 남긴 것
AI 영상을 만들다 보면 생성된 영상이 마음에 들지 않을 때마다 다시 만드는 것이 처음에는 상당히 아깝게 느껴집니다. 저 역시 처음에는 "왜 이렇게 원하는 대로 안 나오지?"라는 생각을 많이 했습니다. 하지만 지금은 생각이 조금 달라졌습니다. 버려진 영상 하나하나가 다음 영상을 더 잘 만드는 자료가 됐기 때문입니다. 특히 강아지가 착시 홀에 떨어지는 장면을 만들면서 수없이 실패했던 경험은 이후 다른 AI 영상을 제작할 때도 도움이 됐습니다. 예전에는 프롬프트를 작성하고 결과를 기다리는 것이 전부였다면, 지금은 생성된 결과를 먼저 분석합니다. 무엇이 잘못됐는지 확인하고, 그 문제를 해결할 수 있는 문장을 추가하거나 수정한 뒤 다시 생성합니다. AI 영상 제작은 한 번에 끝나는 작업이 아니었습니다. 오히려 원하는 결과가 나오지 않았던 순간부터 진짜 제작 과정이 시작된다는 생각이 들었습니다. 특히 제가 만들었던 강아지와 착시 홀 영상처럼 움직임 하나, 위치 하나가 어긋나도 전체 장면이 어색해지는 경우에는 반복적인 수정이 필요했습니다. 결국 그때 가장 많이 버린 것은 영상 파일이었지만, 가장 많이 얻은 것은 AI에게 내가 원하는 움직임을 정확하게 설명하는 능력이었습니다. 지금도 AI 영상이 한 번에 완성되지 않을 때가 있습니다. 하지만 예전처럼 당황하지는 않습니다. 결과물을 자세히 보고 어디에서 문제가 생겼는지 찾은 다음 프롬프트를 수정합니다. 돌이켜보면 강아지가 착시 홀 안에서 허우적대던 그 장면을 만들기 위해 버렸던 수많은 영상들이 저에게는 꽤 좋은 프롬프트 연습장이었던 셈입니다.