쉽게 만드는 스토리가 있는 AI고양이 인터뷰 영상: 실제 제작 경험 노하우

AI로 고양이 인터뷰 영상을 만들어 보려고 관련 글을 찾아보면서 조금 아쉬운 점이 있었습니다. 대부분 고정 캐릭터를 만들고, 프롬프트를 작성한 뒤 생성툴에서 8초 안팎의 영상을 만드는 방법에 집중하고 있었습니다. 물론 이 과정도 중요합니다. 하지만 제가 직접 영상을 만들어 보니 짧은 장면 하나를 만드는 것과 30~40초 정도의 이야기가 있는 영상을 만드는 것은 생각보다 차이가 컸습니다.

그래서 이번에는 제가 직접 만들어 본 경험을 바탕으로, AI 영상 제작을 처음 시작하는 분들도 따라 해볼 수 있도록 제가 사용한 과정을 정리해 보려고 합니다.

1. 프롬프트보다 먼저 영상의 구조를 파악했습니다

제가 가장 먼저 한 일은 프롬프트부터 작성하는 것이 아니었습니다. 만들고 싶은 주제와 비슷한 영상을 하나 찾아 전체적인 구조를 살펴봤습니다.

여기서 중요한 것은 그 영상을 그대로 따라 하거나 사용하는 것이 아닙니다. 저는 참고 영상을 Gemini를 통해 분석하면서 처음에는 어떤 장면이 나오고, 중간에는 어떤 행동이나 대화가 이어지며, 마지막에는 어떻게 마무리되는지 등 영상의 구조만 파악했습니다.

(참고 영상의 구조를  Gemini 를 통해 분석한 화면:SCENE 6까지 생성)

구조를 나누어 보니 30~40초짜리 영상도 결국 여러 개의 짧은 생성 장면을 연결해서 만드는 방식이었습니다. 이 과정을 먼저 해두니 막연하게 “고양이 인터뷰 영상을 만들어줘”라고 요청하는 것보다 훨씬 수월했습니다.

저에게는 이 과정이 생각보다 중요했습니다. 처음부터 프롬프트를 작성하는 것보다 먼저 이야기의 흐름을 정해 놓으니 이후에 어떤 장면을 만들어야 하는지가 자연스럽게 정리됐기 때문입니다.

2. 영상 전체에 사용할 고정 고양이 캐릭터를 만들었습니다

다음은 고양이 캐릭터를 정하는 단계였습니다. 제가 원하는 모습의 고양이 이미지를 먼저 만들고, 이 이미지를 영상 제작의 기준이 되는 고정 캐릭터로 사용했습니다.

여러 장면을 따로 생성하면 고양이의 얼굴이나 털 색, 옷 등이 달라질 수 있기 때문에 장면을 만들 때마다 같은 캐릭터 이미지를 참고하도록 했습니다.

(영상 전체에서 사용하기 위해 만든 고정 고양이 캐릭터 이미지)

제가 실제로 제작하면서 특히 중요하다고 느낀 부분도 바로 이 과정입니다. 한 장면이 마음에 들었다고 해서 다음 장면에서 캐릭터 설명만 대충 적으면 다른 고양이가 등장하는 경우가 생길 수 있기 때문입니다.

그래서 저는 같은 캐릭터 이미지를 계속 업로드하면서 작업했습니다. Flow에서 이전 장면을 이어가는 기능을 사용할 수 있는 경우에는 이 과정을 더 편하게 진행할 수도 있습니다.

3. 내 영상의 스토리를 여러 장면으로 나눴습니다

그다음에는 제가 만들고 싶은 이야기를  Gemini에 설명했습니다.

예를 들어 ‘길에서 만난 고양이에게 기자가 인터뷰를 하고, 고양이가 엉뚱한 대답을 하면서 마지막에 반전이 생기는 이야기’처럼 전체 내용을 먼저 알려주었습니다.

그렇게 만든 이야기를 다시 여러 단계로 나누었습니다. 어떤 장면에서 기자가 등장하는지, 고양이는 어디에 있는지, 어떤 질문과 대답이 오가는지, 마지막에는 어떤 행동으로 마무리할 것인지 등을 정리했습니다.

 

(내가 만들려는 고양이 인터뷰 영상의 전체 장면 구조 화면:장면4까지 생성(해당화면은 한글파일에 저장된 대본))

 

장면별 구조가 정리되면 각각의 장면에 필요한 프롬프트도 함께 만들었습니다.

 

(장면별 영상 생성 프롬프트를 작성한 화면:장면 1 프롬프트 (해당화면은 한글파일에 저장된 대본))

 

이렇게 해두니 30~40초짜리 영상을 한 번에 만들려고 하는 것보다 훨씬 작업하기가 편했습니다.

4. Flow에서 장면을 하나씩 생성했습니다

이제 실제 영상 생성 단계로 넘어갔습니다. 저는 전체 영상을 한 번에 생성하지 않고 장면을 하나씩 만들어 결과를 확인했습니다.

특히 각 장면을 만들 때 앞에서 만든 고정 캐릭터 이미지를 계속 참고하도록 했습니다. 이렇게 하면 영상 전체에서 같은 고양이가 등장할 가능성을 높일 수 있다고 생각했습니다.

하지만 실제로 영상을 생성해 보니 생각했던 것처럼 항상 동일하게 나오지는 않았습니다.

5. 생성 과정에서 고정 캐릭터가 달라지는 문제가 생겼습니다

제가 실제 제작하면서 가장 어려웠던 부분은 고정 캐릭터의 모습이 달라지는 문제였습니다.

같은 고양이 이미지를 참고 이미지로 사용했는데도 어떤 장면에서는 얼굴 형태가 달라지거나 옷 입은 모습이 달라졌습니다. 심한 경우에는 처음에 만들었던 고양이와 비슷하지만 다른 고양이처럼 보이기도 했습니다.

30~40초짜리 영상을 여러 장면으로 연결해야 하는데 장면마다 고양이의 모습이 달라지면 하나의 영상으로 연결했을 때 캐릭터가 바뀐 것처럼 보일 수밖에 없었습니다.

 

(같은 고정 캐릭터를 사용했지만 모습이 다르게 생성된 실제 결과 캡처)

 

처음에는 같은 캐릭터 이미지를 계속 업로드하면 자연스럽게 해결될 것이라고 생각했습니다. 하지만 실제로 생성해 보니 그것만으로는 충분하지 않았습니다.

그래서 저는 단순히 다시 생성하는 대신, 어떤 부분에서 캐릭터가 달라졌는지 먼저 비교해 보기로 했습니다.

6. 문제를 Gemini에 설명하고 프롬프트를 수정했습니다

저는 생성된 결과와 원래 사용했던 고정 캐릭터 이미지를 비교한 뒤 문제점을 Gemini에 설명했습니다.

예를 들어 고양이의 얼굴 형태나 옷 입은 보습 등이 처음 캐릭터 이미지와 어떻게 달라졌는지를 구체적으로 설명하고, 기존 캐릭터와 최대한 동일하게 유지하려면 프롬프트에 어떤 내용을 추가해야 하는지 요청했습니다.

Gemini를 통해 수정할 부분을 정리한 뒤 기존 프롬프트에 캐릭터의 외형을 유지하기 위한 조건을 추가했습니다.

(고정 캐릭터의 외형을 유지하기 위해 수정한 프롬프트 화면:장면 3 프름프트/처음 프롬프트에서 밑줄친 프롬프트 추가)

 

이 과정을 통해 알게 된 것은 AI 영상에서 고정 캐릭터를 사용하는 것만으로 모든 장면에서 완벽하게 동일한 캐릭터가 나오는 것은 아니라는 점이었습니다. 생성 결과를 직접 확인하고 차이점을 찾아 프롬프트에 필요한 조건을 추가하는 과정이 필요했습니다.

7. 수정한 프롬프트로 다시 생성했습니다

수정한 프롬프트를 적용한 뒤 해당 장면을 다시 생성했습니다. 그리고 기존에 만든 고정 캐릭터 이미지와 수정된 결과를 비교했습니다.

 

(프롬프트 수정 전과 수정 후 캐릭터를 비교한 캡처)

 

이전보다 고정 캐릭터의 모습이 자연스럽게 이어지는 것을 확인할 수 있었습니다.

물론 한 번의 수정으로 항상 완벽한 결과가 나오는 것은 아니었습니다. 하지만 이런 과정을 반복하면서 캐릭터의 외형을 최대한 일정하게 유지하는 방법을 조금씩 알게 됐습니다.

이 경험을 통해 AI 영상 제작은 단순히 프롬프트를 입력하고 결과를 기다리는 작업이 아니라는 것을 알게 됐습니다.

생성 → 결과 확인 → 문제 발견 → 프롬프트 수정 → 재생성

이 과정을 반복하면서 원하는 결과에 가까워지는 작업이었습니다.

8. 생성한 장면을 하나의 영상으로 편집했습니다

모든 장면을 만든 뒤에는 마지막으로 편집 프로그램을 사용했습니다.

저는 캡컷이나 캔바 같은 편집 프로그램에서 각각 생성한 영상을 하나로 연결하고, 필요한 부분에 배경음악과 효과음, 자막 등을 추가했습니다.

AI가 각각의 장면을 만들어 주더라도 최종적으로 하나의 이야기처럼 보이게 만드는 것은 편집 과정의 역할도 상당히 크다고 느꼈습니다.

9. 완성하고 나니 가장 중요한 것은 스토리였습니다

(최종 완성된 AI 고양이 인터뷰 영상의 대표 장면 캡처)

 

직접 만들어 보면서 알게 된 것은 30~40초짜리 AI 영상이라고 해서 처음부터 어려운 작업으로 생각할 필요는 없다는 점입니다.

핵심은 긴 영상을 한 번에 만들려고 하지 않고 하나의 이야기를 여러 개의 짧은 장면으로 나누는 것입니다. 그리고 고정 캐릭터를 기준으로 각 장면을 하나씩 생성한 뒤 마지막에 편집으로 연결하면 됩니다.

처음에는 프롬프트를 잘 쓰는 것이 가장 중요하다고 생각했습니다. 하지만 실제 제작을 해보니 프롬프트보다 먼저 해야 할 일이 있었습니다. 바로 ‘어떤 이야기를 어떤 순서로 보여줄 것인가’를 정하는 것​이었습니다.

이번에 직접 제작하면서 느낀 가장 큰 차이는 단순한 AI 영상 생성과 스토리가 있는 AI 영상 제작은 접근 방법부터 달라야 한다는 것이었습니다.

짧은 8초 영상 여러 개를 따로 만드는 데서 끝나는 것이 아니라, 먼저 이야기의 구조를 정하고 고정 캐릭터를 유지하면서 장면을 하나씩 생성한 뒤 문제가 생기면 프롬프트를 수정하고, 마지막에 편집으로 연결하면 됩니다.

처음 AI 영상을 만드는 분이라면 처음부터 완벽한 영상을 만들려고 하기보다 참고 영상의 구조 파악 → 고정 캐릭터 제작 → 내 영상의 장면 구성 → 프롬프트 작성 → 장면별 생성 → 오류 확인과 수정 → 최종 편집 순서로 하나씩 진행해 보는 것을 추천합니다.

저 역시 이번 제작을 통해 AI 영상은 한 번에 완성되는 작업이 아니라, 생성 결과를 확인하고 문제점을 찾아 프롬프트를 조금씩 수정하면서 원하는 결과에 가까워지는 과정이라는 것을 직접 경험했습니다.