할리우드에서 난리난 AI로 3주동안 매일 만든 영상,

이제 사진촬영. 영상촬영이

모두다

프롬프트 하나로 대체가 될까???

할리우드에서 난리난 AI로 3주동안 매일 만든 영상, 과정부터 결과까지 이 영상 하나로 끝내드립니다.

https://www.youtube.com/watch?v=mdO5C4gx7jg

이 영상은 김그륜 디자이너가 AI 기술을 활용하여 애니메이션을 제작한 과정을 공유하며, 현재 AI 기술의 발전과 그 한계에 대해 논의합니다. AI를 통한 영상 제작의 활용성과 한계를 탐구하고, 각각의 AI 도구들(미드저니, 스테이블 디퓨전, 드림머신 등)의 특징과 장단점을 분석함으로써, 생성형 AI의 미래를 조명합니다. 결국, 이 영상을 통해 AI 기술의 발전이 창작 방식을 어떻게 변화시키고 있는지를 이해할 수 있습니다.

핵심주제

AI 기술이 애니메이션 제작에 미치는 영향은 매우 크다.

• 모션 그래픽 디자이너의 경험을 통해 AI 기반 애니메이션의 품질이 향상되고 있음을 알 수 있다.
• AI 기술은 제작 과정의 효율성을 높여주며, 실제 영상의 퀄리티를 개선할 수 있는 가능성을 보여준다.

AI 툴, 특히 미드저니와 스테이블 디퓨전은 각각의 특점을 가진다.

• 미드저니는 속도와 편리함이 뛰어나지만 보안 문제가 있을 수 있다.
• 반면 스테이블 디퓨전은 좋은 커스터마이징 기능을 제공하지만 진입 장벽이 높아 복잡함이 따른다.

영상 제작 과정에서 프롬프트 입력과 이미지 연결은 필수적이다.

• 미드저니의 활용 방법을 통해 이미지 생성의 기반이 되는 프롬프트 작성 기술이 중요하다는 것을 알 수 있다.
• 적절한 프롬프트와 이미지를 첨부함으로써 더욱 우수한 결과물을 얻을 수 있다.

AI 영상 제작의 한계와 가능성을 동시에 느낄 수 있다.

• 지난 실험을 통해 AI의 변수성과 결과물의 예측 불가능성이 존재함을 실감했다.
• 그러나 짧은 영상 제작에는 여전히 생활형으로 유용할 가능성이 있다.

AI 도구들은 영상 제작의 미래에 대해 긍정적인 전망을 안겨준다.

• 제너레이션2와 젠3의 비교를 통해 일관성과 퀄리티 개선이 이루어지고 있음을 알 수 있었다.
• 향후 AI 기술이 더욱 발전하고 커스터마이즈가 용이해진다면 실무에서도 더욱 활용될 가능성이 높다.

타임라인

완벽노트(GPT-4o) 적용됨1. 🚀 AI 기술을 활용한 애니메이션 제작 경험

• 김그륜 디자이너는 Sci-Fi 무비에서 8비트 게임 느낌의 애니메이션까지 다양한 스타일의 작품을 AI 기술로 제작했다.
• 그는 3주 동안 매일 AI 툴들을 사용하여 현재 가장 퀄리티 높은 AI 도구들을 비교했다.
• AI 기술의 발전 정도와 아직 구현되지 못한 한계를 체험을 통해 분석했다.
• 김그륜 디자이너는 헐리우드에서 활동하며, 최근 에미상을 수상했다.
• 그는 AI로 만든 이미지와 영상의 퀄리티가 사람이 만든 것 이상으로 나오는 시점에 있다고 언급했다.
• 그래서, 직접 제작한 후기를 공유하고, 생성형 AI의 미래에 대한 자신의 결론을 제시했다.

 

2. ️AI 시대에 대한 연구와 실험 진행

• AI 관련 놀라운 작품과 실제 광고 활용 예시가 쏟아지고 있으며, 미국에서는 많은 아티스트들이 실직했다는 이야기를 듣고 있다.
• 이러한 흐름이 한국에서도 가능할 것으로 보여, AI 시대가 진정한 미래가 아니라고 생각하게 되었다.
• 따라서 현재 AI 기술의 발전 상황과 앞으로의 흐름을 공부할 필요성을 느꼈고, 그 내용을 여러분과 공유하고자 한다.
• 저는 네 가지 목적으로 실험을 진행했으며, 첫 번째는 활용성으로 영상 분야에서 타이틀 시퀀스를 테스트했다.
• 정확도, 처리 속도, 그리고 수정 가능성도 중점적으로 테스트했으며, 최신 AI 소식을 다양한 매체를 통해 지속적으로 확인하고 인터넷 포스팅을 진행하고 있다.
• 또한, 최돈현님과 이희복 감독님의 온라인 클래스를 수강하며 현재 AI 분야의 선두 아티스트들의 노하우를 배우고 있다.

 

3. AI 이미지 생성 도구 비교 분석

• 이번에는 미드저니와 스테이블 디퓨전 두 가지 AI 소프트웨어를 비교 분석했다.
• 미드저니는 빠른 생성 속도와 간편한 결과물 제공이 장점이었고, 스테이블 디퓨전은 훌륭한 커스터마이제이션 기능이 있지만, 공부하는 데 진입 장벽이 있었다.
• 스테이블 디퓨전은 오픈소스 특성으로 유저들이 자신들의 플러그인을 공유할 수 있는 장점이 있으며, 원하는 부분을 수정하는 것이 용이하다.
• 그러나 미드저니는 온라인 기반으로 모든 작업이 서버에서 이뤄져 보안상의 취약점이 존재했다.
• 미드저니의 큰 강점은 레퍼런스 이미지를 쉽게 첨부해 일관성 있는 캐릭터를 생성할 수 있는 기능이다.

 

4. AI 툴 비교: 스테이블 디퓨전과 미드저니

• 스테이블 디퓨전은 GitHub에서 엔진을 다운로드 받아 자신의 컴퓨터에서 AI를 실행해야 하기 때문에, 컴퓨터 스펙이 중요하다.
• 이 기술은 보안 강점이 있으나 고사양의 하드웨어가 필요하다는 점에서 단점으로 작용할 수 있다.
• 반면, 미드저니는 웹 기반으로 저사양 컴퓨터에서도 사용이 가능하여 언제 어디서나 이미지 생성이 용이하다.
• 미드저니는 유료 서비스지만 많은 이미지를 생성할 수 있으며, 최근 업데이트로 디스코드 없이 웹사이트를 통해 간편하게 사용할 수 있는 방법이 제공되었다.
• 마지막으로, 여러 AI 영상 생성 툴 중에서 가장 인기 있는 네 가지 툴에 대해 소개할 예정이다.

 

5. 드림머신으로 영상 구현하는 방법 및 특징

• 저는 '드림머신'이라는 엔진을 사용하여 제 이미지를 영상으로 구현하기로 결정했습니다.
• 영상 제작에는 두 가지 방법이 있으며, 저는 후자를 선택했습니다; 즉, 미리 만든 이미지를 움직이는 기능을 사용했습니다.
• 영상 제작 시 더 많은 크레딧이 필요하고 시간이 더 걸리지만, 자연스러운 영상 퀄리티를 원했기 때문에 AI 기능을 활용했습니다.
• 드림머신은 젠2보다 고퀄리티로 플리커링 이슈를 개선하여 사용하였고, 최근의 런웨이3의 성능도 좋지만 원하는 커스터마이제이션에서 약간 불편함을 느꼈습니다.
• 드림머신의 장점은 생성 속도가 빠르며, 두 이미지를 연결하는 기능도 사용하고 있습니다.

 

6. 제너레이션2와 젠3 비교: 장점과 단점

• 제너레이션2는 다양한 옵션이 있어 색깔별로 브러시 페인트를 칠하고, 카메라 모션을 조절하는 등 영상을 의도대로 만들 수 있는 장점이 있었다.
• 하지만 이 모델은 플리커링 이슈와 시간이 지날수록 퀄리티가 떨어지는 단점이 있었다.
• 최근에 출시된 젠3는 개선된 퀄리티를 보여줬고, 특히 영상에서 일관성을 유지하는 성능이 향상되었다.
• 그러나 이미지에서 비디오로 변환할 때 의도한 대로 잘 나오지 않는 경우가 많았고, 결과물이 랜덤하게 나오는 문제로 드림머신에 비해 안정감이 떨어진다고 느꼈다.

 

7. ️🌟AI 시뮬레이션이 보여주는 우수한 퍼포먼스와 한계

• 한 번 잘 활용하면 드림머신보다 훨씬 좋은 퍼포먼스를 보여주는 AI 시뮬레이션이 있다.
• 이 AI는 액체 및 끈적한 느낌의 시뮬레이션도 잘 구현하여 장점으로 작용한다.
• 특히, OpenAI의 '소라'는 긴 영상에서도 퀄리티가 유지되고, 다른 AI보다 일관성이 뛰어난 것으로 평가된다.
• 그러나 아직 커스터마이징 능력이 부족하다는 지적이 있고, 제작자들이 원하는 연출을 위해 많은 노력과 시행착오를 거쳐야 한다.
• 영상의 이해와 학습이 부족한 부분도 있어, 퍼블릭 출시까지는 시간이 더 걸릴 것으로 보인다.

 

8. AI 영상 제작 툴과 미드저니 활용하기

• 저는 4가지 AI 영상 제작 툴을 조사한 후, 드림머신을 이용해 영상을 제작했습니다.
• 영상 제작 과정에서는 미드저니를 통해 이미지를 생성하고, 이를 드림머신에서 영상으로 변환하였습니다.
• 미드저니에 입력할 프롬프트는 Chat GPT를 활용하여 생성하였고, 이를 통해 한국어로 입력해도 영어 프롬프트로 변환하는 기능을 사용했습니다.
• 미드저니 웹페이지에서 'What will you imagine?'에 프롬프트를 입력하면 쉽게 이미지를 만들 수 있으며, 이후 영어로 입력하는 것이 중요합니다.
• 특히, 미드저니에서는 이미지 사이즈를 설정할 수 있는데, 저는 영화 사이즈인 16x9로 선택하여 타이틀 시퀀스에 적합하도록 했습니다.

 

9. ️📸미드저니 이미지 생성 설정 및 스타일 조정 설명

• 미드저니 모델에서 이미지 버전을 선택할 수 있으며, 스탠다드는 최상의 결과를 위해 엔진이 자동으로 개선하고, RAW는 사용자 의도대로 이미지를 표현하고자 할 때 선택합니다.
• 물음표 버튼을 클릭하면 미드저니 가이드로 넘어가 버전별 차이를 쉽게 확인할 수 있으며, 개인적으로 처음 사용하는 분은 6.1 버전부터 시작하는 것이 좋습니다.
• Personalize 버튼은 AI가 사용자 선호 스타일을 파악하기 위한 방안으로, Tasks에서 여러 이미지를 보여주며 설문조사를 통해 사용자 스타일을 분석합니다.
• 스타일라이제이션 설정은 이미지의 느낌을 결정짓는 중요한 요소로, 과도한 설정보다는 적절한 수준에서 원하는 결과를 얻는 것이 중요하다고 생각합니다.
• 저는 스피드 설정은 기본값으로 두었으며, 이는 결과가 만족스러웠기 때문입니다.

 

10. 미드저니 프롬프트 입력 및 개선 과정 설명

• 이제 미드저니 프롬프트를 입력하는 방법에 대해 설명하겠습니다.
• 저는 Chat GPT를 활용했으며, 유료 구독 중인 4.0 버전을 사용하고 있습니다.
• 미드저니 6에 사용할 프롬프트를 만드는 머신을 만들는데, 저의 설명을 영어로 변환해 주는 방식으로 진행할 것입니다.
• 예를 들어, '사이파이 느낌의 8비트 아트웍'이라는 프롬프트를 통해, 게임의 한 장면을 연출하고 주인공을 중앙에 배치하여 미래 배경 느낌을 내도록 합니다.
• 이렇게 프롬프트를 작성한 후, 결과를 기반으로 개선할 점을 추가하여 지속적으로 발전시켜 나갑니다.

 

11. 미드저니에서 이미지 생성 및 프롬프트 활용하기

• 이제 영어로 나온 프롬프트를 복사하여 미드저니에 붙여넣고, 원하는 설정을 한 뒤 엔터를 누르면 빠르게 결과가 생성된다.
• 만약 생성된 이미지를 다시 사용하고 싶다면 클릭하여 프롬프트에 입력할 수 있으며, 그림 아이콘을 클릭하면 이미지를 첨부하거나 URL을 입력할 수 있다.
• 여러 이미지를 넣고, 8비트 느낌의 이미지를 첨부하면 원하는 스타일을 만들 수 있으며, 이때 스타일 버튼을 사용해 특성만 가져올 수 있다.
• 캐릭터가 있는 경우 캐릭터 아이콘을 활용해 연속성을 가진 이야기를 만들 수 있으며, 다양한 이미지를 조합하여 결과물을 생성할 수 있다.
• 프롬프트로만 입력하면 8비트 느낌이 나지만, 랜덤하게 나올 경우 원하는 레퍼런스 이미지를 참고하는 것이 좋다.

 

12. ️🔄이미지 첨부로 원하는 결과물 생성하는 방법

• 이미지를 첨부했을 때 결과물이 더 좋았으며, 원하는 분위기에 가까워졌다.
• 이처럼 원하는 이미지를 첨부하면 프롬프트와의 조합 덕분에 결과가 향상된다.
• 만든 이미지를 재활용할 수 있고, 'Copy Image URL' 기능을 통해 쉽게 다시 첨부할 수 있다.
• 이 과정을 통해 레퍼런스를 만들어 무한 반복적으로 아트워크를 생성하며, 다양한 이미지 조합을 시도했다.
• Chat GPT를 활용하여 한국어로 설명했을 때 원하는 느낌이 잘 나타났고, 많은 프롬프트로 이미지를 생성했다.

 

13. 드림 머신 AI 툴 사용 방법 설명

• 드림 머신이라는 AI 툴을 통해 영상을 만드는 방법을 설명한다.
• 이 툴은 텍스트 입력 기능이 있어, 미드저니처럼 텍스트를 쓰고 전송하면 그에 맞는 영상을 바로 만들어준다.
• 이미지를 첨부하면, 미드저니에서 만든 이미지를 기반으로 영상을 제작할 수 있으며, 시작과 끝을 결정하는 기능도 있다.
• 주로 첫 번째 프레임을 활용해 영상을 만들고 프롬프트를 간단하게 만들어야 제 효과를 볼 수 있다.
• Enhanced Prompt 기능을 사용하면 더 나은 결과를 얻을 수 있으나, 원하는 느낌이 나오지 않는 경우도 있어 개선할 점이 많다.

 

14. 영상 전송 및 생성 효율성에 관한 이야기

• 저는 이미지를 가지고 바로 전송을 눌러 여러 개의 창을 동시에 띄워, 동일한 작업을 5개, 6개 입력합니다.
• 결제한 금액이 100불이 넘으면 생성 속도가 빠르지만, 저렴한 결제 옵션이나 무료 버전은 매우 느린 편입니다.
• 비용적인 부담이 단점으로 작용하는데, 만든 결과물 중에서 카메라가 가만히 있고 모니터만 움직이는 경우와 영상이 정지하는 경우가 있었습니다.
• 원하는 영상이 아닐 때가 많았고, 'Like' 버튼을 눌러 마음에 드는 영상을 찾으려고 노력했습니다.
• 대기 중인 'Dreaming'이라는 작업이 어떻게 진행되는지 확인하였고, 다양한 효과로 영상이 생성되었지만 원하는 결과가 나오지 않는 경우도 많았습니다.

 

15. 🤖AI 영상의 웃긴 순간과 한계

• 최근에 정말 웃긴 영상들이 많이 나왔다.
• 특히 캐릭터가 모니터를 가지고 있을 때, 모니터의 간헐적인 깜빡임이 자연스러운 움직임처럼 느껴졌다.
• 하지만 가끔씩 이상한 움직임이 있어서 그 부분은 편집해야 했다.
• AI 기술에는 여전히 개선해야 할 점이 많고, 입력한 내용과 다른 결과물이 나올 때도 많아 장단점이 존재한다.
• 예를 들어 전자레인지 뒤에서 연기가 자연스럽게 흐르는 장면을 사용했는데, 어색한 부분도 있었지만 유용하게 활용했다.

 

16. ️🤖AI 활용과 영상 제작의 한계

• AI를 통해 원하는 아이디어를 추출하고 확장하는 과정에서 실무에 유용하다는 느낌을 많이 받았다.
• 미드저니의 수정 기능이 있지만, 처음부터 이미지를 생성하는 성능은 기대 이하라는 점을 이번 실험에서 확인했다.
• 영상 제작은 아직 부족한 점이 많아 원하는 느낌으로 만들기 어려웠고, 영상 길이에 따라 품질이 저하되는 문제가 있었다.
• 그러나 짧은 영상에 대해서는 활용 가능성이 있으며, 스톡 사이트에서 구매한 클립을 대신해 직접 영상을 제작하는 것도 가능할 것이라고 느꼈다.
• Sora의 경우, 아직 공개되지 않았지만 퀄리티가 높을 것으로 보이며, 커스터마이즈와 보안 문제가 해결된다면 실무에서도 더욱 유용할 것으로 기대하고 있다.