AI를 활용한 제작 연구 1

프로젝트 개요

미드저니를 이용한 텍스처 제작을 거쳐 경량화 버전의 Wan2 이미지 비디오생성 워크플로우로 시퀀스 텍스처 제작

프로젝트 목표

• 고품질 시퀀스 텍스처 제작
• 다양한 모양 및 다채로운 색상표현으로 색다른 느낌의 텍스처 제작
• 저 비용 고 효율의 텍스처 제작 프로세스 성립
• 텍스처는 마법적인 요소가 들어간 아우라 파티클 이펙트 제작

ComfyUI 작업 과정

미드저니에서의 아우라 이펙트 Ai이미지 생성

 

기본 셰이프 노드 구성

https://civitai.com/models/1301129/wan-video-fastest-native-gguf-workflow-i2vandt2v

Wan Video I2V&T2V 2.1 Native Workflow (GGUF) - I2V Lite v1c | Wan Video Workflows | Civitai

한 능력자분께서 수정해주신 wan2.1 경량화 버전을 사용하였다.

 

 

 

 제작 결과물:

 

 

최종 출력 설정:

• 해상도 512*512 /  36프레임

 

Wan2.1의 영상ai의 한계점

 

기존 사용하고 있는 그래픽카드가 4070ti에 Wan2.1 경랑화버전 + 성능 개선 조합을 사용했음에도 GPU사용이 90~100을 사용할만큼 그래픽 카드의 자원 소비 및 시간 낭비가 심하다. 여러가지 성능을 높여주는 커스텀 기능들을 필수로 사용해야 한다.

 

대략 6~7분이걸리던 작업을 4분으로 단축 시켜준다.

추가로 배치해준 성능을 높여주는 커스텀 기능들

 

또한 같은 프롬프트를 사용했음에도 유로ai영상과 텍스처 품질 차이가 커 기업이 만든 AI 생성 기술은 로컬에서 아직 따라잡긴 힘들어보인다. (스케일업을 하면 많이 보완되겠지만) 기업에서 더많은 VFX 학습을 시켰기에 퀄리티차이는 어쩔 수 없는듯하다.

 

뿐만아니라 기존 로컬에서 돌릴 수 있는 ai영상 제작모델은 영상 전용 컨트롤넷이 없을뿐더러 VFX전용 로라가 존재하지 않아 디테일적으로 다루지 못하는 단점이 있다. 지속적인 업데이트로 추후에 보완될 가능성이 보이지만, 현재까지의 제작된 모델중엔 이 기능을 구현한 로컬 comfyui기능은 없다. 자연스럽게 사라지는 모습에 대한 이해가 아직 부족한듯한 느낌이다. 사라지는 가중치를 높여도 어색하게 사라지는 모습이 많이 포착되고 seed값 조절이 필수

 

시간을 절약하면서 원하는 방향대로 높은 퀄리티의 영상을 제작할 수 있는 방법은 유로 ai영상 제작 프로그램과 같이 시작과 끝의 이미지를 지정해주어 제작하는 방법이 현재까지 기술로 최대로 보완할수 있는 방법이다.

 

 

유로 영상 ai는 압도적인 해상도에 기존 이미지를 유지한채 자연스럽게 사라지는 모습이 구현된다.

현재 153프레임이지만

프레임 수를 줄이고 스프라이트 시트지로 만들어 최적화를 해주면

게임 리소스로 사용하기에 충분해 보인다. 

 

나중에 Wan2.1에 이 기능이 추가될수도 있다고 하니

전세계의 개발자들이 업데이트 해주는것을 기다리는것으로 마무리

 

다음에 해야할것

>> wan2.1버전 영상 로라 제작법 or 컨트롤넷이 나온다면 찾아보기