최근 인공지능 이미지 생성 분야에서 혁신적인 기술로 주목받고 있는 NVIDIA Cosmos가 ComfyUI에서도 사용 가능하게 되었다는 소식입니다! 이는 이미지 생성 AI 분야의 판도를 바꿀 획기적인 발표로, 많은 사용자들의 기대를 모으고 있습니다 . 이번 기사에서는 NVIDIA Cosmos와 ComfyUI의 통합에 대한 자세한 내용과 그 의미, 그리고 사용자들이 누릴 수 있는 이점에 대해 심층적으로 알아보겠습니다. 특히 NVIDIA Cosmos는 오픈 소스 모델이라는 점에서 AI 비디오 생성 분야의 중요한 발전을 의미합니다 .
NVIDIA Cosmos와 ComfyUI란 무엇인가?
NVIDIA Cosmos는 NVIDIA에서 개발한 최첨단 생성형 WFM(world foundation model) 기반 플랫폼입니다. 고급 토크나이저, 가드레일, 가속화된 영상 프로세싱 파이프라인으로 구성되어 있으며, 자율 주행 자동차를 비롯한 물리 AI 시스템 개발을 가속화하기 위해 설계되었습니다 . Cosmos는 비디오 검색, 정책 모델, 예측, 멀티버스 시뮬레이션 등 다양한 기능을 제공합니다 . 특히, 휴머노이드 로봇 훈련에 중요한 역할을 수행하며, 전문가의 동작을 모방하여 새로운 기술을 습득하는 데 유용하게 활용될 수 있습니다 .
ComfyUI는 Stable Diffusion 웹 UI의 대안으로 떠오르는 노드 기반의 이미지 생성 도구입니다 . 노드 기반 인터페이스를 통해 복잡한 이미지 생성 작업을 시각적인 흐름으로 관리할 수 있으며, 사용자는 노드를 연결하고 설정을 조정하여 원하는 이미지를 생성할 수 있습니다 . ComfyUI는 이미지 생성 큐 관리, 노드 및 모델 관리, 워크플로우 관리 등의 기능을 제공합니다 . Flux, Instruct Pix2Pix, ControlNet과 같은 최신 모델을 지원하며, Redux와 같은 기능을 통해 이미지 스타일 변환, 특정 요소 추가 등 다양한 작업을 수행할 수 있습니다 .
NVIDIA Cosmos와 ComfyUI의 통합, 무엇이 달라지나?
NVIDIA Cosmos가 ComfyUI에서 사용 가능하게 됨에 따라 사용자들은 다음과 같은 이점을 누릴 수 있습니다.
- 향상된 비디오 생성 품질: Cosmos는 기존 모델보다 뛰어난 성능을 제공하여 고품질 비디오 생성을 가능하게 합니다 . 이는 Hunyuan과 같은 다른 AI 비디오 생성 모델과 비교했을 때 더욱 두드러집니다 .
- 이미지 및 비디오 제어 기능 향상: 이미지와 비디오를 정밀하게 제어하여 원하는 결과물을 얻을 수 있습니다 .
- 다양한 비디오 생성 옵션: 이미지에서 비디오를 생성하거나, 두 이미지 사이에 비디오를 생성하는 등 다양한 작업을 수행할 수 있습니다 .
- 간소화된 워크플로우: ComfyUI의 노드 기반 인터페이스를 통해 비디오 생성 작업 과정을 간소화할 수 있습니다 .
예를 들어, 사용자는 ComfyUI에서 Cosmos 모델을 사용하여 텍스트 프롬프트를 기반으로 비디오를 생성하거나, 이미지를 입력하여 비디오를 생성할 수 있습니다 . 또한, ComfyUI의 다양한 노드를 활용하여 비디오의 스타일을 변경하거나 특정 요소를 추가하는 등 창의적인 작업을 수행할 수 있습니다 .
NVIDIA Cosmos를 ComfyUI에서 사용하는 방법
NVIDIA Cosmos를 ComfyUI에서 사용하려면 다음 단계를 따르세요.
- ComfyUI 업데이트: ComfyUI의 최신 버전으로 업데이트합니다 .
- 파일 다운로드: 아래 표에 명시된 파일들을 다운로드하여 ComfyUI의 해당 폴더에 저장합니다 .
| 파일 | 저장 위치 |
|---|---|
oldt5_xxl_fp8_e4m3fn_scaled.safetensors | ComfyUI/models/text_encoders/ |
cosmos_cv8x8x8_1.0.safetensors | ComfyUI/models/vae/ |
Cosmos-1_0-Diffusion-7B-Text2World.safetensors | ComfyUI/models/diffusion_models |
Cosmos-1_0-Diffusion-7B-Video2World.safetensors | ComfyUI/models/diffusion_models |
다운로드 링크는 다음과 같습니다.
- 텍스트 인코더: https://huggingface.co/comfyanonymous/cosmos_1.0_text_encoder_and_VAE_ComfyUI/tree/main/text_encoders
- VAE: https://huggingface.co/comfyanonymous/cosmos_1.0_text_encoder_and_VAE_ComfyUI/blob/main/vae/cosmos_cv8x8x8_1.0.safetensors
- Cosmos 모델: https://huggingface.co/mcmonkey/cosmos-1.0/tree/main
- 워크플로우 로드: ComfyUI에서 Cosmos 모델을 사용하기 위한 워크플로우를 다음 링크에서 다운로드하여 ComfyUI에 로드합니다 .
- Text2Video 워크플로우: https://comfyanonymous.github.io/ComfyUI_examples/cosmos/text_to_video_cosmos_7B.json
- Video2Video 워크플로우: https://comfyanonymous.github.io/ComfyUI_examples/cosmos/image_to_video_cosmos_7B.json
참고로 “Text to World”는 텍스트-비디오 생성을, “Video to World”는 이미지/비디오-비디오 생성을 의미합니다 .
주의 사항:
- Cosmos 모델은 상당한 양의 VRAM을 필요로 합니다. 예를 들어 7B 모델의 경우 약 25GB의 VRAM이 필요합니다 .
- 사용자는 필요와 하드웨어 성능에 따라 7B 또는 14B 모델 크기를 선택할 수 있습니다 .
- Cosmos 모델은 더 길고 자세한 프롬프트를 사용할 때 더 나은 성능을 보이는 것으로 나타났습니다 .
추가 정보 및 튜토리얼
NVIDIA Cosmos와 ComfyUI 통합에 대한 추가 정보와 튜토리얼은 다음 링크에서 확인할 수 있습니다.
- NVIDIA Cosmos 공식 페이지: https://www.nvidia.com/en-us/ai/cosmos/
- ComfyUI 공식 GitHub 페이지: https://github.com/comfyanonymous/ComfyUI
- ComfyUI 공식 Wiki: https://comfyui-wiki.com/ko/interface/basic
- NVIDIA Cosmos ComfyUI 예제: https://comfyanonymous.github.io/ComfyUI_examples/cosmos/
- NVIDIA Cosmos ComfyUI 튜토리얼 영상: https://www.youtube.com/watch?v=9pTG_jPyzRs , https://www.youtube.com/watch?v=v–lUeuUVOs
전문가 의견 및 사용자 반응
NVIDIA Cosmos와 ComfyUI의 통합은 AI 이미지 생성 분야의 전문가들과 사용자들로부터 큰 관심을 받고 있습니다. 전문가들은 Cosmos가 기존 모델보다 뛰어난 성능을 제공하며, ComfyUI와의 통합을 통해 사용자들이 더욱 쉽고 효율적으로 고품질 비디오를 생성할 수 있을 것으로 예상하고 있습니다 .
사용자들은 ComfyUI에서 Cosmos를 사용할 수 있게 되어 매우 기쁘다는 반응을 보이고 있으며, 특히 Cosmos의 뛰어난 비디오 생성 품질과 ComfyUI의 편리한 인터페이스에 대한 기대감을 나타내고 있습니다 . Reddit의 Stable Diffusion 커뮤니티에서는 “이제 ComfyUI에서 Cosmos를 사용할 수 있다니 멋지다!” 와 같은 긍정적인 반응을 볼 수 있었습니다 . 일부 사용자들은 Cosmos 모델의 높은 VRAM 요구 사항에 대한 우려를 표하기도 했습니다. 예를 들어 한 사용자는 “Cosmos 모델을 실행하려면 최소 24.4GB의 VRAM이 필요하다니 아쉽다”라고 언급했습니다 . 하지만 대부분의 사용자들은 ComfyUI에서 Cosmos를 사용할 수 있게 된 것에 대해 긍정적인 반응을 보이고 있으며, 오픈 소스 도구를 통해 클라우드 기반 솔루션이나 독점 소프트웨어 없이도 고품질 AI 비디오를 생성할 수 있게 되었다는 점을 높이 평가하고 있습니다 .
결론
NVIDIA Cosmos와 ComfyUI의 통합은 AI 이미지 생성 분야에 새로운 가능성을 제시하는 획기적인 사건입니다. 이를 통해 사용자들은 더욱 쉽고 효율적으로 고품질 비디오를 생성할 수 있게 되었으며, AI 비디오 생성 기술의 민주화를 이끌어 낼 것으로 기대됩니다 . ComfyUI의 유연한 노드 시스템과 Cosmos 모델의 강력한 성능이 결합되어 사용자들은 다양한 스타일과 효과를 실험하고 혁신적인 비디오를 제작할 수 있습니다 . 앞으로 NVIDIA Cosmos와 ComfyUI가 AI 비디오 생성 분야의 발전에 어떤 영향을 미칠지 기대되며, 영화, 애니메이션, 게임 등 다양한 산업 분야에서의 활용 가능성도 주목됩니다. 지금 바로 ComfyUI와 NVIDIA Cosmos를 사용하여 AI 비디오 생성의 새로운 세계를 경험해 보세요!
- https://blog.comfy.org/p/comfyui-now-supports-nvidia-cosmos/comments?utm_source=post&utm_medium=web&triedRedirect=true
- https://www.youtube.com/watch?v=v–lUeuUVOs
- https://www.nvidia.com/en-us/self-driving-cars/drive-platform/drive-sim/
- https://www.nvidia.com/en-us/ai/cosmos/
- https://blogs.nvidia.com/blog/2024/01/08/ces-2024-ai-foundation-models/
- https://www.reddit.com/r/StableDiffusion/comments/1i3gwoa/comfyui_now_supports_nvidia_cosmos_the_best_open/
- https://comfyui-wiki.com/ko/interface/basic
- https://www.jetson-ai-lab.com/tutorial_comfyui_flux.html](https://www.jetson-ai-lab.com/tutorial_comfyui_flux.html
- https://www.reddit.com/r/StableDiffusion/comments/1hyvtrs/nvidia_cosmos_is_coming_to_comfyui/
- https://www.youtube.com/watch?v=v–lUeuUVOs
- https://www.youtube.com/watch?v=9pTG_jPyzRs
- https://github.com/comfyanonymous/ComfyUI/releases
- https://github.com/comfyanonymous/ComfyUI/issues/6375
- https://github.com/comfyanonymous/ComfyUI/releases
- https://www.reddit.com/r/comfyui/comments/1i3gzlx/comfyui_now_supports_nvidia_cosmos_the_best_open/
