最近看到圖生影片LTX VIDEO推出了新的版本,就來嘗試看看,在網路有人分享了圖生影片的工作流,但測試下來有些流程不太順,因此稍微改動一下。

首先,先說一下我的環境

電腦作業系統:Win11

顯卡:NV RTX3060 12G

ComfyUI:2024/12/24號後下載的版本(不確定版本號)


ComfyUI安裝:https://blog.aidec.tw/post/comfyui-manage-install (可以參考此篇文章)

LTX VIDEO使用方法:

先在ComfyUI的Manager > 找到Custom Nodes Manager > 搜尋[ComfyUI-LTXVideo],安裝後重啟ComfyUI

image.png

接著下載工作流

原作者工作流:(我的是從這個工作流改的)

https://www.liblib.art/modelinfo/4651cdef8c7f471aad19a5c8e5e6f6f9?from=search&versionUuid=a4bcefec9b6547f4a86a560ef9794a1d

我的工作流:

https://cdn.rto.tw/LTX VIDEO 圖生影片工作流 byAidec.json


原作者提供的ltx-video-2b-v0.9、t5xxl_fp16的連結都失效了,所以可以用下面的連結來下載

下載後放到 models/checkpoints 資料夾內

https://huggingface.co/Lightricks/LTX-Video/blob/main/ltx-video-2b-v0.9.safetensors

下載後放到 models/clip 資料夾內

https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp16.safetensors


使用原作者的工作流,只需上面的步驟都有完成,再開啟工作流,直接執行就可以用了。(但原作者的這個工作流,不知為何我的電腦要跑30多分鐘才能生成一個影片)


我的工作流則是另外安裝了,VideoHelperSuite 這個套件,最終的輸出流程改用這個套件。(768*960的尺寸,只需2:57左右,就能生成影片)

image.png

我的工作流跟原作者的主要差異就是最後的輸出方式,跟調整了影片尺寸與輸出時間,還有提示詞。



目前測試下來,LTX VIDEO會有一些情況下輸出的影片就只有靜態,沒產生動畫效果,原因不明

  1. 尺寸高度設大於960 

  2. 長度設低於105時


另外,LTX VIDEO適合產生橫式影片、直式影片產生的效果比較不好(也比較容易沒動作)

目前最大寬度測試到1376* 768 (4秒的影片),使用RTX3060跑得動,但畫面生成的效果感覺不是很好(產生約需要5分鐘)

不是很建議用這個尺寸,還在測試哪種尺寸生成的效果好


查了一下源碼,發現裡面有設定最大尺寸為

寬:1280

高:768

長度:169

使用這設定生成時間花了8:52秒(記憶體似乎有點不太夠輸出),最終生成出一個很爛的廢影片

image.png

網上找到的推薦尺寸表(目前看來它適合生成480P,最多720P的影片,看來文生影片要能實際當生產用還有一段路)

image.png


之後要是有遇到其他情況再補充




文章轉載或引用,請先告知並保留原文出處與連結!!(單純分享或非營利的只需保留原文出處,不用告知)

原文連結:
https://blog.aidec.tw/post/comfyui-ltx-video-use
若有業務合作需求,可寫信至: opweb666@gmail.com
創業、網站經營相關內容未來將發布在 小易創業筆記