Stable Diffusion Video是一個先進的AI生成影片工具,用文字描述或一張圖像就能生成一支影片,且有多元的風格,本篇文章會來介紹Stable Video、模型、如何使用,最後也會說明Stable Video Diffusion的限制,讓你也能使用此工具生成影片。
Table of Contents
ToggleStable Diffusion Video簡介
Stable Video Diffusion是基於Stable Diffusion模型開發的,為Stability AI 的一款新型AI生成影片模型,可以根據文字描述或輸入的圖像轉換成14到25幀的影片,幀率可以自由調整。
Stable Video Diffusion模型
Stable Video Diffusion模型中有兩種影片生成模型,分別是SVD和SVD-XT,
SVD 模型
SVD 模型可以將靜態圖像轉換為 14 幀的 576×1024 影片,使用U-Net 的深度學習模型來生成影片,可以從輸入圖像中學習並生成新的輸出圖像,使用SVD 模型的生成速度較快,可以達到每秒 30 幀,但是它生成的影片幀數較少,並且影片解析度較低。
SVD-XT 模型
SVD-XT使用相同的架構,但幀數提高到了24幀的 576×1024 影片,速度每秒達3 幀,雖然比較慢一些,不過影片的解析度比較高一點。
Stable Video Diffusion工作原理
Stable Video Diffusion模型是一種基於擴散模型(Diffusion Model)的影片生成模型,會以逐漸加入噪聲來從簡單表示中生成複雜的資料。
- 將靜態圖像或文字轉換為潛在向量:將靜態圖像或文字描述轉換為一個潛在向量。
- 使用擴散模型生成影片:使用擴散模型從噪聲中逐漸添加細節,以生成一系列具有不同視覺效果的圖像。
- 去噪和後處理:將這些圖像組合成一個影片。
Stable Diffusion Video教學
Stable Diffusion Video使用非常簡單,任何人都可以快速掌握,以下為Stable Diffusion Video教學的要點:
免費文字轉影片
StableVideo文字轉影片只要輸入你想要生成影片的文字,並可以選擇影片大小,目前有3種尺寸分別為16:9、9:16、1:1,並有17種風格可以選擇如:動畫、藝術,完成上述步驟後,您可以按下「生成」按鈕,Stable Diffusion Video會先生成4張照片。
接著你可以根據 AI 生成的 4 張圖片,選擇一張你喜歡的圖片,再來選擇影片鏡頭的形式,如:鎖定、搖、向下、環繞等,而有些鏡頭場景還在進行測試,目前尚未提供,完成後只要等待時間影片就能生成了,而生成影片的時間會根據影片的長度和複雜度而有所不同。
- 鎖定:鏡頭固定在一個位置上,不會移動。
- 搖:鏡頭左右或上下移動。
- 向下:鏡頭從上往下移動。
- 環繞:鏡頭圍繞著某個物體或人物旋轉。
圖片生成影片
圖片生成影片就會少了一部,只要上傳你要的照片,選擇鏡頭的形式就可以生成影片了。
如果您不知道要生成什麼影片或是不知道如何下指令,可以瀏覽其他使用者生成的影片,Stable Video 會根據影片的特色和熱門程度,進行排序和推薦。
如果您看到喜歡的影片,可以直接使用該影片的圖片或文字,生成自己的影片,可以讓您快速獲得影片。
Stable Video免費嗎?
Stable Video 提供每日 150 代幣的免費額度,讓使用者可以免費體驗 AI 生成的影片,通常生成一部影片需要 10-11 個代幣,因此免費額度可以讓使用者每天生成約 13-14 部影片。
如果使用者想要生成更多影片,可以購買付費方案,付費方案的價格如下:
- 500 代幣:10 萬美元
- 3,000 代幣:50 萬美元
Stable Diffusion Video限制
Stable Video 目前還處於開發階段,生成影片還有一些問題存在,影片動作有限制,沒辦法到很精準、不夠流量,如:人物在行走可能會很僵硬,也無法正確的生成人臉或動物等,人臉可能會有扭曲或是缺失,在影片秒數目前也無法超過10秒,不過Stable Video開發團隊也說明會再更進一步的更新模型,相信在之後會可以生成更逼真流暢的圖片。
推薦好用的AI工具
現今AI工具百花齊放,除了AI生成影片,想輕鬆擁有專業水準的文案與AI生成圖片,推薦你GenApe,可以輕鬆地一手打造吸睛的文案和圖片,讓您的內容品質高,立即免費體驗GenApe