最近 AI 視頻領(lǐng)域異常熱鬧，Adobe 也剛剛加入了這場混戰(zhàn)。

在今年的 Adobe Max 大會上，Adobe 正式推出了自己的 AI 視頻模型——Firefly Video Model，進(jìn)軍生成式人工智能領(lǐng)域。

Adobe 的首席產(chǎn)品營銷經(jīng)理 Meagan Keane 表示，Firefly Video Model 的推出旨在簡化加速視頻創(chuàng)作，并且增加視頻的故事講述能力。概括來講，這個(gè)模型包含三個(gè)有趣且實(shí)用的功能：

Generative Extend（生成拓展）

Text-to-Video（文生視頻）

Image-to-Video（圖生視頻）

其中，Generative Extend 已經(jīng)被集成至 Adobe 所開發(fā)的專業(yè)視頻編輯軟件 Premiere Pro 當(dāng)中；Text-to-Video 和 Image-to-Video 則剛剛在 Firefly Web app 中推出 beta 版本。

顧名思義，?cè)绻?拍攝的視頻片段太短或缺失某些部分，Generative Extend 可以幫你在視頻片段的開頭或結(jié)尾進(jìn)行「生成式擴(kuò)展」。

也就是說，假如所需的鏡頭不可用，或者某個(gè)鏡頭的剪輯時(shí)機(jī)過早或過晚，剪輯師只需要拖動該視頻片段的開頭或結(jié)尾，Generative Extend 就可以自動填充生成式內(nèi)容，以保持視頻的連貫、平滑。

▲Generative Extend 的生成式視頻擴(kuò)展功能演示（圖片來源：Adobe）

這意味著如果視頻創(chuàng)作者在拍攝過程中得到了一個(gè)「廢鏡頭」，他可能不再需要回到原場地重新拍攝，而是利用 Generative Extend 直接對原片段進(jìn)行擴(kuò)展和修復(fù)。

一定程度上講，這確實(shí)有助于提高視頻創(chuàng)作效率——當(dāng)然，是在 Generative Extend 所延伸的片段質(zhì)量過硬的情況下。

遺憾的是，該功能目前的最大分辨率限制為 1080p，且片段最長只能擴(kuò)展兩秒鐘。

因此 Generative Extend 只適合對視頻片段進(jìn)行微小的調(diào)整，即它只能幫助用戶修復(fù)某些細(xì)節(jié)，卻不能代替創(chuàng)作者本身，進(jìn)行大篇幅的創(chuàng)作。

Generative Extend 還可以幫助用戶拍攝過程中進(jìn)行調(diào)整，糾正在拍攝過程中視線偏移或其他意外產(chǎn)生的移動。

除了視頻之外，Generative Extend 還可以用于音頻的平滑編輯。它可以將視頻中的環(huán)境背景音效擴(kuò)展長達(dá)十秒鐘時(shí)間，但無法對對話或音樂進(jìn)行拓展。

▲Generative Extend 的音頻擴(kuò)展功能示意（圖片來源：Adobe）

如果你想在視頻創(chuàng)作過程中省點(diǎn)力氣，你可以使用 Text-to-Video 功能直接生成。同它的「老前輩」Runway 和 OpenAI 的 Sora 一樣，用戶只需要輸入他們想要生成的視頻的文本描述，它就可以模擬「真實(shí)電影」、「3D 動畫」和「定格動畫」等各種風(fēng)格生成相應(yīng)的視頻片段。

以下是一些使用 Text-to-Video 功能生成視頻片段，感受一下：

▲提示文本：電影無人機(jī)飛越廣闊的紅色火星景觀，它從我們腳下飛馳而過，當(dāng)太陽升起時(shí)，地平線是紅色的。在鏡頭的結(jié)尾，太陽從地平線上升起。（圖片來源：Adobe）

▲提示文本：電影特寫和夜晚街道中央一位老人的肖像細(xì)節(jié)。燈光氣氛沉悶，充滿戲劇性。顏色等級為藍(lán)色陰影和橙色高光。這個(gè)男人有極其逼真的細(xì)節(jié)皮膚紋理和明顯的毛孔。動作微妙而柔和。相機(jī)不動。膠片顆粒。老式變形鏡頭。（圖片來源：Adobe）

▲提示文本：在墨西哥一個(gè)美麗、柔和的天井內(nèi)拍攝的視角。水清澈湛藍(lán)，在傍晚的陽光下閃閃發(fā)光。顏色是溫暖和神奇的魔幻風(fēng)格。高品質(zhì)，電影感。（圖片來源：Adobe）

除了逼真的，電影般的視覺影像，Text-to-Video 還支持生成一些「抽象」的畫面。例如，它可以被用來生成包括火焰、水、漏光和煙霧等元素的視頻，并覆蓋疊加到現(xiàn)有的視頻上，來增加現(xiàn)有內(nèi)容的視覺深度和趣味性。

▲提示文本：黑色背景上的電影漏光，有機(jī)質(zhì)感，逼真。（圖片來源：Adobe）

▲上述視頻與現(xiàn)有視頻合成后生成的視頻片段（圖片來源：Adobe）

值得一提的是，用 Text-to-Video 生成的視頻片段還可以使用一系列「相機(jī)控制」進(jìn)行進(jìn)一步細(xì)化處理，這些控制能夠模擬真實(shí)的相機(jī)角度、運(yùn)動和拍攝距離等。

▲ 相機(jī)控制選項(xiàng)（圖片來源：Adobe）

Image-to-Video 功能則更進(jìn)一步，允許用戶在視頻創(chuàng)作過程中添加「參考圖像」，以生成更加貼近用戶想象的視頻。

視頻創(chuàng)作者可以從一張圖像和照片出發(fā)，利用 Image-to-Video 功能直接制作「B-roll」（電影和視頻制作術(shù)語，指的是除了主要拍攝內(nèi)容（A-roll）之外的輔助視頻素材）。

用戶還可以通過上傳視頻的單幀，并由 Image-to-Video 自動補(bǔ)充缺失幀，以此來創(chuàng)建完整的特寫鏡頭。

▲提示文本：花朵在風(fēng)中搖曳，一只美麗的蝴蝶落在其中一朵花上。（圖片來源：Adobe）

「眾所周知，視頻不能 P，所以一定是真的。」

然而，Image-to-Video 的「賽博重拍」功能，直接讓這句話變成過去式。它宛如一只「上帝之手」，可以讓用戶對視頻內(nèi)容（視頻中的人物動作等）直接進(jìn)行操作和修改。來看下面的例子：

▲ 原視頻片段（圖片來源：Adobe）

▲修改后的視頻片段，提示文本：一只戴著手套的宇航員的手進(jìn)入畫面，并拔掉了其中一根黃色電纜，具有電影感。（圖片來源：Adobe）

目前，Text-to-Video 和 Image-to-Video 功能生成視頻片段的最大長度僅為五秒鐘，質(zhì)量最高為 720p 和每秒 24 幀。視頻生成時(shí)間大約為 90 秒，Adobe 正在開發(fā)「渦輪模式」來縮短這一時(shí)間。

視頻生成質(zhì)量的不足表明，用戶還無法用 Firefly Video Model 生成一部完整的電影，暫時(shí)只能作為創(chuàng)作輔助工具來使用。

Adobe 強(qiáng)調(diào)，Firefly Video Model 只會在許可內(nèi)容（如 Adobe Stock）和公共領(lǐng)域內(nèi)容上對該模型進(jìn)行訓(xùn)練，而不會在客戶提供的內(nèi)容吉印通行。

此外，使用 Firefly Video Model 創(chuàng)建或編輯的視頻可以內(nèi)嵌內(nèi)容憑證，旨在為創(chuàng)作者和內(nèi)容出處提供歸屬證明，有助于聲明 AI 使用情況和所有權(quán)權(quán)益，以保證「商業(yè)安全」。

021yin.com/products/firefly/features/ai-video-generator.html