只需0.5秒!Stability AI新模型超快生成3D圖像
本文作者:李丹
來源:硬AI
生成式人工智能(AI)明星初創(chuàng)公司Stability AI 8月發(fā)布最新突破性3D模型Stable Fast 3D,將單張圖片生成3D圖像的速度大幅提升。
Stability AI介紹,Stable Fast 3D只需 0.5 秒即可將單個(gè)輸入圖像轉(zhuǎn)換為詳細(xì)的 3D 資產(chǎn),認(rèn)為該創(chuàng)新模型為三維重建領(lǐng)域的速度和質(zhì)量樹立了新的標(biāo)桿。它能迅速生成完整的3D資產(chǎn),包括UV拆分網(wǎng)絡(luò)、材料參數(shù)和降低光照烘焙的反照率顏色,而且用戶可選四邊形或三角形重新網(wǎng)格化,處理時(shí)間僅會(huì)增加100到200毫秒。
Stable Fast 3D問世代表Stability AI在縮短AI模型處理時(shí)間方面實(shí)現(xiàn)重大飛躍。
今年3月Stability AI發(fā)布了3D模型Stable Video 3D (SV3D),它在Stable Video Diffusion的基礎(chǔ)吉印通行改進(jìn),只需一張圖就能生成對(duì)應(yīng)的3D模型,適用于新視角合成任務(wù)和3D生成的任務(wù)。SV3D需要多達(dá)10分鐘生成3D資產(chǎn),而Stable Fast 3D完成同樣的任務(wù)只需0.5秒,將速度提高了1200倍。
Stability AI發(fā)布Stale Fast 3D時(shí)特別提到,該模型在幾個(gè)關(guān)鍵領(lǐng)域超越競爭對(duì)手,其中之一是:在7GB顯卡內(nèi)存VRAM的GPU 上,每次生成3D資產(chǎn)只需 0.5 秒,而在Stability AI API 上需要將近一秒。此外,該模型具有高質(zhì)量的UV拆分網(wǎng)絡(luò)和材料參數(shù),能減少紋理中的糾纏照明,并能生成附加材質(zhì)參數(shù)和法線貼圖。
Stability AI稱,Stable Fast 3D基于該公司和Tripo AI合作開發(fā)的模型TripoSR,可顯著改進(jìn)架構(gòu)并強(qiáng)化功能。該模型適用于游戲和虛擬現(xiàn)實(shí)(VR)開發(fā)者,以及零售、建筑、設(shè)計(jì)和其他圖形密集型行業(yè)的專業(yè)人士。在游戲和電影制作中有多種用例:
在實(shí)驗(yàn)是關(guān)鍵的預(yù)制作期間,用該模型實(shí)現(xiàn)快速推理。
游戲的靜態(tài)資產(chǎn)(背景物體、雜物、家具)
電子商務(wù)的 3D 模型
增強(qiáng)顯示(AR)/VR 的快速模型創(chuàng)建。
目前,Stable Fast 3D可通過Stability AI 的聊天機(jī)器人Stable Assistant 和 Stability AI API 使用。用戶可以在AI開源社區(qū)Hugging Face上使用該模型,Stability AI基于免費(fèi)用于研究、非商業(yè)和商業(yè)用途的Stability AI 社區(qū)許可而發(fā)布。
Stability AI官宣推出Stable Fast 3D后,社交媒體的網(wǎng)友迅速回帖回應(yīng),有網(wǎng)友問,該模型生成的UV網(wǎng)絡(luò)有多清晰,有多少個(gè)多邊形。有網(wǎng)友稱,喜歡Stability AI在發(fā)布模型時(shí)附上的那個(gè)動(dòng)圖,它展示了機(jī)器吐出通用的AI 圖像模型,并將它們直接扔進(jìn)垃圾桶。有網(wǎng)友問,可不可以把生成的3D成果打印出來。
有評(píng)論稱,目前,3D 世界的內(nèi)容創(chuàng)作是一個(gè)瓶頸。我們不想花錢請人手工制作元宇宙。自動(dòng)生成資產(chǎn)應(yīng)該是默認(rèn)的,就像在現(xiàn)實(shí)世界中一樣。 Stability AI 的新模型是朝著正確方向邁出的一大步。
本文來自,關(guān)注更多AI前沿資訊請
風(fēng)險(xiǎn)提示及免責(zé)條款
市場有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。