亚洲一卡二卡,国产女精品视频网站免费,久久精品国产sm调教网站演员

牛津大學(xué)研究團(tuán)隊(duì)打造"世界生成器"|焦點(diǎn)快播

2026-07-15 17:06:32 來源：科技行者

這項(xiàng)由牛津大學(xué)視覺幾何組（Visual Geometry Group）主導(dǎo)的研究，以預(yù)印本形式于2026年7月發(fā)表，論文編號(hào)為arXiv:2607.05392。研究團(tuán)隊(duì)提出了一套名為SynCity 3000的框架，目標(biāo)直指一個(gè)讓游戲設(shè)計(jì)師、電影制作人和虛擬世界創(chuàng)作者都魂?duì)繅?mèng)縈的問題：能不能讓計(jì)算機(jī)自動(dòng)幫我們"憑空建造"一座完整的三維城市，或者一片山林，或者一個(gè)游樂場(chǎng)？

這個(gè)問題聽起來輕描淡寫，背后卻藏著巨大的技術(shù)鴻溝?，F(xiàn)有工具要么只能生成單個(gè)物品——比如一把椅子、一棟建筑——要么在拼接多個(gè)區(qū)域時(shí)留下明顯的"拼縫"，就像用形狀不齊的地磚鋪地，怎么看都覺得哪里不對(duì)勁。SynCity 3000的核心貢獻(xiàn)，就是找到了一種讓整個(gè)世界"渾然天成"而非"東拼西湊"的生成方式。

為了幫助理解這套系統(tǒng)，可以借用一個(gè)日常場(chǎng)景來貫穿全文：把整個(gè)3D場(chǎng)景生成過程，比作一位畫家先畫出一張完整的鳥瞰草圖，再由一組工匠照著這張草圖把城市"立體雕刻"出來。這個(gè)"先畫草圖、再雕刻實(shí)體"的兩步流程，正是SynCity 3000的根本邏輯。

【資料圖】

一、為什么"拼磚塊"的老方法行不通

假設(shè)你想用樂高積木搭一座城市。最簡單的方法是先把城市切成一塊塊方格，每塊單獨(dú)搭好，然后拼起來。這正是SynCity 3000的前身——SynCity——所采用的策略。它把整個(gè)場(chǎng)景切成一個(gè)個(gè)"瓷磚"，每塊瓷磚單獨(dú)生成，生成完再拼在一起。

這個(gè)方法確實(shí)能用，但問題也相當(dāng)明顯：拼接處的痕跡很難消除。就像你把不同品牌的瓷磚鋪在同一塊地板上，顏色和花紋總有細(xì)微差異，走近看一眼就會(huì)發(fā)現(xiàn)"這里有條縫"。更棘手的是，某些大型結(jié)構(gòu)——比如一條穿越整個(gè)場(chǎng)景的河流，或者一座占地寬廣的城堡——根本沒辦法被整齊地塞進(jìn)一個(gè)固定大小的格子里，必然會(huì)被硬生生切斷。

SynCity 3000要解決的，正是這個(gè)"拼縫問題"。研究團(tuán)隊(duì)不再把世界切成碎片分別處理，而是讓整幅"草圖"在一次連貫的過程中同時(shí)成形，讓每個(gè)局部在生長時(shí)都能感知到周圍發(fā)生了什么。

二、第一步：畫出整張世界的"鳥瞰草圖"

在SynCity 3000的比喻框架里，第一位"畫家"負(fù)責(zé)生成整個(gè)場(chǎng)景的二維模板圖。這張圖采用一種叫做"斜二測(cè)畫法"（dimetric view）的視角——簡單說，就是像經(jīng)典游戲《文明》或《模擬城市》里那種斜45度俯視的視角，既能看到地面布局，又能看到建筑的高度感。

研究團(tuán)隊(duì)使用了一種叫做"潛在擴(kuò)散模型"（latent diffusion model）的圖像生成技術(shù)。這類技術(shù)的核心原理可以這樣理解：計(jì)算機(jī)在一堆噪聲中，通過不斷"去噪"，逐漸把一張清晰的圖像還原出來，就像雕刻家在一塊粗糙的石頭里慢慢鑿出人像。

但這里有個(gè)現(xiàn)實(shí)限制：這類圖像生成模型一次只能生成固定尺寸的圖像，就好像一位畫家手邊只有一張A4紙，卻要畫一張城市全貌圖。SynCity處理這個(gè)問題的方式，是分張紙畫、再貼在一起；而SynCity 3000的處理方式更聰明——它讓畫家在畫每一小塊區(qū)域時(shí)，都能同時(shí)看到旁邊區(qū)域目前的進(jìn)展，從而保證整體連貫。

技術(shù)上，這套機(jī)制受到了一篇名為MultiDiffusion的研究的啟發(fā)。具體做法是：把整張"畫布"（即潛在空間的編碼網(wǎng)格）切成多個(gè)互相重疊的"窗口"，每個(gè)窗口分別交給圖像生成模型處理，然后在每一步"去噪"時(shí)把所有窗口的結(jié)果平均融合。這種"共享信息、協(xié)同去噪"的方式，讓不同區(qū)域的內(nèi)容在生成過程中自然地協(xié)調(diào)一致，而不是事后硬拼。

除了全局的一致性，這套系統(tǒng)還支持"局部約束"——用戶可以指定某個(gè)區(qū)域必須包含特定內(nèi)容，比如"這里要有一座木質(zhì)過山車"或者"這個(gè)角落放一個(gè)旋轉(zhuǎn)木馬"。這些約束作為額外的"條件窗口"加入到生成流程中，與全局風(fēng)格和局部內(nèi)容約束同時(shí)發(fā)揮作用，從而實(shí)現(xiàn)精細(xì)化的布局控制。

值得一提的是，用戶甚至可以完全不自己寫約束，直接讓大語言模型（比如ChatGPT）來生成這些布局指令。研究團(tuán)隊(duì)展示了一套提示詞模板，能夠讓AI自動(dòng)設(shè)計(jì)出各種風(fēng)格各異的世界——從中世紀(jì)小鎮(zhèn)到科幻城市，從山地公園到工業(yè)港口。

三、第二步：照著草圖，把整個(gè)世界"雕刻"成立體

草圖畫好之后，第二位"工匠"登場(chǎng)，負(fù)責(zé)把這張二維圖像變成真正的三維場(chǎng)景。SynCity 3000的最終輸出是一種叫做"三維高斯點(diǎn)云"（3D Gaussian Splats）的表示方式——這是近年來在計(jì)算機(jī)圖形學(xué)領(lǐng)域迅速崛起的一項(xiàng)技術(shù)，可以從任意角度渲染出高質(zhì)量的三維畫面，就像一個(gè)由無數(shù)個(gè)微小彩色氣泡構(gòu)成的立體世界，每個(gè)氣泡都攜帶著顏色和透明度信息。

研究團(tuán)隊(duì)選擇在一個(gè)名為TRELLIS的現(xiàn)有模型基礎(chǔ)上進(jìn)行改造。TRELLIS原本是一個(gè)"看圖生成單個(gè)3D物體"的工具，比如你給它看一張椅子的圖片，它能輸出一把三維的椅子。但SynCity 3000需要的是處理整個(gè)場(chǎng)景——這就好比原本只會(huì)雕刻一個(gè)人像的工匠，現(xiàn)在要同時(shí)雕刻一整座廣場(chǎng)。

TRELLIS內(nèi)部有兩個(gè)主要的工作階段。第一階段叫做"稀疏結(jié)構(gòu)生成"，負(fù)責(zé)確定三維空間里哪些格子（體素，可以理解為三維的"像素"）是有物體的，哪些是空的——類似于用樂高磚塊搭出一個(gè)粗糙的骨架。第二階段叫做"結(jié)構(gòu)化潛碼生成"，負(fù)責(zé)為每個(gè)有物體的格子填充詳細(xì)的外觀和形狀信息——類似于給骨架上色并雕刻細(xì)節(jié)。最后，這些信息被解碼成最終的三維高斯點(diǎn)云。

把這套流程擴(kuò)展到整個(gè)場(chǎng)景，關(guān)鍵挑戰(zhàn)在于：TRELLIS原本的"大腦"（一種叫做擴(kuò)散變換器的神經(jīng)網(wǎng)絡(luò)）一次只能處理固定大小的區(qū)域，沒辦法直接應(yīng)用于更大的場(chǎng)景。研究團(tuán)隊(duì)采用的解決方案，與第一步中處理二維草圖的思路如出一轍——滑動(dòng)窗口加協(xié)同去噪。

具體來說，整個(gè)場(chǎng)景的三維潛碼被劃分為多個(gè)互相重疊的窗口，每個(gè)窗口對(duì)應(yīng)草圖中的某個(gè)區(qū)域。模型在處理每個(gè)窗口時(shí)，不僅能看到該區(qū)域?qū)?yīng)的草圖內(nèi)容，還能看到相鄰區(qū)域已經(jīng)生成的三維信息作為"上下文"——就像工匠在雕刻某個(gè)區(qū)域時(shí)，能看到旁邊已經(jīng)雕好的部分，從而確保銜接順暢。

為了確保模型聚焦于正確的區(qū)域，研究團(tuán)隊(duì)還對(duì)輸入草圖進(jìn)行了遮罩處理：只把當(dāng)前窗口對(duì)應(yīng)的那片草圖區(qū)域展示給模型，遮住其余部分。這就像工匠只看著當(dāng)前正在雕刻的那塊區(qū)域的設(shè)計(jì)圖，避免被整體圖案"帶偏"。同時(shí)，鄰近區(qū)域的三維信息作為"背景參考"傳入模型，但模型只對(duì)當(dāng)前窗口的核心區(qū)域負(fù)責(zé)生成預(yù)測(cè)，不對(duì)參考區(qū)域做出改動(dòng)。

所有窗口在每個(gè)去噪步驟中并行處理，各自產(chǎn)生的預(yù)測(cè)結(jié)果通過加權(quán)平均的方式融合，從而讓整個(gè)場(chǎng)景在統(tǒng)一的節(jié)奏下協(xié)調(diào)生長。

四、訓(xùn)練數(shù)據(jù)從哪來？研究團(tuán)隊(duì)自己造了個(gè)"數(shù)據(jù)工廠"

現(xiàn)有的大規(guī)模三維數(shù)據(jù)集幾乎都是針對(duì)單個(gè)物體的，比如椅子、杯子、汽車等，而場(chǎng)景級(jí)別的三維數(shù)據(jù)非常稀缺。要讓TRELLIS學(xué)會(huì)處理場(chǎng)景，就必須有場(chǎng)景級(jí)別的訓(xùn)練數(shù)據(jù)——但這種數(shù)據(jù)幾乎不存在，更別提符合SynCity 3000特定訓(xùn)練格式的數(shù)據(jù)。

面對(duì)這個(gè)困境，研究團(tuán)隊(duì)選擇了自己動(dòng)手，豐衣足食。他們?cè)O(shè)計(jì)了一套"合成數(shù)據(jù)生成引擎"，可以在不需要任何真實(shí)場(chǎng)景數(shù)據(jù)的情況下，自動(dòng)生成大量用于訓(xùn)練的人工場(chǎng)景。

這套引擎的運(yùn)作方式頗為有趣：首先隨機(jī)生成一塊地形表面，用幾種隨機(jī)顏色按照隨機(jī)的硬邊界涂色（就像抽象畫里的色塊），營造出地面的多樣感；然后從一個(gè)名為Objaverse-XL的海量三維物體數(shù)據(jù)庫中隨機(jī)挑選一些物體，隨機(jī)縮放后放置在地面上，同時(shí)確保它們不會(huì)離地面邊緣太近；接著用頂光和隨機(jī)的額外光源照亮場(chǎng)景，制造陰影效果。整個(gè)過程高度隨機(jī)，幾乎每次運(yùn)行都會(huì)產(chǎn)生完全不同的場(chǎng)景組合。

生成場(chǎng)景之后，引擎會(huì)用斜二測(cè)畫法拍攝一張渲染圖作為"草圖"，同時(shí)把場(chǎng)景體素化，并為每個(gè)體素注入從多個(gè)角度拍攝的視覺特征（利用DINOv2這個(gè)圖像理解模型提取的特征）。這樣就得到了一對(duì)"輸入草圖+三維數(shù)據(jù)"的訓(xùn)練樣本。

研究團(tuán)隊(duì)用這套引擎一共生成了32萬個(gè)訓(xùn)練樣本。這個(gè)數(shù)量遠(yuǎn)超此前同類工作中使用的訓(xùn)練數(shù)據(jù)規(guī)?！鳛閷?duì)比，一個(gè)名為NuiScene的類似系統(tǒng)只用了43個(gè)真實(shí)場(chǎng)景進(jìn)行訓(xùn)練。

五、如何讓模型在"新任務(wù)"中不忘記"老本領(lǐng)"

把TRELLIS改造成能處理整個(gè)場(chǎng)景的系統(tǒng)，需要對(duì)它進(jìn)行微調(diào)（fine-tuning）——也就是在新的訓(xùn)練數(shù)據(jù)上繼續(xù)訓(xùn)練，讓它適應(yīng)新的任務(wù)形式。但這里有個(gè)微妙的風(fēng)險(xiǎn)：如果訓(xùn)練過度，模型可能會(huì)"忘記"它原本生成高質(zhì)量單個(gè)三維物體的能力，就像一個(gè)鋼琴家被要求專門練交響樂，結(jié)果生疏了獨(dú)奏技巧。

為了防止這種"災(zāi)難性遺忘"，研究團(tuán)隊(duì)設(shè)計(jì)了兩種交替出現(xiàn)的訓(xùn)練目標(biāo)。一種是"含上下文"模式：給模型提供當(dāng)前核心區(qū)域加上周圍鄰近區(qū)域的三維信息，讓它學(xué)會(huì)如何在感知整體環(huán)境的情況下填充局部細(xì)節(jié)。另一種是"不含上下文"模式：只給模型提供核心區(qū)域，沒有任何周圍信息——這幾乎和原始TRELLIS的訓(xùn)練任務(wù)完全相同。兩種模式各以50%的概率隨機(jī)出現(xiàn)，訓(xùn)練時(shí)損失函數(shù)只計(jì)算核心區(qū)域的誤差，不懲罰對(duì)上下文區(qū)域的處理。

這種雙目標(biāo)交替訓(xùn)練的設(shè)計(jì)，讓模型在學(xué)會(huì)"看全局、雕局部"的新本領(lǐng)的同時(shí)，不會(huì)丟失原本精雕細(xì)刻單個(gè)物體的能力。

六、實(shí)驗(yàn)結(jié)果說明了什么

研究團(tuán)隊(duì)從多個(gè)維度對(duì)SynCity 3000進(jìn)行了評(píng)估，最直接的一項(xiàng)是"模板忠實(shí)度"——也就是生成的三維場(chǎng)景和原始草圖有多相似。他們生成了35張隨機(jī)主題的場(chǎng)景草圖，然后分別用SynCity 3000、TRELLIS（原版）、TripoSG以及Hunyuan3D-2.1來生成對(duì)應(yīng)的三維場(chǎng)景，最后從與草圖相同的視角渲染，用三個(gè)圖像相似度指標(biāo)（LPIPS、SSIM、PSNR）進(jìn)行比較。

在這三個(gè)指標(biāo)上，SynCity 3000均優(yōu)于其他方法。原版TRELLIS的問題在于它的輸出分辨率有限，處理大場(chǎng)景時(shí)細(xì)節(jié)會(huì)變得模糊；TripoSG和Hunyuan3D-2.1則更嚴(yán)重，不僅顏色還原差，幾何結(jié)構(gòu)也可能出現(xiàn)空洞和錯(cuò)誤——這兩個(gè)工具在7個(gè)場(chǎng)景上甚至直接失敗，被排除在最終比較之外。

研究團(tuán)隊(duì)還專門評(píng)估了幾何重建質(zhì)量，使用合成場(chǎng)景作為"有真實(shí)答案可對(duì)照"的測(cè)試用例，計(jì)算了倒角距離（Chamfer Distance）和F分?jǐn)?shù)等幾何精度指標(biāo)。測(cè)試分兩種尺寸進(jìn)行：標(biāo)準(zhǔn)尺寸（1344×672像素模板）和大尺寸（2240×1120像素模板）。結(jié)果顯示，隨著場(chǎng)景尺寸增大，TRELLIS的幾何精度明顯下降，而SynCity 3000的表現(xiàn)則保持穩(wěn)定，在大尺寸場(chǎng)景上的優(yōu)勢(shì)尤為明顯。

用戶研究的結(jié)論更為直接。研究團(tuán)隊(duì)招募了27名用戶，以強(qiáng)制二選一的方式進(jìn)行多組比較。在布局控制方面，所有用戶（100%）都認(rèn)為SynCity 3000提供的布局控制方式比SynCity更靈活自由。在三維重建忠實(shí)度方面，71.6%的用戶認(rèn)為SynCity 3000比TRELLIS原版更準(zhǔn)確，對(duì)比TripoSG和Hunyuan3D-2.1時(shí)則達(dá)到了100%的優(yōu)勢(shì)。在整體場(chǎng)景偏好方面，SynCity 3000分別以63%、74.1%、59.3%和78.6%的勝率擊敗了SynCity、NuiScene、3DTown和使用SynCity 3000草圖但用原版TRELLIS生成三維的版本。研究團(tuán)隊(duì)還請(qǐng)用戶對(duì)場(chǎng)景的"視覺合理性"打分（1分最不合理，5分最合理），SynCity 3000的平均得分為3.57分。

七、細(xì)節(jié)決定成敗：幾個(gè)關(guān)鍵設(shè)計(jì)選擇的影響

研究團(tuán)隊(duì)還通過消融實(shí)驗(yàn)（ablation study）——也就是逐一去掉某個(gè)設(shè)計(jì)，觀察效果有多大變化——來驗(yàn)證各個(gè)設(shè)計(jì)決策的必要性。

不進(jìn)行任何微調(diào)、直接使用原版TRELLIS處理場(chǎng)景草圖時(shí)，效果最差，主要原因是原版模型會(huì)試圖為場(chǎng)景找一個(gè)"正面朝向"，但場(chǎng)景不像單個(gè)物體那樣有明確的正面，導(dǎo)致生成結(jié)果混亂。

去掉"上下文窗口"（即不讓模型看到鄰近區(qū)域的三維信息），效果有所下降，說明感知周圍環(huán)境對(duì)于填充局部細(xì)節(jié)確實(shí)有幫助。把上下文范圍縮?。◤恼撐脑O(shè)定的V=8縮減到V=4），效果進(jìn)一步下降，說明模型能夠捕捉到相當(dāng)長范圍的空間依賴關(guān)系，上下文不能太小。

把滑動(dòng)窗口的步長調(diào)大（相當(dāng)于相鄰窗口之間的重疊減少，甚至沒有重疊時(shí)），效果也會(huì)明顯變差。這是因?yàn)橹丿B窗口之間的平均融合，能夠有效解決遮擋帶來的歧義——比如一棟高樓的背面在草圖里被遮住了，到底該如何生成？多個(gè)重疊窗口從不同角度"投票"，能夠大大減少重復(fù)或錯(cuò)誤結(jié)構(gòu)的出現(xiàn)概率。

八、這套系統(tǒng)還有哪些局限和未來方向

SynCity 3000并非沒有短板，研究團(tuán)隊(duì)對(duì)此相當(dāng)坦誠。

首先是視角的強(qiáng)制性。整套系統(tǒng)要求場(chǎng)景必須以斜二測(cè)畫法呈現(xiàn)，這是為了保證草圖和三維生成之間的對(duì)應(yīng)關(guān)系。這意味著它不適合處理第一人稱視角或正面透視的場(chǎng)景。未來或許能找到不依賴固定視角的生成方式。

其次是紋理細(xì)節(jié)的輕微損失。由于使用了重疊窗口加權(quán)平均的機(jī)制，相比原版TRELLIS直接生成單個(gè)物體時(shí)，最終紋理的銳利度會(huì)略有下降。

再者是偶發(fā)的結(jié)構(gòu)重復(fù)問題。當(dāng)場(chǎng)景中有非常高大或占地寬廣的結(jié)構(gòu)時(shí)，窗口裁切帶來的遮擋可能讓模型誤判，偶爾會(huì)在相鄰區(qū)域生成重復(fù)的結(jié)構(gòu)。使用更小的步長（即更密集的窗口重疊）可以顯著緩解這個(gè)問題。

此外，生成結(jié)果整體偏向"游戲風(fēng)格"或卡通化，真實(shí)感有所欠缺。這主要源于訓(xùn)練數(shù)據(jù)Objaverse-XL本身的風(fēng)格偏向（里面有大量人類創(chuàng)作的卡通風(fēng)格三維模型），以及FLUX圖像生成模型對(duì)斜二測(cè)畫法場(chǎng)景的固有偏好。這一特征在SynCity中同樣存在。

最后是生成速度。在單塊NVIDIA RTX A6000顯卡上，生成一個(gè)標(biāo)準(zhǔn)尺寸的場(chǎng)景大約需要30分鐘（三維部分），更大的場(chǎng)景則耗時(shí)更久，并且隨場(chǎng)景尺寸呈平方級(jí)增長。在NVIDIA H100上測(cè)試的數(shù)據(jù)顯示，1344×672像素模板需要31分鐘，2240×1120像素需要82分鐘，3136×1568像素則需要約3小時(shí)，同時(shí)顯存占用也從46GB逐步增加至56GB。

說到底，SynCity 3000干成了一件看起來簡單、做起來極其復(fù)雜的事情：讓一臺(tái)計(jì)算機(jī)從一句文字描述出發(fā)，自動(dòng)生成一個(gè)可以從任意角度觀看的完整三維世界，而且這個(gè)世界在視覺上是連貫一致的，不會(huì)出現(xiàn)明顯的拼接痕跡。這對(duì)游戲開發(fā)、影視制作、虛擬現(xiàn)實(shí)內(nèi)容創(chuàng)作來說，都意味著一個(gè)重要的可能性：原本需要團(tuán)隊(duì)花費(fèi)大量時(shí)間手工搭建的場(chǎng)景，未來或許可以從草圖一鍵生成，創(chuàng)作者把更多精力留給創(chuàng)意本身，而不是繁瑣的手工建模。

當(dāng)然，這項(xiàng)技術(shù)目前還處于研究階段，生成速度、真實(shí)感和對(duì)某些特殊場(chǎng)景的支持，都還有提升空間。但從整個(gè)領(lǐng)域的發(fā)展軌跡來看，這類研究正在快速推進(jìn)三維內(nèi)容生成的邊界。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過arXiv編號(hào)2607.05392查閱完整論文。

Q&A

Q1：SynCity 3000和普通的三維建模軟件有什么區(qū)別？

A：普通三維建模軟件（比如Blender、3ds Max）需要用戶手動(dòng)繪制每一個(gè)物體的形狀、貼圖和位置，是純手工制作。SynCity 3000則是一套自動(dòng)生成系統(tǒng)，用戶只需提供文字描述，系統(tǒng)就能自動(dòng)生成完整的三維場(chǎng)景。它的核心是把圖像生成AI和三維重建AI結(jié)合在一起，先生成二維場(chǎng)景草圖，再把草圖轉(zhuǎn)成三維模型，全程不需要人工建模。

Q2：SynCity 3000生成的場(chǎng)景可以在游戲引擎里直接用嗎？

A：SynCity 3000的輸出格式是"三維高斯點(diǎn)云"（3D Gaussian Splats），這是一種近年來興起的三維表示方式，可以從任意角度高質(zhì)量渲染。目前主流游戲引擎（如Unreal Engine、Unity）對(duì)這種格式的原生支持還在逐步完善中，可能需要轉(zhuǎn)換工具或插件才能直接使用。研究團(tuán)隊(duì)的目標(biāo)主要是展示場(chǎng)景生成的可行性，后續(xù)的工程集成還需要進(jìn)一步工作。

Q3：SynCity 3000需要什么樣的硬件才能運(yùn)行？

A：根據(jù)論文中的實(shí)驗(yàn)數(shù)據(jù)，研究團(tuán)隊(duì)在NVIDIA RTX A6000和NVIDIA H100級(jí)別的專業(yè)GPU上進(jìn)行了測(cè)試。生成一個(gè)標(biāo)準(zhǔn)場(chǎng)景大約需要30到180分鐘不等，顯存需求在46GB至56GB之間，遠(yuǎn)超普通消費(fèi)級(jí)顯卡。目前這套系統(tǒng)還處于研究階段，并不是面向普通用戶的消費(fèi)級(jí)產(chǎn)品，對(duì)硬件要求相當(dāng)高。

標(biāo)簽：草圖空間感知模型