文｜AI大模型工場(chǎng)，作者｜參商，編輯｜星奈
今天凌晨，AI教母李飛飛創(chuàng)立的World Labs推出第一個(gè)重磅成果：世界模型，一張單個(gè)圖像便可生成3D世界。
此消息一出，業(yè)界炸開了鍋。李飛飛也第一時(shí)間在X上宣傳：
在大家還在2D視頻生成賽道卷生卷死的時(shí)候，World Labs已經(jīng)進(jìn)入Next Level，AI生成3D世界。
據(jù)World Labs官方介紹，目前大多數(shù)GenAI 工具都制作圖像或視頻等 2D 內(nèi)容，存在缺乏控制和一致性的問題，而3D生成則可以提高控制和一致性，其模型可以預(yù)測(cè)3D幾何圖形，填充場(chǎng)景中看不到的部分。這將改變我們制作電影、游戲、模擬器和物理世界的其他數(shù)字表現(xiàn)形式的方式。
一、一張圖生成一個(gè)世界
輸入任意一張圖，World Labs還你一個(gè)世界。
比如，丟給World Labs一張左邊的圖片，它能給你一個(gè)這樣的3D世界：
你可以通過WASD建控制3D世界得上下左右視角，還可以拖動(dòng)鼠標(biāo)逛這個(gè)世界的每一個(gè)角落。
同時(shí)，官方也給了很多玩法。
相機(jī)效果
生成場(chǎng)景后，我們可以使用虛擬攝像機(jī)進(jìn)行實(shí)時(shí)渲染。通過精確控制虛擬攝像機(jī)的各項(xiàng)參數(shù)，可以實(shí)現(xiàn)各種藝術(shù)攝影效果。
例如，我們可以模擬淺景深效果，使得只有距離攝像機(jī)一定距離的物體才清晰對(duì)焦，從而突出主體并增強(qiáng)畫面的層次感。
還可以模擬推移變焦效果，即同時(shí)調(diào)整攝像機(jī)的位置和視野，創(chuàng)造出獨(dú)特的視覺沖擊力和動(dòng)態(tài)感。
3D效果
World Labs官方介紹，大多數(shù)生成模型是預(yù)測(cè)像素。而生成3D場(chǎng)景則不僅限于像素層面的表現(xiàn)，其優(yōu)勢(shì)更多地體現(xiàn)在：
持久的現(xiàn)實(shí)：一旦生成了一個(gè)世界，它就會(huì)一直存在。如果你把視線移開并回來，場(chǎng)景不會(huì)在你的背后改變。
實(shí)時(shí)控制：生成場(chǎng)景后，可以實(shí)時(shí)移動(dòng)場(chǎng)景。可以徜徉于花朵的細(xì)節(jié)，或者偷看角落看看揭示了什么。
符合物理規(guī)則：生成的世界遵循現(xiàn)實(shí)世界的基本物理規(guī)則。它們具有堅(jiān)實(shí)感和深度感，與某些 AI 生成的視頻的夢(mèng)幻般的性質(zhì)形成鮮明對(duì)比。
World Labs生成的3D場(chǎng)景通過深度貼圖技術(shù)，使得其中每個(gè)像素都按其與相機(jī)的距離著色，更具空間感。
不僅如此，World Labs還可以添加各種動(dòng)效，比如聲效、燈光等，構(gòu)建3D場(chǎng)景的交互式效果，瞬間進(jìn)入“真賽博空間”。
走進(jìn)繪畫世界
World Labs 團(tuán)隊(duì)還展示了他們從梵高、霍珀、修拉和康定斯基等作品中生成了世界。
創(chuàng)意工作流程
除了以上玩法外，3D生成還可以與其他AI工具組合，比如Midjourney、Runway、Suno等，這將極大地改變創(chuàng)作者的工作流程。
例如，可以先使用文生圖模型生成圖像，不同的模型生成的圖像風(fēng)格不盡相同，而World Labs可以繼承這些風(fēng)格。
比如我們輸入相同的Prompt，可以得到不同風(fēng)格得3D世界：
一間充滿活力的卡通風(fēng)格青少年臥室，床上鋪著五顏六色的毯子，雜亂的書桌上放著一臺(tái)電腦，墻上貼著海報(bào)，運(yùn)動(dòng)裝備散落。一把吉他靠在墻上，中間是一塊舒適的圖案地毯。窗外的光線為房間增添了溫暖、年輕的氛圍。
看到現(xiàn)在是不是已經(jīng)迫不及待想上手試試，不過遺憾的是，目前還在內(nèi)測(cè)中，可以申請(qǐng)候補(bǔ)名單。
附上地址： https://forms.gle/tkfW7yMqMsCXWw4F7
二、3個(gè)月估值10億，空間智能時(shí)代才剛剛開始
今年4月，被稱為“AI教母”的斯坦福大學(xué)教授李飛飛，帶隊(duì)成立World Labs（空間智能）。這是她2018年從谷歌離職重返斯坦福后，第一次直接下場(chǎng)參與的創(chuàng)業(yè)項(xiàng)目。
World Labs是一家專注于打造世界模型進(jìn)行3D世界的感知、生成和互動(dòng)的AI初創(chuàng)公司。
在短短3個(gè)月的時(shí)間里，World Labs就進(jìn)行了兩輪融資，融資總額超過2.3億美元，估值突破10億美元，投資方包括硅谷知名風(fēng)投a16z和AI基金Radical Ventures。
李飛飛認(rèn)為，未來AI的核心在于“空間智能”，即讓AI具備感知、推理并與3D世界交互的能力，這是實(shí)現(xiàn)更高級(jí)AI應(yīng)用的關(guān)鍵。
在她看來，視覺在人類理解和與世界互動(dòng)中占據(jù)核心位置，AI發(fā)展應(yīng)優(yōu)先提升視覺能力，超越語言模型的局限，讓AI從“大語言模型”過渡到“大世界模型”，以應(yīng)對(duì)更復(fù)雜的3D環(huán)境感知和交互需求。
也因此，她希望通過 World Labs 推動(dòng)這一領(lǐng)域的發(fā)展，實(shí)現(xiàn)更高層次的空間智能。
World Labs堪稱超級(jí)明星團(tuán)隊(duì)，除了李飛飛外，還有李飛飛徒弟，在實(shí)時(shí)風(fēng)格轉(zhuǎn)換和超分辨率領(lǐng)域有突出貢獻(xiàn)的賈斯汀·約翰遜、神經(jīng)輻射場(chǎng)（NeRF）提出者本·米爾登霍爾以及3D重建專家克里斯托夫·拉斯納。
盡管World Labs在技術(shù)研發(fā)和團(tuán)隊(duì)配置上具有領(lǐng)先優(yōu)勢(shì)，此次發(fā)布的最新成果也驚艷眾人，但面臨的挑戰(zhàn)也不少。
首先，從技術(shù)角度來看，構(gòu)建一個(gè)具有高精度的3D世界理解和生成模型需要大量的數(shù)據(jù)和計(jì)算資源，同時(shí)還需要解決實(shí)時(shí)交互的技術(shù)難題。
在3D生成賽道，并不是一片藍(lán)海，除了World Labs外，英偉達(dá)、meta等多家公司也在積極布局物理AI與3D世界的相關(guān)技術(shù)，市場(chǎng)競(jìng)爭(zhēng)激烈。
再有，在商業(yè)化路徑上，盡管LWM的潛力巨大，但如何找到合適的商業(yè)模式，尤其是平衡研發(fā)投入與市場(chǎng)回報(bào)，是創(chuàng)業(yè)公司面臨的共同難題。
如果找不到盈利模式，能活下去的概率很小，畢竟已經(jīng)不少AI領(lǐng)域的明星初創(chuàng)公司賣身大廠了。
不過，不得不承認(rèn)的是，在潮水的變化面前，空間智能，一切才剛剛開始。
