剛剛疇昔的 GTC Taipei 上，最備受暄和的，莫過于Cosmos 3。

這是一個悉數(shù)開源的物理 AI 全模態(tài)模子。老黃默示，Cosmos 3 謝寰宇生成這項上，在 Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench 四個開源榜單上均列第一。

前三個 bench 都算業(yè)界比較眼熟的，而R-bench——我稀奇查了查，這個讓 Cosmos 3 霸榜的榜單，竟出自一支北大團(tuán)隊。

這篇職責(zé)已被 ICML 2026 接納，名字叫《Rethinking Video Generation Model for the Embodied World》，來自北京大學(xué)、字節(jié)超越 Seed 等機(jī)構(gòu)的盤考團(tuán)隊。

他們提倡了面向具身寰宇的視頻生成評測與數(shù)據(jù)基礎(chǔ)設(shè)施：R-Bench+RoVid-X。

值得在意的是，在作家列內(nèi)外，字節(jié) Seedance 2.0 的預(yù)進(jìn)修講求東談主曾妍，也赫然在列。

R-Bench：專門給機(jī)器東談主視頻生成請的"考官"

Cosmos 3 是英偉達(dá)此次 GTC Taipei 的主角之一。

按老黃的說法，它是人人首個悉數(shù)開源的物理 AI 全模態(tài)模子，基于一種 mixture-of-transformers 架構(gòu)，能在一個模子里同期通曉和生成文本、圖像、視頻、環(huán)境聲息，乃至機(jī)器東談主的動作。

Nano 和 Super 兩個尺寸，都也曾掛上了 Hugging Face。

換句話說，Cosmos 3 要作念的不是"拍出順眼的視頻"，而是給機(jī)器東談主、自動駕駛這些要在的確寰宇里干活的系統(tǒng)，生成"物理上說得通"的數(shù)據(jù)。

但問題它就來了。

一個模子生成的機(jī)器東談主視頻，到底是不是"物理上說得通"，該用什么來猜度？

疇昔一年，視頻生成的故事險些都繞著歸并個問題張開：誰能拍得更了了、更結(jié)識、更有電影感。

但在機(jī)器東談主場景里，畫質(zhì)順眼是一趟事，能不可用又是另一趟事。

要是一個模子能生成傳神的機(jī)械臂，卻讓夾爪穿過物體；能讓機(jī)器東談主看起來"動起來"，卻無法完成抓取、擯棄、回身、互助等任務(wù)，那么它距離 Physical AI 需要的"寰宇模子"，仍然隔著一條領(lǐng)域。

R-Bench的中樞起點(diǎn)，即是把視頻生成模子從"視覺生成器"放到"物理寰宇模擬器"的語境下再行評估。

它不單看畫面是否傳神，而是系統(tǒng)性猜度模子是否能生成順應(yīng)具身任務(wù)邏輯和物理管制的視頻。

具體而言，R-Bench 是一個以機(jī)器東談主為中心的視頻生成評測基準(zhǔn)，包含650 個圖像 - 文本評測樣本，從5 類任務(wù)才能和4 類機(jī)器東談主花樣兩個維度構(gòu)建。

在職務(wù)維度上，R-Bench 障翳操作奉行、空間聯(lián)系、多主體互助、永劫謀劃和視覺推理；在機(jī)器東談主花樣維度上，障翳單臂、雙臂、四足和東談主形機(jī)器東談主。

這么的假想讓 R-Bench 不再只問"視頻像不像"，而是進(jìn)一步追問：

機(jī)器東談主有莫得的確斗爭到見識物體？

任務(wù)樞紐法子是否齊全出現(xiàn)？

多個物體或多個主體之間的聯(lián)系是否合理？

機(jī)器東談主花樣在通順歷程中是否保持結(jié)識？

永劫序動作是否順應(yīng)任務(wù)邏輯？

因此，R-Bench 不僅僅一個名次榜，更可以看成機(jī)器東談主視頻生成數(shù)據(jù)的"物理質(zhì)地過濾器"：

它能夠評估生成視頻是否振作斗爭聯(lián)系、動作門徑、花樣結(jié)識性和任務(wù)完成度等物理管制，從而匡助篩選出更順應(yīng)物理法例、可用于具身智能進(jìn)修的數(shù)據(jù)。

為了捕捉這些問題，R-Bench 假想了一套可復(fù)現(xiàn)的自動化評測謀劃體系，能夠識別機(jī)器東談主花樣畸變、物體屬性漂移、部件飄搖或穿模、無斗爭抓取、虛擬出現(xiàn)物體、樞紐動作缺失等常見失敗模式。

值得在意的是，R-Bench 的自動打分，和東談主工評測的 Spearman 研究悉數(shù)達(dá)到0.96。

這意味著它不僅僅個自動跑分用具，在很猛進(jìn)程上對都了東談主類對"物理合不對理""任務(wù)完沒完成"的判斷。

榜單上還能看到什么？

在最新 R-Bench Leaderboard 中，Cosmos 3 系列也曾成為開源社區(qū)最亮眼的模子之一。

Cosmos3-Nano 以0.584的輪廓得分位列 RBench 開源模子第一，Cosmos3-Super 緊隨其后，拿到0.581。

放到通盤榜單里看，這傳遞出兩個信號。

一所以物理 AI 為見識進(jìn)修的視頻寰宇模子，也曾初始在機(jī)器東談主圖像到視頻生成上展現(xiàn)競爭。

比較傳統(tǒng)通用視頻模子，它的上風(fēng)不單在畫質(zhì)，更在于更接近具身智能需要的物理模擬與動作延展才能。

二是閉源交易模子輪廓才能仍然率先，但開源正在快速追逐。

對盤考社區(qū)來說，百家樂2026世界杯中國官方下載這種"開源能打"的信號，比單個模子更強(qiáng)更蹙迫。

而比排名更有價值的，是 RBench 照出來的幾處共性短板：

考究操作照舊老浩劫。移動、回身這類大幅動作模子也曾作念得可以，但抓、執(zhí)、擰、插、擯棄這些對斗爭建模條件高的動作，最容易出錯。

永劫謀劃仍是弱項。視頻看起來連貫，不代表任務(wù)邏輯正確，模子可能動作領(lǐng)悟卻漏掉樞紐法子，或者把門徑搞反。

通用學(xué)問和機(jī)器東談主數(shù)據(jù)沒"合上"。純通用視頻有豐富的寰宇學(xué)問但缺機(jī)器東談主交互，純機(jī)器東談主數(shù)據(jù)又時時范圍有限、花樣單一。

從這個角度看，R-Bench 更像一面鏡子，把視頻模子在物理寰宇里的的確軟肋照了出來。

RoVid-X：400 萬條機(jī)器東談主視頻，開源了

發(fā)現(xiàn)了問題，下一步即是喂數(shù)據(jù)。這恰是RoVid-X要治理的事。

團(tuán)隊也曾在 Hugging Face 上開源了 RoVid-X 的蹙迫子集（300 萬條機(jī)器東談主視頻），上線后熱度攀升很快——它在 Datasets Trending 的 Video 模態(tài)大范圍數(shù)據(jù)圍聚排名第一，在沿途 6.5 萬多個 Video 模態(tài)數(shù)據(jù)集的合座 Trending 里也位列第九。

這反應(yīng)了 RoVid-X 看成面向機(jī)器東談主視覺 / 視頻通曉的大范圍數(shù)據(jù)資源，在開源社區(qū)中的快速影響力。

數(shù)據(jù)集的齊全版范圍達(dá)到400 萬條機(jī)器東談主視頻片斷、1300+ 細(xì)粒度妙技、1 萬 + 小時本體，劃分率 720P，并附帶 RGB、深度、光流等多模態(tài)物理標(biāo)注。

和通用互聯(lián)網(wǎng)視頻不同，RoVid-X 要讓模子斗爭的是更接近的確的機(jī)器東談主交互歷程：物體何如被抓取、機(jī)械臂何如接近見識、任務(wù)何如被明白、動作和環(huán)境何如共同造成物理管制。

這種數(shù)據(jù)關(guān)于視頻寰宇模子尤其樞紐。因為物理通曉不是神圣靠請示詞補(bǔ)出來的，而需要模子在廣泛交互數(shù)據(jù)中學(xué)習(xí)斗爭、門徑、力學(xué)聯(lián)系和結(jié)構(gòu)結(jié)識性。

推行限定也清楚，引入 RoVid-X 數(shù)據(jù)后，模子在具身任務(wù)中的進(jìn)展能夠取得結(jié)識栽種。

舉例在 Wan 系列模子上，經(jīng)過 RoVid-X 微調(diào)后，模子在操作奉行、永劫謀劃和空間通曉等維度均有顯著改善。

這評釋高質(zhì)地、結(jié)構(gòu)化的機(jī)器東談主視頻數(shù)據(jù)，如實能夠栽種視頻生成模子面向具身場景的可奉行性與結(jié)識性。

這項職責(zé)的意思，不單在于多了一個 benchmark 和一個 dataset，而是把視頻生成放進(jìn)了物理 AI 的語境里再行注釋。

疇昔視頻生成更多處事于本體創(chuàng)作：告白、短片、殊效。往后，它可能成為機(jī)器東談主進(jìn)修、仿真環(huán)境構(gòu)建和具身智能數(shù)據(jù)閉環(huán)的基礎(chǔ)設(shè)施。

當(dāng)模子初始通曉斗爭、門徑、結(jié)構(gòu)結(jié)識性和動作后果，"生成一段看起來合理的視頻"就在向"可用于物理寰宇推演的寰宇模擬引擎"逼近。

R-Bench 和 RoVid-X 是在這個轉(zhuǎn)向中補(bǔ)上兩塊樞紐拼圖：一個薪金"怎樣評估"，一個薪金"怎樣進(jìn)修"。

跟著 Cosmos 3 等 Physical AI 視頻寰宇模子干涉 R-Bench 榜單并取得開源 Top-1，具身視頻生成的競爭也正在從單純比拼視覺效用，轉(zhuǎn)向更接近的確寰宇的物理通曉和任務(wù)奉行才能。

關(guān)于開源社區(qū)而言，這不詳是一個更蹙迫的信號：Physical AI 的進(jìn)展，不單屬于閉源模子和交易系統(tǒng)，也可以確立在敞開評測、敞開數(shù)據(jù)和敞開模子共同演化的基礎(chǔ)之上。

按團(tuán)隊的謀劃，下一步還會去作念從生成視頻反推可奉行徑作的 Inverse Dynamics Model，進(jìn)一步買通視頻生成、戰(zhàn)術(shù)學(xué)習(xí)和真機(jī)部署之間的閉環(huán)。

視頻生成模子的下一站，不詳?shù)拇_不僅僅拍電影，而是模擬、通曉，并參與的確的物理寰宇。

團(tuán)隊配景

這支團(tuán)隊叫DAGroup，來自北京大學(xué)，講求東談主是周大權(quán)。

周大權(quán)的閱歷，正值踩在此次職責(zé)的題眼上。

他從 2022 年就初始作念視頻生成，是最早一批入場的東談主之一——

代表作 MagicVideo 是業(yè)界最早的隱空間擴(kuò)散視頻模子之一，自后還有 MagicVideo-V2、StoryDiffusion、Magic-Me 等一系列職責(zé)。

在騰訊混元視頻模子 HunyuanVideo 中，他領(lǐng)導(dǎo)了模子預(yù)進(jìn)修與擴(kuò)散算法假想團(tuán)隊。

更早之前，他在模子與硬件效用標(biāo)的也頗有蓄積，Coordinate Attention 曾被列為 CVPR 2020 最具影響力論文第 2 名。

如今回到北大作念助理造就，他把盤考要點(diǎn)放到了機(jī)器東談主、AIGC 和 VLA 上。

他自述，我方的盤考持久帶著一條"用最少的算力和內(nèi)存，跑最強(qiáng)的算法"的干線。

除 R-Bench/RoVid-X 外，DAGroup 還在激動 HumanNet、StableVLA 等多個具身與寰宇模子標(biāo)的的開源名目。

論文地址：

https://arxiv.org/abs/2601.15282

Project Page：

https://dagroup-pku.github.io/ReVidgen.github.io/

GitHub 地址：

https://github.com/DAGroup-PKU/HumanNet

R-Bench Leaderboard：https://huggingface.co/spaces/DAGroup-PKU/Leaderboard ?

RoVid-X Dataset：https://huggingface.co/datasets/DAGroup-PKU/RoVid-X/

— ?迎接 AI 產(chǎn)物從業(yè)者共建 ?—

? ?「AI 產(chǎn)物學(xué)問庫」是量子位智庫基于持久產(chǎn)物庫跟蹤和用戶步履數(shù)據(jù)推出的飛書學(xué)問庫，旨在成為 AI 行業(yè)從業(yè)者、投資者、盤考者的中樞信息要道與方案搭救平臺。

一鍵暄和 ? ? 點(diǎn)亮星標(biāo)

科技前沿進(jìn)展逐日見百家樂IOS/安卓通用版/手機(jī)APP下載