當OpenAI、Anthropic和Google三大AI巨頭的旗艦模型同台決戰,誰更會操控機器人?

10月20日,由覓蜂科技、Hugging Face、NVIDIA、清華大學等全球近 20 家高校、企業、科研機構共同聯合發起的具身角鬥場RoboColiseum公布本輪評測結果:Claude Opus 5.5位列四款旗艦模型綜合第一,GPT-6 Astra緊隨其後。

图片

分項來看,在四款旗艦模型中,GPT-6 Astra在指令跟隨與整體擾動適應上領先,其中指令跟隨得分達到99.35;Opus在空間理解與通用操作上表現更好,並以最少的全輪評測token消耗拿下旗艦組綜合第一。在圖像品質受擾動的測試中,GPT-6.1 Sol明顯落後於其他三款模型,顯示出不同模型應對視覺資訊變化時的穩定性差異。

但本輪綜合排名前兩名,仍由具身策略模型佔據,尤其是在通用操作維度保持優勢。

這場同台較量,為行業看清通用大模型與具身策略模型的能力優勢與短板提供了直觀參考。

图片

RoboColiseum圍繞指令跟隨、空間理解、擾動適應和通用操作,推出四類能力子榜、78個高保真仿真評測任務,既呈現模型的分項表現,也記錄任務完成步驟與失敗位置,幫助開發者快速定位模型能力短板。

作為聯合發起方,覓蜂為RoboColiseum提供高保真物體資產和仿真場景,支持構建複雜機器人操作任務的評測環境,並為不同物體交互、空間布局與環境條件下的模型能力測試提供基礎資源。

图片

模型在仿真中的成績能否反映真實操作表現,同样是評測的關鍵。根據平台公布的實測結果,RoboColiseum仿真評測與實機部署的相關性達到89.5%,相同模型在仿真與真實世界中的評測差異小於10%,可為開發者進入真機測試前的模型篩選與問題定位提供參考。

覓蜂科技提供「又全又好又快」的數據供給體系,覆蓋真機、仿真與無本體三大數據範式。在仿真方面,覓蜂提供物體資產與環境資產兩類資源,覆蓋多種日常物品及室內場景,並提供場景重建、專家軌跡數據獲取和評測結果視覺化等能力,幫助模型團隊開展多樣化訓練與評測。

图片

Coliseum原指古羅馬圓形競技場,RoboColiseum以此為意象,構建多維度的系統評測體系,以與真機表現高度一致的仿真評測,給具身智能模型搭建一個公開、中立、可復現的「競技場」和「訓練場」。任何高校、研究機構或企業開發者,都可以把自己的模型提交上去,接受一套標準化「考試」。自8月上線以來,已有海內外100多支隊伍在平台開展模型訓練與評測。

RoboColiseum現已面向全球開發者開放,歡迎模型團隊參與評測。