人工智能大模型下圍棋已不是新鮮事，玩電腦游戲水平如何？不久前，淘天集團(tuán)未來(lái)生活實(shí)驗(yàn)室算法工程師，嘗試?yán)枚嗄B(tài)大模型體驗(yàn)國(guó)產(chǎn)電腦游戲《黑神話：悟空》，探索大模型在特定場(chǎng)景中的能力邊界，取得令人驚喜的效果。相關(guān)研究成果已上線論文預(yù)印本網(wǎng)站arXiv。

《黑神話：悟空》是典型的動(dòng)作角色扮演類游戲。在當(dāng)前大模型研究領(lǐng)域，有不少研究者選擇將該類游戲作為研究平臺(tái)，采用純視覺(jué)輸入、復(fù)雜動(dòng)作輸出的模式，測(cè)試大模型在特定場(chǎng)景下的性能表現(xiàn)。其中，純視覺(jué)輸入是指模型僅通過(guò)理解和分析游戲截圖進(jìn)行決策，而復(fù)雜動(dòng)作輸出則需要模型生成并執(zhí)行復(fù)雜而連續(xù)的動(dòng)作，如戰(zhàn)斗場(chǎng)景中的精確操作。

想要讓多模態(tài)大模型控制游戲角色，要克服兩大困難。一是直接視覺(jué)輸入的挑戰(zhàn)。由于大模型所需的環(huán)境數(shù)據(jù)不一定能通過(guò)游戲API（應(yīng)用程序編程接口）獲取，因此對(duì)于那些需要深入理解游戲界面的大型游戲而言，學(xué)習(xí)從視覺(jué)輸入中進(jìn)行推理是一種更直接的策略，這給大模型帶來(lái)不小挑戰(zhàn)。二是面向動(dòng)作任務(wù)的困難。在動(dòng)作類游戲中，基于強(qiáng)化學(xué)習(xí)的框架仍然占主導(dǎo)地位，但在特定任務(wù)上需要大量訓(xùn)練時(shí)間，遷移到其他任務(wù)上泛化能力較差，表現(xiàn)往往不佳。

為突破上述瓶頸，在此次研究中，技術(shù)團(tuán)隊(duì)提出了一個(gè)名為VARP Agent（視覺(jué)動(dòng)作角色扮演智能體）的新框架。它直接以游戲截圖為輸入，通過(guò)一組多模態(tài)大模型的推理，最終生成可以直接操作游戲角色的代碼，每個(gè)動(dòng)作都是由各種原子命令組合而成的序列。這些原子命令包括輕攻擊、躲避、重攻擊、恢復(fù)血量等。同時(shí)，該框架包含三個(gè)庫(kù)：情境庫(kù)、動(dòng)作庫(kù)和人類引導(dǎo)庫(kù)。這些庫(kù)可以被檢索和更新，以存儲(chǔ)用于自我學(xué)習(xí)和人類指導(dǎo)的密集知識(shí)。

技術(shù)團(tuán)隊(duì)定義了10個(gè)基本任務(wù)和2個(gè)挑戰(zhàn)任務(wù)，其中75%的任務(wù)發(fā)生在戰(zhàn)斗場(chǎng)景中。對(duì)于戰(zhàn)斗任務(wù)，如果玩家角色擊敗了敵人，則任務(wù)成功；如果玩家角色被敵人擊敗，則任務(wù)失敗。研究結(jié)果顯示，該框架在基本任務(wù)和簡(jiǎn)單到中等難度的戰(zhàn)斗中，勝率高達(dá)90%，但在面對(duì)高難度任務(wù)時(shí)，表現(xiàn)相對(duì)較差。總體來(lái)看，其整體水平仍不如高水平人類玩家，但研究成果可為設(shè)計(jì)應(yīng)對(duì)更廣泛挑戰(zhàn)、更復(fù)雜的智能體提供參考。