騰訊機(jī)器人最新動(dòng)態(tài)：跟真狗學(xué)“奔跑跳躍”

Hi，大家好，我是Max，還記得我嗎？

騰訊自主研發(fā)的多模態(tài)四足機(jī)器人。（大家也可以叫我機(jī)器狗Max）

(資料圖)

這次是和大家的第三次見面了。

理由一樣，想你們了（不是）我又升級(jí)了。

上次是走梅花樁。

這次是學(xué)真狗。

用實(shí)驗(yàn)室的專業(yè)術(shù)語說就是：將預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人控制領(lǐng)域。

翻譯一下，我在常見的動(dòng)物行為數(shù)據(jù)集上進(jìn)行表征學(xué)習(xí)，將學(xué)到的潛在表達(dá)存放在深度神經(jīng)網(wǎng)絡(luò)中，讓我的動(dòng)作和行為都接近動(dòng)物。

這是之前的我↓↓↓

這是現(xiàn)在的我↓↓↓

再翻譯一下，就是，我去學(xué)習(xí)了真狗的動(dòng)作（走、跑、跳、站立等動(dòng)作），然后靈活運(yùn)用這些姿態(tài)去解決新的各種障礙的任務(wù)（匍匐前進(jìn)、跨欄跑、障礙物之間的跑酷穿梭等）。

再對(duì)比一下現(xiàn)實(shí)中狗狗的動(dòng)作↓↓↓

這樣看，是不是覺得我學(xué)習(xí)得不錯(cuò)？

我知道，你一定會(huì)好奇我是怎么做到。

因?yàn)樗?/p>

首先，收集動(dòng)作數(shù)據(jù)

我們找來了一位專業(yè)的“動(dòng)捕演員”，在主人的全程陪同和引導(dǎo)下，完成動(dòng)作數(shù)據(jù)收集。

（狗狗身上貼著用于動(dòng)捕的標(biāo)記點(diǎn)）

通過騰訊游戲的動(dòng)捕技術(shù)收集一定數(shù)量的動(dòng)物狗在平地上常規(guī)的運(yùn)動(dòng)姿態(tài)數(shù)據(jù)，包括走、跑、跳、站立等數(shù)據(jù)，游戲研發(fā)制作過程中積累的多元?jiǎng)硬端夭囊矠榇颂峁┝藥椭?/p>

再利用重定向技術(shù)，可以讓這些數(shù)據(jù)在仿真引擎準(zhǔn)確和高效的映射到機(jī)器人本體。

（通過動(dòng)捕綁定機(jī)器狗的骨骼）

然后，學(xué)習(xí)動(dòng)作數(shù)據(jù)

利用這些數(shù)據(jù)，在仿真器中構(gòu)建了一個(gè)模仿學(xué)習(xí)任務(wù)，將這些數(shù)據(jù)中的信息學(xué)習(xí)并表達(dá)到我的神經(jīng)網(wǎng)絡(luò)上。（就像在腦子里植入了一本“武功秘籍”）

再然后，擬真世界受控訓(xùn)練

在擬真世界，感知自身的關(guān)節(jié)狀態(tài)，并按照隨機(jī)指令在平地練習(xí)和適應(yīng)自身的動(dòng)作。（在腦海里，練習(xí)武功招式）

游戲技術(shù)以及數(shù)據(jù)對(duì)基于物理仿真的智能體訓(xùn)練以及真實(shí)世界機(jī)器人策略部署也起到了一定的輔助作用。

再再然后，加入外部環(huán)境訓(xùn)練

在擬真世界里，加入復(fù)雜環(huán)境因素。

訓(xùn)練我對(duì)動(dòng)作數(shù)據(jù)的熟練度，并感知外部環(huán)境，運(yùn)用學(xué)到的動(dòng)作去應(yīng)對(duì)外部環(huán)境造成的各種障礙。（加入假想敵，和他們不停地過招。）

最后，就是大家看到的我了。

是的，整個(gè)過程都在虛擬世界里面訓(xùn)練而成，不需要進(jìn)行實(shí)機(jī)訓(xùn)練和調(diào)整。

接下來，派出兩個(gè)我的實(shí)體分身，來一段追逐游戲給大家展示下學(xué)習(xí)成果。

游戲規(guī)則講解：我和我的分身分別扮演追蹤和逃避的角色，雙方觸碰到旗子后，身份立即轉(zhuǎn)換，誰先抓到對(duì)方，便獲勝。

好，游戲開始！！

↑↑↑追逐——轉(zhuǎn)換——追逐（雙方你追我趕，互換著身份）

↑↑↑當(dāng)追蹤者意識(shí)到自己在逃避者碰到旗子之前已經(jīng)無法追上它的時(shí)候，追蹤者會(huì)放棄追蹤，而是在遠(yuǎn)離逃避者的位置徘徊，目的是為了等待下一個(gè)重置的旗子出現(xiàn)。

↑↑↑因?yàn)樽詈笠淮纹熳映霈F(xiàn)的位置太遠(yuǎn)，逃避者判斷出旗子的位置被追蹤者攔在了中間，逃避者判斷不可能繞過逃避者去碰旗子，所以它會(huì)往角落里鉆，盡量拖延自己輸?shù)舯荣惖臅r(shí)間。

↑↑↑加入障礙后，我們也能順利穿越障礙，完成游戲。

當(dāng)追蹤者即將抓到逃避者的時(shí)刻，它跳起來向著逃避者做出一個(gè)"撲"的動(dòng)作，非常類似動(dòng)物捕捉獵物時(shí)候的行為。

“是不是覺得機(jī)器狗還能玩游戲很神奇？”

我能像動(dòng)物般地玩游戲，是因?yàn)槲疫€特地學(xué)習(xí)了策略層面知識(shí)的網(wǎng)絡(luò)參數(shù)，這個(gè)參數(shù)可以讓我學(xué)會(huì)游戲規(guī)則、懂思考、懂判斷。

最后，你一定會(huì)問，機(jī)器狗越來越像狗了，意義是什么？

其實(shí)，我剛剛誕生時(shí)，使用相對(duì)機(jī)械僵硬的動(dòng)作，也能完成很多任務(wù)。

但隨著我的成長(zhǎng)，會(huì)發(fā)現(xiàn)，如果不借鑒任何動(dòng)物、生物體的特性，這種僵硬的動(dòng)作，想要去處理復(fù)雜的任務(wù)是很困難的。

就像生物都會(huì)逐漸進(jìn)化成最合理的形態(tài)，去適應(yīng)復(fù)雜的生存環(huán)境。

未來，我想要完成更高難度的任務(wù)，例如搜尋和援救等緊急的工作。

我還要不停地進(jìn)化和適應(yīng)，變得更靈活、跳得更高，去自主完成更困難的任務(wù)。

當(dāng)然，相對(duì)冰冷的機(jī)械，大家肯定也更喜歡和接受擬真一點(diǎn)的可愛小機(jī)器狗吧~

對(duì)了，如果大家還想看更多技術(shù)詳解，可以戳文字查看~

好了，今天就到這了，我得繼續(xù)去訓(xùn)練了。

我是Max，期待下一次進(jìn)化，再和大家見面。