日前，世界頂級機械臂大賽SAPIEN ManiSkill Challenge 2021公布了本屆參賽隊伍成績以及最終排名，其中京東探索研究院視覺與多媒體實驗室的參賽團隊?“Silver-Bullet-3D”在兩個重要賽道中分別獲得“第一”和“第二”的優(yōu)秀成績，充分證明了京東探索研究院在計算機視覺領(lǐng)域受到國際認可。

SAPIEN ManiSkill Challenge機械臂大賽是由美國加州大學圣地亞哥分校、伯克利分校以及斯坦福大學聯(lián)合在國際機器學習頂級會議ICLR 2022上舉辦的世界重磅賽事。該比賽在完成任務(wù)的設(shè)計上具有很強的豐富性，可以做到讓專業(yè)性很高的人工智能技術(shù)更容易實施在現(xiàn)實場景的機械臂控制中。本次比賽將控制機械臂完成的任務(wù)種類設(shè)計為四種，分別是開柜門、移動椅子、開抽屜以及搬水桶，吸引了來自全球知名機構(gòu)以及高等院校的30多支隊伍參與其中。

具體來說“No Interaction Track”，即“采用模仿學習方案”，旨在從預(yù)先收集的演示軌跡中有效學習。在滿足該技術(shù)要求的前提下，參賽團隊提出了基于模仿學習的解決方案，主要包括兩個模塊，分別是直接采用模仿行為的行為克隆以及離線增強學習，同時為了對機械臂和被操縱物體復雜的紋理、結(jié)構(gòu)信息建模，提出了基于Transformer的關(guān)系建模網(wǎng)絡(luò)。值得提及的是在第一階段和第二階段官方測試中，該模型在所有四個單項任務(wù)中均位列第一，充分證明了京東探索研究院視覺與多媒體實驗室在基于模型學習的機械臂控制領(lǐng)域的技術(shù)領(lǐng)先性。

此外在滿足該項技術(shù)要求，即“No Restriction Track”，也可以被釋義為“采用規(guī)則方案”的過程中，組委會允許本次的參賽隊伍基于與仿真環(huán)境的交互任意設(shè)計控制和規(guī)劃方案。對此團隊提出了基于啟發(fā)式規(guī)則的方案（HRM），將復雜的操作任務(wù)分解為一系列子任務(wù)，根據(jù)在仿真環(huán)境中觀察到的圖像和點云，并基于規(guī)則的控制邏輯預(yù)測機械臂要完成的操作以實現(xiàn)當前子任務(wù)的目標。在官方評測中，該方案以超過第二名23.8%的絕對優(yōu)勢獲得第一名。

如今京東探索研究院計算機視覺技術(shù)方向?qū)＠咽跈?quán)18項，其團隊核心成員在AI頂會發(fā)表的論文總量180+篇，尤其在第29屆ACM國際多媒體頂級會議（ACM International Conference on Multimedia, 簡稱ACM Multimedia）上，京東探索研究院憑借多模態(tài)交互數(shù)字人技術(shù)、跨模態(tài)分析技術(shù)分別斬獲最佳演示獎及最佳開源項目獎。

肯定的一點，本次視覺與多媒體實驗室參賽團隊喜提國際機械臂大賽多個獎項，將京東探索研究院計算機視覺技術(shù)水平推上新臺階。從波士頓動力的機器狗風靡全球后，機械臂的出現(xiàn)無疑帶來了人機協(xié)作的技術(shù)創(chuàng)新震撼以及“從0到1”的產(chǎn)業(yè)應(yīng)用變革，未來以3D視覺、機械臂技術(shù)為基礎(chǔ)打造的全方位智能機械臂操作平臺，有望以更加極致的創(chuàng)新能力幫助智慧物流、智能控制、工業(yè)互聯(lián)網(wǎng)、食品安全監(jiān)管等領(lǐng)域發(fā)揮巨大的行業(yè)潛力，更快推進數(shù)智化產(chǎn)業(yè)蓬勃發(fā)展。

關(guān)鍵詞： 計算機視覺