大家好！我將從產(chǎn)業(yè)鏈最底層的角度出發(fā)進(jìn)行分享。我們所從事的是“物理智能”的研究，這是在實(shí)際執(zhí)行之前最令人印象深刻的一個(gè)階段。

機(jī)器人作為一種工具，能夠與物理世界進(jìn)行互動(dòng)。正如牛津大學(xué)教授 Michael Brady 所提出的比喻，他曾專(zhuān)注于機(jī)器人感知與智能領(lǐng)域的教學(xué)與研究，1989年，我曾跟隨他學(xué)習(xí)。而在此之前，我的另一位教授也在1988年就已提及類(lèi)似的理念。如今，這一理念被稱(chēng)為“互動(dòng)與感知”，我也是在此基礎(chǔ)上展開(kāi)相關(guān)研究與實(shí)踐的。

我來(lái)為大家展示一下我們的實(shí)踐經(jīng)驗(yàn)。這是一個(gè)歐洲的項(xiàng)目，主要研究柔性材料的處理，特別是布料的觸覺(jué)感知。在該項(xiàng)目中，機(jī)器人配備了專(zhuān)門(mén)設(shè)計(jì)的抓取裝置，專(zhuān)門(mén)用于處理柔性物質(zhì)。這款機(jī)器人能夠完成折疊和展開(kāi)等操作，例如對(duì)T恤進(jìn)行兩次折疊。為了讓大家更清楚地看到操作過(guò)程，我們以兩倍慢速播放。該機(jī)器人并非按照固定的扭矩施加力量，而是通過(guò)自身的傳感器實(shí)時(shí)感知環(huán)境，并選擇合適的扭矩和力度進(jìn)行操作，從而更好地適應(yīng)柔軟材質(zhì)。這也是當(dāng)時(shí)我們所達(dá)到的技術(shù)水平。

接下來(lái)我要介紹的是一項(xiàng)由日本東京農(nóng)工大學(xué)的一名學(xué)生與捷克技術(shù)大學(xué)合作完成的研究成果。該項(xiàng)目實(shí)現(xiàn)了機(jī)器人學(xué)習(xí)穿襪子的操作原理。在視頻中可以看到，機(jī)器人能夠一次性完成一只襪子的穿戴。后來(lái)，這位學(xué)生也成為了我們的博士研究生。通過(guò)機(jī)器人身上的傳感器，我們可以獲取合適的扭矩參數(shù)，從而進(jìn)行精確的操作嘗試。今天我要分享的是一個(gè)更具挑戰(zhàn)性的任務(wù)——處理纏繞在一起的線纜，例如服務(wù)器中常見(jiàn)的線纜纏繞問(wèn)題。要解開(kāi)這些線并不容易，如果沒(méi)有良好的交互能力，幾乎無(wú)法完成。我們都曾有過(guò)這樣的經(jīng)歷：面對(duì)一堆纏在一起的繩子或電線，想要解開(kāi)它們，就必須先理清它們的位置，并觀察它們與其他線纜之間的關(guān)系。機(jī)器人也正是基于同樣的原理來(lái)進(jìn)行操作的。在視頻演示中，當(dāng)機(jī)器人開(kāi)始移動(dòng)線纜時(shí)，它能夠判斷線纜的走向，并找到合適的抓取點(diǎn)，這是完成任務(wù)的第一步。通過(guò)這一過(guò)程，機(jī)器人成功實(shí)現(xiàn)了對(duì)復(fù)雜線纜纏繞問(wèn)題的處理，攻克了這一技術(shù)難題。

我們所采用的方法基于一系列給定的圖像，其原理是利用不同的視覺(jué)差異以及圖像中像素的運(yùn)動(dòng)信息。如果在訓(xùn)練階段使用機(jī)器學(xué)習(xí)的方法，由于沒(méi)有現(xiàn)成的數(shù)據(jù)集可供下載，我們必須自行構(gòu)建一個(gè)數(shù)據(jù)集，這是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。接下來(lái)我為大家展示我們是如何實(shí)現(xiàn)的。這是該系統(tǒng)的外觀結(jié)構(gòu)，在展示圖的左側(cè)，我們列出了兩種線纜的移動(dòng)方式：一種是垂直方向的移動(dòng)，另一種是沿著線纜自身方向的移動(dòng)。為了能夠捕捉這兩種運(yùn)動(dòng)形式，我們需要構(gòu)建一個(gè)特定的實(shí)驗(yàn)環(huán)境，在該環(huán)境中可以實(shí)時(shí)獲取運(yùn)動(dòng)數(shù)據(jù)以及目標(biāo)線纜的圖像信息。這些數(shù)據(jù)是通過(guò)攝像機(jī)捕捉得到的，并采用了光流分析和圖像分段技術(shù)來(lái)處理。我們?cè)诰€纜上設(shè)置了熒光標(biāo)記，并通過(guò)交替使用白光和紫外線照明的方式，使得每一幀圖像中熒光的移動(dòng)與線纜本身的運(yùn)動(dòng)能夠一一對(duì)應(yīng)。通過(guò)這種方式，我們首先實(shí)現(xiàn)了對(duì)線纜的抓取，然后將其運(yùn)動(dòng)軌跡劃分為若干個(gè)連續(xù)的片段。再通過(guò)分析各片段之間的運(yùn)動(dòng)相關(guān)性，最終實(shí)現(xiàn)了機(jī)器人對(duì)線纜的交互式分割操作。

關(guān)于抓取點(diǎn)的識(shí)別，我們能夠從背景中清晰地分離出目標(biāo)線纜，這是因?yàn)閷?shí)驗(yàn)背景采用了藍(lán)幕設(shè)計(jì)，從而更有利于將目標(biāo)線纜的熒光信號(hào)與背景環(huán)境區(qū)分開(kāi)來(lái)。目前，許多研究者也在使用類(lèi)似的方法，我們也已經(jīng)為此準(zhǔn)備了相關(guān)論文，并從去年開(kāi)始著手撰寫(xiě)。在數(shù)據(jù)收集階段，我們構(gòu)建了一個(gè)名為“移動(dòng)線纜數(shù)據(jù)集”的數(shù)據(jù)集，并對(duì)其進(jìn)行了后處理，包括色度鍵控、標(biāo)記檢測(cè)與跟蹤、光流計(jì)算等步驟，最終完成數(shù)據(jù)的合成。通過(guò)這些處理步驟，我們可以進(jìn)行進(jìn)一步的計(jì)算，并構(gòu)建出人工模擬場(chǎng)景。在實(shí)際測(cè)試中，我們將真實(shí)的線纜放置在系統(tǒng)中，無(wú)論背景多么復(fù)雜，系統(tǒng)都能夠準(zhǔn)確識(shí)別并處理。因此，其他研究人員如果希望采用這種方法，也可以在此基礎(chǔ)上進(jìn)行優(yōu)化或擴(kuò)展。這正是我們研究成果的一部分。

右側(cè)的彩色圖盤(pán)展示的是移動(dòng)線纜數(shù)據(jù)集的視頻示例。與現(xiàn)有其他方法相比，我們的方法和數(shù)據(jù)在表現(xiàn)上具有明顯優(yōu)勢(shì)。這張圖片清晰地展示了我們方法的優(yōu)勢(shì)。在這八張對(duì)比圖像中，最后一張是我們提出的方案結(jié)果。可以看到，在白色小框標(biāo)記的區(qū)域，場(chǎng)景非常復(fù)雜；如果仔細(xì)觀察，就能發(fā)現(xiàn)我們的方法與以往研究成果有顯著不同。我們使用這些方法進(jìn)行了實(shí)際場(chǎng)景下的視頻記錄，結(jié)果顯示在最下方一行，從右側(cè)數(shù)第二個(gè)圖像展示了我們方法的最佳效果。由此可見(jiàn)，即便在如此復(fù)雜的環(huán)境下，我們的系統(tǒng)依然能夠穩(wěn)定運(yùn)行并取得良好的效果。

我們即將發(fā)表的第二篇論文的目標(biāo)，是探索如何利用這一技術(shù)來(lái)抓取現(xiàn)場(chǎng)視覺(jué)圖像。例如，我們將繩子作為演示對(duì)象，展示整個(gè)操作過(guò)程。這四張圖像展示了數(shù)據(jù)采集的過(guò)程，而下方的兩張照片則代表了動(dòng)作的分段情況。我們使用特定的顏色對(duì)這些分段進(jìn)行了可視化標(biāo)注。當(dāng)動(dòng)作關(guān)聯(lián)性分析啟動(dòng)后，我們可以非常清晰地捕捉到每一個(gè)動(dòng)作階段。整個(gè)過(guò)程共分為五個(gè)步驟。

其中，第一步是由人工標(biāo)注的，并非自動(dòng)生成。基于這些初始標(biāo)注，第二步到第五步均由系統(tǒng)自動(dòng)建議完成。整體效果已經(jīng)相當(dāng)不錯(cuò)，特別是考慮到實(shí)際電纜操作的復(fù)雜性遠(yuǎn)高于當(dāng)前實(shí)驗(yàn)環(huán)境。這些實(shí)驗(yàn)工作主要由學(xué)生完成，相關(guān)成果將在今年6月的博士論文答辯中進(jìn)行展示。

最后，我想用一個(gè)類(lèi)比來(lái)總結(jié)。就像標(biāo)準(zhǔn)的內(nèi)燃機(jī)一樣，我們的動(dòng)作分段技術(shù)目前仍處于實(shí)驗(yàn)室階段，類(lèi)似于操控電纜這樣的任務(wù)。下一步，我們將探索雙臂協(xié)同操作，以進(jìn)一步完善和提升該方法。距離真正實(shí)現(xiàn)工業(yè)級(jí)的應(yīng)用部署，我們還有一定的距離。但正如內(nèi)燃機(jī)的發(fā)展歷程一樣，我們相信這項(xiàng)技術(shù)也將逐步走向成熟。

謝謝！