仿人機(jī)器人的視覺跟蹤交互設(shè)計范文
本站小編為你精心準(zhǔn)備了仿人機(jī)器人的視覺跟蹤交互設(shè)計參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。
基于視覺的人機(jī)交互技術(shù)是機(jī)器人應(yīng)用領(lǐng)域的一個研究熱點(diǎn)。近年來，基于視覺的交互技術(shù)發(fā)展迅速，與其他交互方式相比，基于視覺的交互彈性較大，既可用于較大范圍的交互也可用于較小范圍的交互；使用方便，不需要高昂的設(shè)備，只需一些普通的攝像設(shè)備即可，對交互的語言，形態(tài)等限制也相對較少。視覺是機(jī)器人系統(tǒng)的一個關(guān)鍵技術(shù)，它賦予機(jī)器人一種高級感知功能，為機(jī)器人系統(tǒng)提供目標(biāo)物體的實(shí)時圖像信息和空間位姿信息，使得機(jī)器人系統(tǒng)能以智能和靈活的方式對其周圍環(huán)境做出反應(yīng)，提高機(jī)器人系統(tǒng)操作的可靠性和安全性。當(dāng)人借助視覺交互工具主動參與和控制機(jī)器人行為時，機(jī)器人系統(tǒng)比無人時運(yùn)行更為有效，具有更強(qiáng)的容錯性。視覺系統(tǒng)可將機(jī)器人所處的狀態(tài)、環(huán)境以及工作階段直觀地反饋給操作員，以便操作員在動態(tài)任務(wù)下進(jìn)行更好的控制，完成動態(tài)任務(wù)。對于機(jī)器人視覺交互的研究而言，早期的研究主要集中在利用鼠標(biāo)進(jìn)行界面的交互、虛擬交互上[14]，而對基于信息的視覺跟蹤交互研究目前尚處于起步階段。雖然前人已進(jìn)行了很多機(jī)器人視覺交互的研究，但由于環(huán)境復(fù)雜、任務(wù)動態(tài)、信息量大等問題也給機(jī)器人視覺交互的研究提出了新的要求與挑戰(zhàn)。因此，研究實(shí)時、可靠、精確的機(jī)器人視覺交互選擇是非常必要的。TLD算法是Dr.ZdenekKalal[5_8]在2007年到2010年間提出來并不斷完善的，其將跟蹤、學(xué)習(xí)和檢測融合在一起，相互作用。在跟蹤目標(biāo)的同時，學(xué)習(xí)目標(biāo)的特征，并通過檢測器實(shí)時檢驗(yàn)特征的正確性，進(jìn)行反饋驗(yàn)證’減小誤差。本算法適合長時間跟蹤，可以克服目標(biāo)遮擋和丟失的問題，具有實(shí)時性和精確性。近年來受到了很多學(xué)者的廣泛關(guān)注，并在不斷地研究改進(jìn)。根據(jù)TLD算法的特性，本文采用此方法對目標(biāo)進(jìn)行跟蹤，根據(jù)跟蹤結(jié)果定義控制語義，實(shí)現(xiàn)基于視覺跟蹤的機(jī)器人交互。
NA0是由AldebaranRobotics公司開發(fā)設(shè)計的仿人機(jī)器人。結(jié)合前沿技術(shù)以及專為NA0開發(fā)的編程環(huán)境，使用者可以根據(jù)自己的設(shè)計對NA0進(jìn)行編程，賦予它聽、說、看、感知等能力，實(shí)現(xiàn)機(jī)器人與人、機(jī)器人與機(jī)器人之間的交流。NA0能力出眾、動作流暢、是仿人機(jī)器人中的佼佼者。NA0機(jī)器人身高58cm,重4.8kg;有25個自由度，配有慣性導(dǎo)航儀和閉環(huán)控制系統(tǒng)，具有撅握能力的雙手；配有多種傳感器，包括超聲波傳感器等；CMOS攝像頭，同步動態(tài)隨機(jī)存取存儲器；CRJ為AMDGeode86500MHZ;無線網(wǎng)際網(wǎng)絡(luò)和以太網(wǎng)端口，靈活的操作系統(tǒng)選擇，可以在Linux、Windows等操作系統(tǒng)下編輯；可以進(jìn)行聲音合成、語音識別、視覺識別和探測障礙物等；開放式編程框架，用戶可以根據(jù)自身專業(yè)水平選擇適合自己的高級編程語言，如C++,MATLAB等。NAO有廣泛的應(yīng)用，可將其應(yīng)用于多領(lǐng)域的研究平臺、技術(shù)教育平臺、科技競賽平臺、家庭服務(wù)、展覽展示等。本文主要在展覽展示背景下，以NAO為應(yīng)用平臺，使用NAO的攝像機(jī)，進(jìn)行復(fù)雜背景下視頻的實(shí)時采集，將視覺跟蹤技術(shù)應(yīng)用于NAO機(jī)器人，以自然的方式完成人機(jī)交互展示。
2基于目標(biāo)跟蹤的交互信息識別方法
為建立完整的復(fù)雜背景下的機(jī)器人交互平臺，在視覺跟蹤算法的基礎(chǔ)上，本文提出了一種控制NAO運(yùn)動的跟蹤理解算法，這種算法簡單而高效地將跟蹤算法獲得的對象運(yùn)動軌跡匹配為不同的語義，采用兩種交互形式，一種是自動檢測視頻中的運(yùn)動物體進(jìn)行跟蹤，另一種是手動選擇感興趣的物體進(jìn)行跟蹤。這樣做既豐富了交互形式，也使得NAO面向具體動態(tài)交互任務(wù)具有較好的處理能力。在具體的實(shí)現(xiàn)中，當(dāng)確定跟蹤目標(biāo)之后，該算法首先確定目標(biāo)往哪個方向走，由于跟蹤目標(biāo)過程中采用最小矩形的形式，所以先獲得最小矩形的中心作為目標(biāo)移動的中心點(diǎn)，根據(jù)中心點(diǎn)的坐標(biāo)，確定目標(biāo)移動的方向。設(shè)移動前中心點(diǎn)的坐標(biāo)為（心九），移動后目標(biāo)中心點(diǎn)的坐標(biāo)為（4,凡），根據(jù)坐標(biāo)關(guān)系，當(dāng)目標(biāo)上下運(yùn)動時，橫坐標(biāo)的變化是0,當(dāng)目標(biāo)左右運(yùn)動時，縱坐標(biāo)的變化為0,但是由于目標(biāo)在移動過程中，不一定嚴(yán)格按照直線運(yùn)動，會存在一定的誤差，所以根據(jù)多次實(shí)驗(yàn)結(jié)果。但是這樣定義也存在問題，因?yàn)椴灰欢ò凑罩本€運(yùn)動，除了橫縱坐標(biāo)分別變化以外，還可能出現(xiàn)橫縱坐標(biāo)同時變化的情況，目標(biāo)是沿著傾斜的方向運(yùn)動的，那么這樣定義就無法對目標(biāo)的運(yùn)動進(jìn)行正確的理解，所以還要調(diào)整理解算法，使其更加精確。在上面討論的基礎(chǔ)上，本文引人文獻(xiàn)[9]中的目標(biāo)矢量。首先將整個攝像畫面分為9個區(qū)域，如圖1所示。其中5區(qū)域作為目標(biāo)中心點(diǎn)區(qū)域，其余的分別代表不同的運(yùn)動方向。當(dāng)跟蹤的目標(biāo)從5區(qū)域轉(zhuǎn)移到其他對應(yīng)的區(qū)域時，則表示相應(yīng)的動作，由于區(qū)域的范圍較大，所以可以有效防止相機(jī)或目標(biāo)抖動引起錯誤的理解。NA0機(jī)器人完成一個動作需要特定的時間，所以當(dāng)其接到向某一方向的運(yùn)動命令之后，完成每個動作都應(yīng)留有足夠的時間。在做動作期間，目標(biāo)的運(yùn)動是不起作用的，當(dāng)前運(yùn)動結(jié)束后，才會繼續(xù)檢測運(yùn)動目標(biāo)的中心，這樣做不會出現(xiàn)混亂的情況。使用這種機(jī)制，利用目標(biāo)的跟蹤就可以發(fā)出動作控制的命令。具體的人機(jī)交互系統(tǒng)的控制語義定義如圖2所示。仿人機(jī)器人NAO有很多動作，控制也較為靈活，本文只是進(jìn)行了簡單的實(shí)驗(yàn)，用于驗(yàn)證基于跟蹤交互的準(zhǔn)確性和實(shí)時性，實(shí)現(xiàn)自然的人機(jī)交互，實(shí)際應(yīng)用過程中可以根據(jù)實(shí)際的需要更改NAO的動作，實(shí)現(xiàn)動態(tài)任務(wù)完成交互。
3系統(tǒng)設(shè)計與實(shí)現(xiàn)
本系統(tǒng)以仿人機(jī)器人NAO為實(shí)驗(yàn)平臺，實(shí)驗(yàn)計算機(jī)為CPUE5500@2.80GHz，2GB內(nèi)存，將C++、OpenCV和Matlab程序在MatlabR2009a環(huán)境下運(yùn)行，進(jìn)行交叉編譯完成程序運(yùn)行。使用仿人機(jī)器人NAOv4.0版本的攝像頭獲取視頻圖像，作為實(shí)驗(yàn)資源，攝像頭的型號為MT9M114,本文中使用的圖像是RGB格式，分辨率為320x240,幀率為30幀/s。控制對象為仿人機(jī)器人NA0,無線網(wǎng)絡(luò)實(shí)現(xiàn)NA0機(jī)器人與PC機(jī)相連，通過PC機(jī)發(fā)出相關(guān)指令，實(shí)現(xiàn)對NAO機(jī)器人的動作控制。人機(jī)交互系統(tǒng)的硬件設(shè)備框圖如圖3所示。交互者根據(jù)任務(wù)，選擇交互方式，如果是自然交互，那么背景中只有一個運(yùn)動目標(biāo)，系統(tǒng)自動跟蹤進(jìn)行交互；如果手動選擇感興趣目標(biāo)，就在PC機(jī)界面上選擇自己感興趣的目標(biāo)，后續(xù)的跟蹤和動作控制可以由系統(tǒng)自動實(shí)現(xiàn)。因此，根據(jù)目標(biāo)運(yùn)動軌跡的不同，通過跟蹤理解算法，轉(zhuǎn)化為不同的控制命令，通過無線網(wǎng)絡(luò)傳輸?shù)絅AO機(jī)器人中，實(shí)現(xiàn)了復(fù)雜背景下的視覺跟蹤交互。系統(tǒng)的軟件實(shí)現(xiàn)框圖如圖4所示。
4實(shí)果與分析
為了驗(yàn)證本文機(jī)器人交互系統(tǒng)的有效性，本節(jié)對該系統(tǒng)進(jìn)行了一系列的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。從圖5、圖6中可以看出，該交互系統(tǒng)可以對于目標(biāo)的上下左右運(yùn)動、目標(biāo)窗口尺寸大小變化的情況實(shí)現(xiàn)較好的跟蹤，沒有時間延遲，跟蹤精確，這樣的跟蹤能力說明目標(biāo)分割精確，跟蹤算法實(shí)時性好，精度高。左右運(yùn)動跟蹤過程比較復(fù)雜，目標(biāo)在運(yùn)動的過程中窗口尺寸也在發(fā)生變化，所以，對區(qū)域劃分，設(shè)定一定運(yùn)動范圍的跟蹤理解算法對于交互正確進(jìn)行非常有效，從而實(shí)現(xiàn)了復(fù)雜背景下基于視覺跟蹤的自然人機(jī)交互系統(tǒng)。
5結(jié)論
本文建立了一個面向仿人機(jī)器人NAO的機(jī)器人機(jī)交互平臺，并將視覺跟蹤算法應(yīng)用于該平臺。基于TLD跟蹤方法，建立一個復(fù)雜背景下目標(biāo)跟蹤的機(jī)器人交互平臺，這個平臺將目標(biāo)移動轉(zhuǎn)化為相應(yīng)的控制命令，控制NAO機(jī)器人的運(yùn)動。實(shí)驗(yàn)證明，此交互平臺可以實(shí)時、有效、穩(wěn)定、精確地跟蹤和理解目標(biāo)的運(yùn)動，可根據(jù)跟蹤結(jié)果完成交互任務(wù)。
作者：張丹 陳興文 趁姝穎 單位：大連民族大學(xué)創(chuàng)新教育中心 東北大學(xué)信息科學(xué)與工程學(xué)院
