結合視覺互動控制之智慧型人形照護機器人 - 真理大學人文與資訊

《結合視覺互動控制之智慧型人形照護機器人 - 真理大學人文與資訊》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、結合視覺互動控制之智慧型人形照護機器人HuamnoidCareRobotWithVisualInteractiveAndRemoteControlSystem成明,徐振峰國立臺北科技大學資訊工程學系{t9590310,t9590337}@ntut.edu.tw余兆偉國立臺北科技大學資訊工程學系david741002@gmail.com陳彥霖*國立臺北科技大學資訊工程學系ylchen@csie.ntut.edu.tw【摘要】本專案將研究開發一結合視覺互動控制之智慧型人形照護機器人，所研發的平台機器人為NAO機器人。在專案中將利用遠端操控

2、結合自定義的自動平衡控制動作來改變機器人的行為動作。在本專案中，將利用機器人身上的攝影鏡頭，以無線通訊的方式將現場畫面傳回給操作人員，使用者可以遠端遙控的方式下達命令操縱機器人，以讓機器人更具機動力。而本專案最大特點則是將機器人本身的平衡動作與操作人員的操作加以結合，輔以經過處理的影像資訊以及遠端傳輸之功能，以達到居家照護、環境監控等功能。【關鍵詞】EmbeddedSystem、RemoteControl、IntelligentRobot、Kinect、Streaming1.系統功能簡介1.1.系統功能本專案結合多種領域之技術，將其應

3、用在智慧型人形照護機器人上。其領域包括：遠端遙控技術、體感動作截取、LeapMotion、音訊傳輸、OpenCV、影像處理、等等……，各種領域的技術，使其擁有多種跨領域的應用。而綜合以上之功能，主要將本專案之系統區分成三大部分：影像處理部分、互動操作部分、居家生活部分。1.影像處理部分：a、即時影像傳輸：利用機器人身上之HDCamera所抓取之影像，經過彩度次取樣(YCbCr4:2:0)後，透過Socket經由Internet傳輸到Device端，經由OpemCV影像處理後，顯示影像，達成即時影像傳輸之功能。b、人臉偵測：將機器人所傳

4、回之影像，利用OpenCV的函示庫來進行人臉偵測之功能。c、人臉追蹤：利用人臉偵測之結果，藉由更改機器人攝影機關節角度，將所抓取之人臉範圍保持在畫面之中央，以達到人臉追蹤之功能。d、人臉識別：利用現場或先前建立人臉資料庫，再利用OpenCV進行EigenFace和FisherFace以交互比對，提高人臉辨識之準確度。2.互動操作部分：a、PC遠端遙控：利用個人電腦(PC)進行遠端的操作，此操作功能最齊全，可用鍵盤、滑鼠進行機器人的移動操作，以及利用介面上之各種Button達成其他操作之行為，詳細內容見第六章。b、Kinect肢體模擬：

5、藉由安裝使用OpenNI、KinectSDK，即可利用電腦外接KinectDevice來開啟Kinect肢體模擬之功能。利用Kinect抓取人體骨架，換算為機器人肢體關節之角度，以達到機器人模擬人為操作之肢體模擬的功能。c、LeapMotion手勢操作：藉由安裝並使用LeapMotionSDK，即可利用電腦外接LeapMotionDevice來開啟LeapMotion手勢辨識以操作機器人移動和相關動作之功能。3.居家生活部分：a、語音傳訊：利用Win32API於電腦端進行錄音，再藉由將語音錄製成PCM之格式，利用Socket透過Int

6、ernet傳到機器人端之揚聲器進行解碼撥放，來達到即時語音傳訊之功能。b、排程控管：在遠端系統裝置上實作一排程控管系統，在所設定之時間來臨時，遠端系統將會自動進行撥放音樂、網路串流、語音文本播放之功能。以達到提醒、通知等相關排程之功能。a、網路串流：在機器人上實作網路stream串流之撥放功能，再於遠端控制端上進行網路串流之分析、解碼。並將解碼之網路串流傳於機器人端進行撥放，以達到娛樂、教學之網路串流播放之功能。b、語音互動：在機器人端安裝TTS(TextToSpeech)Engine、ASR(AutomaticSpeechRecog

7、nition)Engine，來將機器人藉由麥克風所收集到之音訊於遠端遙控端之語音資料庫進行波型的比對和處理，並辨識為何筆資料。再藉由機器人說話之功能來進行語音的互動。2.研究內容與方法本專案結合多種領域之技術，將其應用在智慧型人形照護機器人上。其領域包括：遠端遙控技術、體感動作截取、LeapMotion、音訊傳輸、OpenCV、影像處理、等等……，各種領域的技術，使其擁有多種跨領域的應用。2.1體感動作截取本專案利用現在市面上就可以購買到的體感裝置—Kinect，將使用者的動作擷取之後，轉換為控制機器人動作的指令，使機器人可以照著操控

8、者的動作達到相似的動作。對於機器人的控制方面，主要是機器人四肢控制的部分。因此，為了使機器人便於操縱，並做出操縱者想要的姿勢，在此採取了使用Kinect和OpenNI平台來讀取操縱者關節點(Joint)，如圖五所示，再以