รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ Optic Flow-Based navigation System FOR unmanned air vehicle ระบบการนำร่องด้วยวิธี Optical flow-based สำหรับอากาศยานไร้คนขับ เรียบเรียงโดย น.ต.วัชรพงษ์ เข็มเพ็ชร รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ

โครงสร้างของ UAV โดยทั่วไป Flight Controller GPS IMU RADAR Pt-St UAV Dynamics Feedback Control ทิศทาง ตำแหน่ง สิ่งกีดขวาง เร็ว+สูง

ข้อจำกัดของการใช้ INS + GPS + Radar มีขนาดใหญ่ น้ำหนักมาก ไม่สามารถใช้กับ UAV ขนาดเล็กได้ จะใช้พลังงานไฟฟ้ามาก GPS ไม่สามารถใช้งานได้เมื่ออยู่ภายในอาคาร หรือพื้นที่อับสัญญาณ ข้อดีของ Visual Based Navigation Passive Sensor(camera) น้ำหนักเบา ให้ข้อมูลที่สามารถนำไปประยุกต์ใช้งานอื่นๆได้ สามารถไปได้ทุกที่

Type of Visual Navigation Map-based Navigation Systems : เริ่มต้นจากการให้หุ่นยนต์ศึกษาเส้นทางและสถานที่สำคัญโดยข้อมูลที่ได้จากถูกนำมาสร้างภาพ 2D จากนั้นผู้ใช้จึงกำหนดเป้าหมายที่จะไป Map-building Navigation Systems : วิธีการเดียวกับวิธีการข้างต้นแต่ข้อมูลที่ได้มาสร้างเป็นภาพ 3D Mapless Navigation Systems : วิธีการนี้ไม่จำเป็นต้องศึกษาเส้นทางก่อนเพียงแต่ใช้เทคนิคทางคณิตศาสตร์และ 3D ในการคำนวณหาภาพถัดไป ส่วนใหญ่ใช้วิธี Optical Flow-Based ในการคำนวณภาพ

จุดกำเนิดของ Optical Flow

โครงสร้างของ Optical Flow-Based UAV Vision Module Control Module

Vision Module Optical Flow Computation ทำหน้าที่ในการแปลงภาพ 2 มิติมาสร้างให้เป็นภาพ 3 มิติที่สัมพันธ์กับสภาวะจริง Optical Flow Interpretation ทำหน้าที่ในการนำภาพที่ได้จาก ขั้นตอนแรกไปปรับปรุงใช้งานจากการหมุนของภาพที่ได้ เทียบกับอัตราเร็วเชิงมุม(Angular Rate)ของภาพก่อนหน้า และการปรับขอบของภาพให้เข้ากัน

Predictation-based Optical Flow with Adaptive Path

Structure From Motion(SFM) 3D motion estimation and obstacles detection Geometrical Transformation

Perspective-central Projection Geometrical Transformation Optical Flow Differential

ส่วนประกอบของฮาร์ดแวร์ WiFi Antenna GPS Antenna Microcontroller Vision System Navigation Sensor X-3D-BL

Hardware Achitecture

การบินทดสอบ Velocity Control OF-based Velocity as accurate as GPS data (วีดีโอ)

การบินทดสอบ Position Control OF-based Position Height and Horizontal more accurate than GPS

Indoor Experiment (วีดีโอ) ในการทดสอบนี้ได้ทำการทดสอบในงานแสดงนานาชาติ Tokyo Big Sight (วีดีโอ)

Experiment Result : Indoor Position and Height Autonomous Flight Auto Flight มีความ stable มากกว่า Manual Flight

Applications University Object Tracking Automatic Vertical Take-off and Landing(VTOL) อุปกรณ์สืบค้นในโรงงานไฟฟ้านิวเคลียร์ การจับรถถัง หรือยานพาหนะ University of Technology of Compiegne, France Chiba University, Japan Massachusetts Institute of Technology, USA University

คำถามและข้อเสนอแนะ ?

Video vision-based precise auto-landing: http://www.youtube.com/watch?v=rbmsivw5luk optic flow based autonomous indoor flight: http://www.youtube.com/watch?v=Zt2WisDjUY0 Visual Servoing of a Miniature Rotorcraft UAV for Moving Ground Target Tracking: http://www.youtube.com/watch?v=-IpbOd-UuG4 velocity trajectory tracking using optic flow: http://www.youtube.com/watch?v=Zp12GjZzjt4 moving target tracking: http://www.youtube.com/watch?v=6obHavVvJyk vision-based hovering: http://www.youtube.com/watch?v=9I8BXtbrDQM Fully autonomous flight of a rotorcraft MAV using optic flow: http://www.youtube.com/watch?v=6U0IhPlYXKw spiral trajectory tracking by an autonomous quadrotor micro air vehicle: http://www.youtube.com/watch?v=r4eOUDA3JJo waypoint navigation of a small rotorcraft micro air vehicle: http://www.youtube.com/watch?v=Lo9qJz69uuQ

บรรณานุกรม Farid Kendoul, Isabelle Fantoni, Kenzo Nonami."Optic Flow-Based Vision System for Autonomous 3D Localization and Control of Small Aerial Vehicles".University of Technology of Compiegne, 60200 Compigne, France. Terry Cornall, Greg Egan.”Optical Flow methods applied to unmanned air vehicles”.Monash University, Clayton 3800 Victoria, Australia. Francisco Jes´us Bonin Font. “An Inverse-Perspective-based Approach to Monocular Mobile Robot Navigation”. Universitat de les Illes Balears, 2012 Francisco Bonin-Font, Alberto Ortiz and Gabriel Oliver. “Visual Navigation for Mobile Robots: a Survey”. Department of Mathematics and Computer Science, University of the Balearic Islands,Palma de Mallorca, Spain. Jiangjian Xiao, Changjiang Yang, Feng Han, and Hui Cheng."Vehicle and Person Tracking in UAV Videos".Sarnoff Corporation. Randolf Menzel, Karl GeiGer, Lars Chittka, JasDan Joerges, Jan Kunze and Uli Muller.”The Knowlwdge Base of Bee Navigation”. Berlin, Germany. Dacke, M. and Srinivasan, M. V. (2007). Honeybee navigation: distance estimation in the third dimension. J. Exp. Biol. 210, 845-853. “FastAppearance Based Mapping”.www.robots.ox.ac.uk /~mobile/wikisite/pmwiki/pmwiki.php?n=Main.FABMAP

การบินทดสอบ Position Control Optical Flow and Image Displacement

การบินทดสอบ Position Control ภาพที่เกิดจาก Integrate Displacement ภาพจากกล้องวีดีโอเมื่อทดสอบ Position Control ภาพที่เกิดจาก integrate displacement สำหรับ position feedback Poor image quality and textureless environment

3 Nested Kalman Filters(3NKF) 1St KF ปรับปรุงคุณภาพ และความเข้มแสงของภาพ เพื่อสร้างภาพ 3 มิติ 2Nd KF ปรับปรุงการหมุนของภาพ 3Rd KF ปรับปรุงการเปลี่ยนแปลงของภาพจาก ความเร็วของภาพที่เปลี่ยนไป

Block Matching Technique Sum of Absolute Difference(SAD) Nominal Displacement Shape of Path Transformation

Differential Algorithm Observed Brightness State Vector of X by brownian process

Optical Flow Mapless Method Optical flow คือ vector field ซึ่งแสดงถึงทิศทางและขนาดของการเปลี่ยนแปลงความเข้ม(intensity)จากภาพหนึ่งกับภาพอื่นๆ เพื่อเทียบเคียงกันถึงแม้จะมีมุมของภาพ หรือแสงที่ต่างกัน brightness constant constraint(BCC) and smoothness constraint (u,v) = optical flow vector (Ix,Iy)=image intensity gradient It=temporal change

Perspective Projection Model Translation velocity Rotation Image coordinate of P Object

Optical Patterns Fig.3 Motion Z axis Distinct max magnitude of divergence Divergence and curl plot hotter colors=greater magnitude Fig.4 pitching motion

Fig.5 Rotational Field an Curl Curl=max at rotation axis Fig.6 Combine rotation and translation

Ground Control Station Display Flight Send Navigation Command take-off, landing, hovering GPS and INS = Position and Velocity AHRS = Attitude Vision-based คำนวณหา ความเร็ว, ความสูง และตำแหน่ง จากภาพ เทียบกับ IMU ความเร็ว, ความสูง, ตำแหน่ง ที่คำนวณได้จาก Vision-based และจาก GPS/INS จะถูกนำมาเปรียบเทียบกันที่ Ground Control Station เพื่อทดสอบความแม่นยำ

ผลการทดสอบ Velocity Control ความสามารถการ hovering flight และ velocity trajectory tracking(forward, backward, sideward) เพื่อทดสอบการ sfm algorithm (ความเร็ว สูง) Take off->hover->trajectory ผลการทดสอบ ความเร็ว การนำทางโดย vision และ gps ตรงกัน

ทดสอบความสามารถของ trajectory(position,height, velocity, orientation) Take off->hovering->auto landing

ได้ทำการแสดงในงาน Tokyo big sight international exhibition