รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ

งานนำเสนอเรื่อง: "รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ"— ใบสำเนางานนำเสนอ:

1 รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ
Optic Flow-Based navigation System FOR unmanned air vehicle ระบบการนำร่องด้วยวิธี Optical flow-based สำหรับอากาศยานไร้คนขับ เรียบเรียงโดย น.ต.วัชรพงษ์ เข็มเพ็ชร รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ

2

3 โครงสร้างของ UAV โดยทั่วไป
Flight Controller GPS IMU RADAR Pt-St UAV Dynamics Feedback Control ทิศทาง ตำแหน่ง สิ่งกีดขวาง เร็ว+สูง

4 ข้อจำกัดของการใช้ INS + GPS + Radar
มีขนาดใหญ่ น้ำหนักมาก ไม่สามารถใช้กับ UAV ขนาดเล็กได้ จะใช้พลังงานไฟฟ้ามาก GPS ไม่สามารถใช้งานได้เมื่ออยู่ภายในอาคาร หรือพื้นที่อับสัญญาณ ข้อดีของ Visual Based Navigation Passive Sensor(camera) น้ำหนักเบา ให้ข้อมูลที่สามารถนำไปประยุกต์ใช้งานอื่นๆได้ สามารถไปได้ทุกที่

5 Type of Visual Navigation
Map-based Navigation Systems : เริ่มต้นจากการให้หุ่นยนต์ศึกษาเส้นทางและสถานที่สำคัญโดยข้อมูลที่ได้จากถูกนำมาสร้างภาพ 2D จากนั้นผู้ใช้จึงกำหนดเป้าหมายที่จะไป Map-building Navigation Systems : วิธีการเดียวกับวิธีการข้างต้นแต่ข้อมูลที่ได้มาสร้างเป็นภาพ 3D Mapless Navigation Systems : วิธีการนี้ไม่จำเป็นต้องศึกษาเส้นทางก่อนเพียงแต่ใช้เทคนิคทางคณิตศาสตร์และ 3D ในการคำนวณหาภาพถัดไป ส่วนใหญ่ใช้วิธี Optical Flow-Based ในการคำนวณภาพ

6 จุดกำเนิดของ Optical Flow

7 โครงสร้างของ Optical Flow-Based UAV
Vision Module Control Module

8 Vision Module Optical Flow Computation ทำหน้าที่ในการแปลงภาพ 2 มิติมาสร้างให้เป็นภาพ 3 มิติที่สัมพันธ์กับสภาวะจริง Optical Flow Interpretation ทำหน้าที่ในการนำภาพที่ได้จาก ขั้นตอนแรกไปปรับปรุงใช้งานจากการหมุนของภาพที่ได้ เทียบกับอัตราเร็วเชิงมุม(Angular Rate)ของภาพก่อนหน้า และการปรับขอบของภาพให้เข้ากัน

9 Predictation-based Optical Flow with Adaptive Path

10 Structure From Motion(SFM) 3D motion estimation and obstacles detection
Geometrical Transformation

11 Perspective-central Projection
Geometrical Transformation Optical Flow Differential

12 ส่วนประกอบของฮาร์ดแวร์
WiFi Antenna GPS Antenna Microcontroller Vision System Navigation Sensor X-3D-BL

13 Hardware Achitecture

14 การบินทดสอบ Velocity Control
OF-based Velocity as accurate as GPS data (วีดีโอ)

15 การบินทดสอบ Position Control
OF-based Position Height and Horizontal more accurate than GPS

16 Indoor Experiment (วีดีโอ)
ในการทดสอบนี้ได้ทำการทดสอบในงานแสดงนานาชาติ Tokyo Big Sight (วีดีโอ)

17 Experiment Result : Indoor Position and Height
Autonomous Flight Auto Flight มีความ stable มากกว่า Manual Flight

18 Applications University
Object Tracking Automatic Vertical Take-off and Landing(VTOL) อุปกรณ์สืบค้นในโรงงานไฟฟ้านิวเคลียร์ การจับรถถัง หรือยานพาหนะ University of Technology of Compiegne, France Chiba University, Japan Massachusetts Institute of Technology, USA University

19 คำถามและข้อเสนอแนะ ?

20 Video vision-based precise auto-landing: optic flow based autonomous indoor flight: Visual Servoing of a Miniature Rotorcraft UAV for Moving Ground Target Tracking: velocity trajectory tracking using optic flow: moving target tracking: vision-based hovering: Fully autonomous flight of a rotorcraft MAV using optic flow: spiral trajectory tracking by an autonomous quadrotor micro air vehicle: waypoint navigation of a small rotorcraft micro air vehicle:

21 บรรณานุกรม Farid Kendoul, Isabelle Fantoni, Kenzo Nonami."Optic Flow-Based Vision System for Autonomous 3D Localization and Control of Small Aerial Vehicles".University of Technology of Compiegne, Compigne, France. Terry Cornall, Greg Egan.”Optical Flow methods applied to unmanned air vehicles”.Monash University, Clayton 3800 Victoria, Australia. Francisco Jes´us Bonin Font. “An Inverse-Perspective-based Approach to Monocular Mobile Robot Navigation”. Universitat de les Illes Balears, 2012 Francisco Bonin-Font, Alberto Ortiz and Gabriel Oliver. “Visual Navigation for Mobile Robots: a Survey”. Department of Mathematics and Computer Science, University of the Balearic Islands,Palma de Mallorca, Spain. Jiangjian Xiao, Changjiang Yang, Feng Han, and Hui Cheng."Vehicle and Person Tracking in UAV Videos".Sarnoff Corporation. Randolf Menzel, Karl GeiGer, Lars Chittka, JasDan Joerges, Jan Kunze and Uli Muller.”The Knowlwdge Base of Bee Navigation”. Berlin, Germany. Dacke, M. and Srinivasan, M. V. (2007). Honeybee navigation: distance estimation in the third dimension. J. Exp. Biol. 210, “FastAppearance Based Mapping”. /~mobile/wikisite/pmwiki/pmwiki.php?n=Main.FABMAP

22 การบินทดสอบ Position Control Optical Flow and Image Displacement

23 การบินทดสอบ Position Control ภาพที่เกิดจาก Integrate Displacement
ภาพจากกล้องวีดีโอเมื่อทดสอบ Position Control ภาพที่เกิดจาก integrate displacement สำหรับ position feedback Poor image quality and textureless environment

24 3 Nested Kalman Filters(3NKF)
1St KF ปรับปรุงคุณภาพ และความเข้มแสงของภาพ เพื่อสร้างภาพ 3 มิติ 2Nd KF ปรับปรุงการหมุนของภาพ 3Rd KF ปรับปรุงการเปลี่ยนแปลงของภาพจาก ความเร็วของภาพที่เปลี่ยนไป

25 Block Matching Technique
Sum of Absolute Difference(SAD) Nominal Displacement Shape of Path Transformation

26 Differential Algorithm
Observed Brightness State Vector of X by brownian process

27 Optical Flow Mapless Method
Optical flow คือ vector field ซึ่งแสดงถึงทิศทางและขนาดของการเปลี่ยนแปลงความเข้ม(intensity)จากภาพหนึ่งกับภาพอื่นๆ เพื่อเทียบเคียงกันถึงแม้จะมีมุมของภาพ หรือแสงที่ต่างกัน brightness constant constraint(BCC) and smoothness constraint (u,v) = optical flow vector (Ix,Iy)=image intensity gradient It=temporal change

28 Perspective Projection Model
Translation velocity Rotation Image coordinate of P Object

29 Optical Patterns Fig.3 Motion Z axis
Distinct max magnitude of divergence Divergence and curl plot hotter colors=greater magnitude Fig.4 pitching motion

30 Fig.5 Rotational Field an Curl
Curl=max at rotation axis Fig.6 Combine rotation and translation

31 Ground Control Station
Display Flight Send Navigation Command take-off, landing, hovering GPS and INS = Position and Velocity AHRS = Attitude Vision-based คำนวณหา ความเร็ว, ความสูง และตำแหน่ง จากภาพ เทียบกับ IMU ความเร็ว, ความสูง, ตำแหน่ง ที่คำนวณได้จาก Vision-based และจาก GPS/INS จะถูกนำมาเปรียบเทียบกันที่ Ground Control Station เพื่อทดสอบความแม่นยำ

32 ผลการทดสอบ Velocity Control
ความสามารถการ hovering flight และ velocity trajectory tracking(forward, backward, sideward) เพื่อทดสอบการ sfm algorithm (ความเร็ว สูง) Take off->hover->trajectory ผลการทดสอบ ความเร็ว การนำทางโดย vision และ gps ตรงกัน

33 ทดสอบความสามารถของ trajectory(position,height, velocity, orientation)
Take off->hovering->auto landing

34 ได้ทำการแสดงในงาน Tokyo big sight international exhibition