งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

1 Image Processing & Computer Vision Optical Flow Motion.

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "1 Image Processing & Computer Vision Optical Flow Motion."— ใบสำเนางานนำเสนอ:

1 1 Image Processing & Computer Vision Optical Flow Motion

2 2 Optical Flow & Motion (a) Time t1(b) Time t2(c) Optical Flow Optical Flow คือภาพ เส้น ทิศทางแสดง การเคลื่อนที่ ของวัตถุ ต่าง ๆ ที่อยู่ใน ภาพ จาก Frame ที่ t1 กับ Frame ที่ t2

3 3 Optical Flow & Motion Example of Application using Optical Flow & Motion

4 4 Constraints สำหรับ Optical Flow เมื่อใช้กับ Gibbs Sampler 1. Data Constraints  ภาพเฟรมปัจจุบันของแต่ ละจุด จะต้องมีความเข้มของสี (image intensity) เหมือนกันกับภาพของเฟรมถัดไป โดยทำการบวก หรือลบค่าของ Vector u และ v 2. Smoothness Constraints  ค่า u และ v จะต้อง smooth หมายถึงว่า การเข้าไปดูค่า u และ v ของ เพื่อนบ้าน (neighbor) ด้วยว่า สอดคล้องกันหรือไม่ Energy =  xy [(I t (x,y) - I t+1 (x+v(x,y),y+u(x,y)) ) 2 + (u(x+1,y) – u(x,y)) 2 + (u(x,y+1) – u(x,y)) 2 + (v(x+1,y) – v(x,y)) 2 + (v(x,y+1) – v(x,y)) 2 ] Data Constraints Smoothness Constraints

5 5 Algorithm using Gibbs Sampler 1. Start Temperature T is high 2. Initialize u(x,y) = Random Initialize v(x,y) = Random For each pixel(x,y) For each state Su = -20…20 For each state Sv = if u(x,y) = -20 and v(x,y) = -20; E -20,-20 = … ; P -20,-20 = exp (-E-20,-20/T) if u(x,y) = -20 and v(x,y) = -19; E -20,-19 = … ; P -20,-19 = exp (-E-20,-19/T) ………………………. if u(x,y) = 20 and v(x,y) = 19; E 20,19 = … ; P 20,19 = exp (-E20,19/T) if u(x,y) = 20 and v(x,y) = 20; E 20,20 = … ; P 20,20 = exp (-E20,20/T) For each Prob i = Pi / sum(Pi) 4. Sample for state S from pdf Prob ui and Prob vi u(x,y) = State Su v(x,y) = State Sv 5. Reduce T = T * Repeat step 3-4 Until E is stable

6 6 Optical Flow & Motion using Gibbs Sampler Frame t Frame t+1 Optical Flow u and v

7 7 Example Frame t Frame t+1 u value v value

8 8 Example Frame t Frame t+1 Random u valueRandom v value

9 9 Image Processing & Computer Vision Motion From 2D Image Sequence

10 10 Motion Detection Example Input Image Image Subtraction Region of Motion

11 11 Motion Detection Algorithm ( กรณี มีสิ่งแปลกปลอมที่แตกต่างจาก background) Input ภาพ video เข้ามาเป็น sequence โดยเรียงลำดับตาม Time ( เวลา ) และเก็บภาพเป็น Frame = F t1 [i,j]……F tn [i,j] For all pixels[i,j] in current frame set I out [i,j] = 1 if | I Ft [i,j] – I Ft+1 [i,j] | > T ซึ่ง I out จะหมายถึงภาพสีขาวดำ แสดงว่าวัตถุมีการ เคลื่อนไหว ซึ่งถ้า I out เป็นสีดำทั้งหมด แสดงว่า เฟรม ปัจจุบัน และ เฟรมถัดไป ไม่มีการเคลื่อนไหวเพราะเมื่อ ลบ กันแล้วไม่มีความแตกต่าง หา connected components ของ I out โดยใช้วิธี blob coloring หรือ การ projection ทำการ Remove พื้นที่เล็ก ๆ (small region) เพราะว่าพื้นที่ เล็ก ๆ เป็น noise threshold

12 12 Motion Detection Algorithm ( กรณี background คงที่ ) เมื่อ remove พื้นที่เล็ก ๆ ออก (Size Filtering) และให้ ทำการพิจารณาพื้นที่ ที่เหลือ ทำการตัดพื้นที่ส่วนที่เหลือออก และนำเทียบกับภาพ frame ผลลัพธ์ก็คือ จะได้ภาพของวัตถุที่แปลกปลอม และมีการเคลื่อนไหวอยู่ในภาพ

13 13 Example Frame t Frame t+1 Image Subtraction (I out ) Motion Object

14 14 Example Frame t Frame t+1 Image Subtraction (I out ) Motion Object

15 15 Size Filtering Size Filtering คือการกำจัด (remove) พื้นที่สีขาว ขนาดเล็กจากภาพความแตกต่างระหว่าง Frame t และ Frame t+1 สามารถกำจัดโดยการหาพื้นที่ที่เล็กกว่าค่า threshold(T) ที่ตั้งไว้ โดยถ้าพื้นที่สีขาวมีขนาด เล็กกว่า T ให้ทำการกำจัดพื้นที่นั้นออก โดย set ให้ พื้นที่สีขาวเล็ก ๆ เหล่านั้น เป็นสีดำ สมมุติให้ค่า T=20 ผลที่ได้คือ พื้นที่เล็ก ๆ จะ ถูกกำจัดออกไป

16 16 การประยุกต์ใช้ Motion Detection กับ การหมุนตามวัตถุ ของกล้อง สามารถนำ Motion Detection 2D ไปประยุกต์ใช้ งานกับกล้องเพื่อตรวจจับความเคลื่อนไหวของวัตถุ การทำ Motion Detection 2D นี้สามารถบังคับให้ กล้องหมุนตามวัตถุได้ในทิศทาง 360 องศา

17 17 วิธีกำหนดให้กล้องหมุนซ้ายหรือ ขวา - แบ่งพื้นที่ของ different image โดยแบ่งพื้นที่ 20% จากความกว้าง ของภาพจากทางซ้าย และทางขวา โดยทำการแบ่งจากภาพ different image ของทุก Frame - คำนวณหาพื้นที่ของ pixel สีขาว ที่ส่วนกลาง, ซ้าย และขวา ของทุก Frame - เก็บค่าพื้นที่สีขาวเป็น เปอร์เซ็นต์เมื่อเทียบกับ พื้นที่สีขาวของทั้งภาพ ทั้ง ส่วน กลาง, ซ้าย และขวา - เปรียบเทียบว่า ส่วน กลาง ซ้าย หรือ ขวา มีเปอร์เซ็นต์ของพื้นที่สีขาวเยอะที่สุด ให้หันกล้องตามนั้น โดย ถ้าพ. ท. ซ้ายมาก หันซ้าย ถ้าพ. ท. ขวามาก หันขวา ถ้าพ. ท. กลางมาก ไม่หันกล้อง Frame t Frame t+1 Center Area

18 18 วิธีกำหนดให้กล้องหมุนซ้ายหรือ ขวา (Example) หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ. ท. center = 13 ดังนั้น พ. ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (13x100)/13 = 100% - หาพ. ท. left = 0 ดังนั้น พ. ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (0x100)/13 = 0% - หาพ. ท. right = 0 ดังนั้น พ. ท. ขวา มีค่าเป็นเปอร์เซ็นต์ (0x100)/13 = 0% ดังนั้น ไม่หันกล้อง Center Area Frame t

19 19 วิธีกำหนดให้กล้องหมุนซ้ายหรือ ขวา (Example) Frame t+1 หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ. ท. center = 9 ดังนั้น พ. ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (9x100)/13 = 69.23% - หาพ. ท. left = 4 ดังนั้น พ. ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (4x100)/13 = 30.77% - หาพ. ท. right = 0 ดังนั้น พ. ท. ขวา มีค่าเป็นเปอร์เซ็นต์ (0x100)/13 = 0% ดังนั้น ไม่หันกล้อง Center Area

20 20 วิธีกำหนดให้กล้องหมุนซ้ายหรือ ขวา (Example) Frame t+2 Center Area หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ. ท. center = 1 ดังนั้น พ. ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (1x100)/13 = 7.69% - หาพ. ท. left = 0 ดังนั้น พ. ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (0x100)/12 = 0% - หาพ. ท. right = 0 ดังนั้น พ. ท. ขวา มีค่าเป็นเปอร์เซ็นต์ (12x100)/13 = 92.30% ดังนั้น กล้องจะหันทางขวา

21 21 วิธีกำหนดให้กล้องหมุนซ้ายขวา, บนล่าง แบ่งพื้นที่ของภาพออกเป็น 6 ส่วน คือ top left, top, top right, left, center, right, bottom left, bottom, bottom right Top left TopTop right Left CenterRight Bottom left Bottom Bottom right

22 22 วิธีกำหนดให้กล้องหมุนซ้ายขวา, บน ล่าง (example) ความกว้าง = 20 ดังนั้น 20/3 = 6.67 = 7 ดังนั้น แบ่งทางซ้าย 7 pixels แบ่งทางขวา 7 pixels ส่วนที่เหลือเป็นตรงกลาง 6 pixels ความสูง = 10 ดังนั้น 10/3 = 3.33 = 3 ดังนั้น แบ่งด้านบน 3 pixels แบ่งด้านล่าง 3 pixels ส่วนที่เหลือเป็นตรงกลาง 4 pixels

23 23 - หาพื้นที่สีขาวทั้งหมด = 27 - หาพ. ท. topleft = 14 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ คือ (14x100)/27 = 51.85% - หาพ. ท. top = 1 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (1x100)/27 = 3.70% - หาพ. ท. topright = 0 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (0x100)/27 = 0% - หาพ. ท. left = 6 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (6x100)/27 = 22.22% Frame t วิธีกำหนดให้กล้องหมุนซ้ายขวา, บนล่าง (example) - หาพ. ท. center = 2 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (2x100)/27 = 7.40% - หาพ. ท. right = 2 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (2x100)/27 = 7.40% - หาพ. ท. bottomleft = 0 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (0x100)/27 = 0% - หาพ. ท. bottom = 1 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (1x100)/27 = 3.70% - หาพ. ท. bottomright = 1 ดังนั้น พ. ท. มีค่าเป็นเปอร์เซ็นต์ (1x100)/27 = 3.70% ดังนั้นหันกล้องไปทาง topleft


ดาวน์โหลด ppt 1 Image Processing & Computer Vision Optical Flow Motion.

งานนำเสนอที่คล้ายกัน


Ads by Google