Image Processing & Computer Vision Optical Flow Motion

Optical Flow & Motion Optical Flow คือภาพ เส้นทิศทางแสดง การเคลื่อนที่ของวัตถุ ต่าง ๆ ที่อยู่ในภาพ จาก Frame ที่ t1 กับ Frame ที่ t2 (a) Time t1 (b) Time t2 (c) Optical Flow

Optical Flow & Motion Example of Application using Optical Flow & Motion

Constraints สำหรับ Optical Flow เมื่อใช้กับ Gibbs Sampler Data Constraints  ภาพเฟรมปัจจุบันของแต่ละจุด จะต้องมีความเข้มของสี (image intensity) เหมือนกันกับภาพของเฟรมถัดไป โดยทำการบวกหรือลบค่าของ Vector u และ v Smoothness Constraints  ค่า u และ v จะต้อง smooth หมายถึงว่า การเข้าไปดูค่า u และ v ของ เพื่อนบ้าน (neighbor) ด้วยว่า สอดคล้องกันหรือไม่ Energy = xy [(It(x,y) - It+1(x+v(x,y),y+u(x,y)) )2 + (u(x+1,y) – u(x,y))2 + (u(x,y+1) – u(x,y))2 + (v(x+1,y) – v(x,y))2 + (v(x,y+1) – v(x,y))2 ] Data Constraints Smoothness Constraints

Algorithm using Gibbs Sampler 1. Start Temperature T is high 2. Initialize u(x,y) = Random -20...20 Initialize v(x,y) = Random -20...20 3. For each pixel(x,y) For each state Su = -20…20 For each state Sv = -20..20 if u(x,y) = -20 and v(x,y) = -20; E-20,-20 = … ; P-20,-20 = exp(-E-20,-20/T) if u(x,y) = -20 and v(x,y) = -19; E-20,-19 = … ; P-20,-19 = exp(-E-20,-19/T) ………………………. if u(x,y) = 20 and v(x,y) = 19; E20,19 = … ; P20,19 = exp(-E20,19/T) if u(x,y) = 20 and v(x,y) = 20; E20,20 = … ; P20,20 = exp(-E20,20/T) For each Probi = Pi / sum(Pi) 4. Sample for state S from pdf Probui and Probvi u(x,y) = State Su v(x,y) = State Sv 5. Reduce T = T * 0.9 6. Repeat step 3-4 Until E is stable

Optical Flow & Motion using Gibbs Sampler Framet Framet+1 u and v Optical Flow

Example Framet Framet+1 u value v value

Example Framet Framet+1 Random u value Random v value

Image Processing & Computer Vision Motion From 2D Image Sequence

Motion Detection Example Input Image Image Subtraction Region of Motion

Motion Detection Algorithm (กรณี มีสิ่งแปลกปลอมที่แตกต่างจาก background) Input ภาพ video เข้ามาเป็น sequence โดยเรียงลำดับตาม Time (เวลา) และเก็บภาพเป็น Frame = Ft1[i,j]……Ftn[i,j] For all pixels[i,j] in current frame set Iout[i,j] = 1 if | IFt[i,j] – IFt+1[i,j] | > T ซึ่ง Iout จะหมายถึงภาพสีขาวดำ แสดงว่าวัตถุมีการเคลื่อนไหว ซึ่งถ้า Iout เป็นสีดำทั้งหมด แสดงว่า เฟรมปัจจุบัน และ เฟรมถัดไป ไม่มีการเคลื่อนไหวเพราะเมื่อ ลบกันแล้วไม่มีความแตกต่าง หา connected components ของ Iout โดยใช้วิธี blob coloring หรือ การ projection ทำการ Remove พื้นที่เล็ก ๆ (small region) เพราะว่าพื้นที่เล็ก ๆ เป็น noise threshold

Motion Detection Algorithm (กรณี background คงที่) เมื่อ remove พื้นที่เล็ก ๆ ออก (Size Filtering) และให้ทำการพิจารณาพื้นที่ ที่เหลือ ทำการตัดพื้นที่ส่วนที่เหลือออก และนำเทียบกับภาพ frame ผลลัพธ์ก็คือ จะได้ภาพของวัตถุที่แปลกปลอมและมีการเคลื่อนไหวอยู่ในภาพ

Example Framet+1 Framet Image Subtraction (Iout) Motion Object

Example Framet Framet+1 Image Subtraction (Iout) Motion Object

Size Filtering Size Filtering คือการกำจัด(remove) พื้นที่สีขาวขนาดเล็กจากภาพความแตกต่างระหว่าง Framet และ Framet+1 สามารถกำจัดโดยการหาพื้นที่ที่เล็กกว่าค่า threshold(T) ที่ตั้งไว้ โดยถ้าพื้นที่สีขาวมีขนาดเล็กกว่า T ให้ทำการกำจัดพื้นที่นั้นออก โดย set ให้ พื้นที่สีขาวเล็ก ๆ เหล่านั้น เป็นสีดำ สมมุติให้ค่า T=20 ผลที่ได้คือ พื้นที่เล็ก ๆ จะ ถูกกำจัดออกไป

การประยุกต์ใช้ Motion Detection กับ การหมุนตามวัตถุของกล้อง สามารถนำ Motion Detection 2D ไปประยุกต์ใช้งานกับกล้องเพื่อตรวจจับความเคลื่อนไหวของวัตถุ การทำ Motion Detection 2D นี้สามารถบังคับให้กล้องหมุนตามวัตถุได้ในทิศทาง 360 องศา

วิธีกำหนดให้กล้องหมุนซ้ายหรือขวา Framet Framet+1 Center Area Center Area แบ่งพื้นที่ของ different image โดยแบ่งพื้นที่ 20% จากความกว้าง ของภาพจากทางซ้าย และทางขวา โดยทำการแบ่งจากภาพ different image ของทุก Frame -คำนวณหาพื้นที่ของ pixel สีขาว ที่ส่วนกลาง ,ซ้าย และขวา ของทุก Frame -เก็บค่าพื้นที่สีขาวเป็น เปอร์เซ็นต์เมื่อเทียบกับ พื้นที่สีขาวของทั้งภาพ ทั้ง ส่วน กลาง, ซ้าย และขวา -เปรียบเทียบว่า ส่วน กลาง ซ้าย หรือ ขวา มีเปอร์เซ็นต์ของพื้นที่สีขาวเยอะที่สุด ให้หันกล้องตามนั้น โดย ถ้าพ.ท.ซ้ายมาก หันซ้าย ถ้าพ.ท.ขวามาก หันขวา ถ้าพ.ท.กลางมาก ไม่หันกล้อง

วิธีกำหนดให้กล้องหมุนซ้ายหรือขวา (Example) Framet หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ.ท. center = 13 ดังนั้น พ.ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (13x100)/13 = 100% - หาพ.ท. left = 0 ดังนั้น พ.ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (0x100)/13 = 0% - หาพ.ท. right = 0 ดังนั้น พ.ท. ขวา มีค่าเป็นเปอร์เซ็นต์ ดังนั้น ไม่หันกล้อง Center Area

วิธีกำหนดให้กล้องหมุนซ้ายหรือขวา (Example) Framet+1 หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ.ท. center = 9 ดังนั้น พ.ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (9x100)/13 = 69.23% - หาพ.ท. left = 4 ดังนั้น พ.ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (4x100)/13 = 30.77% - หาพ.ท. right = 0 ดังนั้น พ.ท. ขวา มีค่าเป็นเปอร์เซ็นต์ (0x100)/13 = 0% ดังนั้น ไม่หันกล้อง Center Area

วิธีกำหนดให้กล้องหมุนซ้ายหรือขวา (Example) Framet+2 หาพื้นที่ 20% จากความกว้างของภาพ ทางซ้ายและขวา ความกว้าง = 20 ดังนั้น (20 x20)/100 = 4 - พิจารณาส่วนทางซ้ายเข้ามา 4 pixel - พิจารณาส่วนทางขวาเข้ามา 4 pixel - หาพื้นที่สีขาวทั้งหมด = 13 - หาพ.ท. center = 1 ดังนั้น พ.ท. สีขาวตรงกลาง มีค่าเป็นเปอร์เซ็นต์ คือ (1x100)/13 = 7.69% - หาพ.ท. left = 0 ดังนั้น พ.ท. ซ้าย มีค่าเป็นเปอร์เซ็นต์ (0x100)/12 = 0% - หาพ.ท. right = 0 ดังนั้น พ.ท. ขวา มีค่าเป็นเปอร์เซ็นต์ (12x100)/13 = 92.30% ดังนั้น กล้องจะหันทางขวา Center Area

วิธีกำหนดให้กล้องหมุนซ้ายขวา,บนล่าง Top left Top Top right Left Center Right Bottom left Bottom Bottom right แบ่งพื้นที่ของภาพออกเป็น 6 ส่วน คือ top left, top, top right, left, center, right, bottom left, bottom, bottom right

วิธีกำหนดให้กล้องหมุนซ้ายขวา,บนล่าง(example) ความกว้าง = 20 ดังนั้น 20/3 = 6.67 = 7 ดังนั้น แบ่งทางซ้าย 7 pixels แบ่งทางขวา 7 pixels ส่วนที่เหลือเป็นตรงกลาง 6 pixels ความสูง = 10 ดังนั้น 10/3 = 3.33 = 3 ดังนั้น แบ่งด้านบน 3 pixels แบ่งด้านล่าง 3 pixels ส่วนที่เหลือเป็นตรงกลาง 4 pixels

วิธีกำหนดให้กล้องหมุนซ้ายขวา,บนล่าง(example) Framet - หาพ.ท. center = 2 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (2x100)/27 = 7.40% - หาพ.ท. right = 2 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ - หาพ.ท. bottomleft = 0 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (0x100)/27 = 0% - หาพ.ท. bottom = 1 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (1x100)/27 = 3.70% - หาพ.ท. bottomright = 1 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ - หาพื้นที่สีขาวทั้งหมด = 27 - หาพ.ท. topleft = 14 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ คือ (14x100)/27 = 51.85% - หาพ.ท. top = 1 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (1x100)/27 = 3.70% - หาพ.ท. topright = 0 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (0x100)/27 = 0% - หาพ.ท. left = 6 ดังนั้น พ.ท. มีค่าเป็นเปอร์เซ็นต์ (6x100)/27 = 22.22% ดังนั้นหันกล้องไปทาง topleft