ดาวน์โหลดงานนำเสนอ
งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ
1
Image Processing & Computer Vision
Projection Model & Stereo Vision
2
Projection Model Computer Graphic (X,Y,Z) = 3D Coordinate
(X,Y) = 2D Coordinate
3
Projection Model (เป็นไปตามกฎของสามเหลี่ยม)
4
Perspective Projection Model
ดังนั้น disparity สูง วัตถุอยู่ใกล้ตา disparity ต่ำ วัตถุไกลตา B = distance between two cameras or eyes f ระยะห่างจากกล้องไปฉากหลัง Z ระยะห่างจากกล้องไปยังวัตถุ B ระยะห่างระหว่างกล้องซ้ายและขวา X ระยะห่างของวัตถุจากแกน X xl ระยะห่างของวัตถุที่สะท้อนฉากหลังของกล้องซ้าย xr ระยะห่างของวัตถุที่สะท้อนฉากหลังของกล้องขวา
5
Perspective Projection Model
กรณีวัตถุอยู่ไกลออกไป จะทำให้ได้ disparity ต่ำลง
6
Stereo Vision Stereo Vision คือ การจำลองการมองของตาซ้ายและตาขวาของมนุษย์ มาเป็นภาพ 2 ภาพ คือ ภาพที่มาจากตาซ้าย และ ภาพที่มาจากตาขวา เพื่อนำมาคำนวณหา disparity (ความห่างระหว่างสองภาพ) แล้วนำค่า disparity ที่ได้มาเป็นค่าในการตัดสินว่า วัตถุที่อยู่ภายในภาพมีความลึก (dept) เท่าไร
7
Stereo Vision การมองจากสองตาของมนุษย์ ไปยังวัตถุ
สี่เหลี่ยมลูกบาศก์เลื่อนไปทางขวาเมื่อมองด้วยตาซ้าย สี่เหลี่ยมลูกบาศก์เลื่อนไปทางซ้ายเมื่อมองด้วยตาขวา ภาพแสดงความลึกของวัตถุแสดงด้วย Gray Scale Dept Map ภาพจากมองด้วยตาทั้งสองข้างรวมกัน
8
Stereo Vision Left Right Disparity (Ground Truth)
9
Stereo Vision Left Right Disparity (Ground Truth)
10
การนำเอา Stereo vision มาประยุกต์ใช้ใน Robot
11
Stereo Vision : Disparity
12
Stereo Vision : Disparity
Finding disparity Left Right Disparity
13
Constraints Data Constraints ภาพตาขวา ณ จุดที่เรายืนอยู่แต่ละจุด จะต้องมีความเข้มของสี (image intensity) เหมือนกับภาพตาซ้าย Smoothness Constraints disparity จะต้อง smooth หมายถึงว่า การเข้าไปดูค่า disparity ของ เพื่อนบ้าน (neighbor) ด้วยว่า สอดคล้องกันหรือไม่ Energy = xy [(IR(x,y)) – IL(x+D(x,y),y))2 + (D(x+1,y) – D(x,y)) (D(x,y+1) – D(x,y))2 ] + Data Constraints Smoothness Constraints
14
Algorithm using Gibbs Sampler
Start Temperature T is high Initialize D(x,y) = Random 0….20 For each pixel(x,y) For each state S = 0…20 if D(x,y) = 0; E0 = … ; P0 = exp(-E0/T) if D(x,y) = 1; E1 = … ; P1 = exp(-E1/T) ………………………. if D(x,y) = 20; E20 = … ; P20 = exp(-E20/T) For each Probi = Pi / sum(Pi) Sample for state S from pdf Probi D(x,y) = State S Reduce T = T * 0.9 Repeat step 3-4 Until E is stable
15
Example left right Result disparity Random disparity
16
Example left right ให้แทน D(x,y) 4 state ที่จุด (1,2) (3,3)และ (2,5)
1 2 3 4 5 6 ให้แทน D(x,y) 4 state ที่จุด (1,2) (3,3)และ (2,5) 1 2 3 4 5 6 Result disparity Random disparity
17
Data Constraint Trick (IR(x-D(x,y),y) – IL(x,y))2
เปลี่ยนจากการดูทีละ pixel เป็นการ ดูทีละ 9 pixels 1 1 (IR(x-D(x,y)+m, y+n) – IL(x+m, y+n))2 m= -1 n= -1 3x3 pixel
18
Display disparity in Grayscale
เมื่อ Energy stable และได้ค่า disparity ของทุก pixel ที่เหมาะสมแล้ว เราจะทำการแสดงภาพในการบอกความลึก (depth) อย่างไร ในเมื่อค่า disparity มีค่าเพียง 0…20 เท่านั้น ? เราจะใช้สีอ่อนในการแสดงวัตถุที่อยู่ใกล้ และสีจะเข้มขึ้นเรื่อย ๆ เมื่อวัตถุส่วนอื่น ๆ อยู่ไกลออกไป การแปลงค่า disparity ให้เป็นค่า intensity นั้นทำได้โดยนำค่า Gray scale สูงสุดซึ่งก็คือ 255 หารด้วย ค่าสูงสุดของ disparity ใน state 255 / 20 = 12.75 round(disparity * 12.75) = intensity ที่จะนำไปสร้างรูปแสดงความลึก ปัดเศษ
19
Display disparity in Grayscale (Example)
คูณ 12.75 Intensity
งานนำเสนอที่คล้ายกัน
