Image Processing and Computer Vision

งานนำเสนอเรื่อง: "Image Processing and Computer Vision"— ใบสำเนางานนำเสนอ:

1 Image Processing and Computer Vision
Image Formation and Image Restoration

2 Score (คะแนน) Programming Assignment + Homework Examination (สอบ)
Midterm % Final % Examination (สอบ) Midterm % Final % Project OCR % เข้าเรียน + จิตพิสัย %

3 Topics Binary Image Processing Edge Detection Automatic Threshold
Hough Transform Generalized Hough Transform Texture segmentation Gradient Descent Method State space Gradient Descent

4 Topics Gibbs sampler with simulated Annealing
Stereo Matching, Stereo vision Optical Flow, Computing Optical Flow

5 ความแตกต่างของ Computer Graphic และ Image Processing
input output การหาขนาดของภาพ (Size) การหาขอบของภาพ (Edge Detection) การหารูปร่างของภาพ (Shape Detection) การกำจัด Noise ของภาพ (Noise Removing) Etc.

6 ความแตกต่างของ Computer Graphic และ Image Processing
input output

7 Binary Image Processing
Image Filtering and Edge Detection Image Restoration Region, Image Segmentation, texture Segmentation Blob coloring Contour Energy Minimization Stereo Matching, Object Recognition

8 Example Noise Removal or Image Restoration Gaussian Noise
Restored image

9 Example Noise Removal or Image Restoration Salt and Pepper Noise
Restored image

10 Example Edge Detection Original Image Robert’s Edge Detector
Sobel Edge Detector

11 Example Template Matching (Midterm Project) การอ่านตัวอักษร
จากภาพที่ได้จากการสแกน และนำมาเปรียบเทียบกับต้นแบบที่มีอยู่แล้ว Thai OCR English OCR Kedkarn Chaiyakhun Computer Engineering

12 Example Stereo Vision (Final Project) การหาความลึกของวัตถุในภาพ
Left eye Right eye

13 Example Stereo Vision Depth

14 Example Stereo Vision Left eye Right eye

15 Example Stereo Vision Depth

16 Low-Level Computer Vision
Edge Detection Image Processing (Pre-processing) Image Restoration Noise Removal

17 Mid-Level Computer Vision
Segmentation (การแบ่งแยก) Grouping แยกวัตถุออกจาก Background Separate Image In the zone (การแบ่งโซนของพื้นที่) Finding Depth, Shape, Light, Material

18 High-Level Computer Vision
Pattern Recognition, Object Recognition Obstacle Avoidance (การหลบหลีกสิ่งกีดขวาง) Grasping (การจับสิ่งของ, การคว้าสิ่งของ ของ Robot) Etc.

19 RGB (Red Green BLUE) and CMY (Cyan Magenta Yellow)
เป็นการผสมสีสามสีระหว่างสี Red,Green,Blue RGB เป็นการแยกสีอย่าง ชัดเจน RGB CMY 19

20 Example RGB Original Image R-Component G-Component B-Component

21 Convert color to grayscale
I = (R+G+B) / 3 หรือ I= * R * G * B + / 3 = ( ) ?

22 Image Formation (Gray Scale)
Intensity Image (ความเข้มของสี) มีค่าตั้งแต่ 0…255 (ในระดับ Gray Scale) 0 – Black 100 – Gray 255 - White 200 220 190 100 225 180 90 245 150 255 244 230 20 130 140 122 34 112 67 … ....

23 Pixel Pixel เป็นหน่วยที่เล็กที่สุดของภาพที่แสดงบนหน้าจอคอมพิวเตอร์
- Neighbors of Pixel ในแต่ละ pixel นั้นบางครั้งเราจำเป็นที่จะต้องทำการประมวลผลที่ pixel ปัจจุบันร่วมกับ pixel ข้างเคียง (Neighbors)

24 Pixel Coordinate (column x, row y)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Pixel ที่ column =7, row = 4 มีค่าเป็นสีเหลือง หรือ x=7, y=4 Zoom 1600%

25 4-neighbors of Pixel (x,y) is a red circle (x,y-1) is top one
(x-1,y) is left one (x+1,y) is right one (x,y+1) is bottom one (y-1) (y) (y+1)

26 Diagonal neighbor of Pixel
(x,y) is a red circle (x-1,y-1) is top-left one (x+1,y-1) is top-right one (x-1,y+1) is bottom-left one (x+1,y+1) is bottom-right one (y-1) (y) (y+1)

27 8-neighbors of Pixel (x,y) is a red circle
(x-1,y-1), (x,y-1),(x+1,y-1), (x-1,y), (x,y), (x+1,y), (x-1,y+1),(x,y+1), (x+1,y+1) (y-1) (y) (y+1)

28 Noise in Sensor (camera, scanner) ความผิดเพี้ยนต่าง ๆ ที่ทำให้ภาพไม่มีคุณภาพ
การ Scan กระดาษสีขาวด้วยเครื่อง scanner ภาพที่ได้อาจจะไม่ได้ค่าเป็น 200 ทั้งหมดก็ได้

29 Gaussian Additive Noise

30 Salt and Pepper Noise Salt = Noise ที่ทำให้ภาพมี intensity สีขาวซึ่งทำให้แตกต่างจาก pixel ข้างเคียง Pepper = Noise ที่ทำให้ภาพมี intensity สีดำซึ่งทำให้แตกต่างจาก pixel ข้างเคียง

31 การกำจัด Noise Gaussian Noise Salt/Pepper Noise
Use Gaussian Filter หรือ Average Filter Salt/Pepper Noise Use Median Filter

32 Filter คืออะไร Filter คือการนำเอาหน้ากากขนาดเล็ก (mask) ไปแปะใน input image ที่ต้องการประมวลผล และหน้ากาก(mask) จะทำการเลื่อนไปยังทุก ๆ pixel ของ input image จากซ้ายไปขวา และจากบนลงล่าง จนกระทั่งถึง pixel สุดท้ายของ input image (ขนาดของ Filter นั้นนิยมใช้ 3X3 หรือ 2X2)

33 The Convolution Process
z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 X I9 I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I1z1+I2z2+I3z3+I7z4+I8z5+I9z6+I13z7+I14z8+I15z9 ค่า Z ซึ่งเป็นค่าของ Filter หรือ หน้ากาก จะเปลี่ยนค่าไปตามชนิดต่าง ๆ ของ Filter

34 The Convolution Process
z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 I8 X I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I2z1+I3z2+I4z3+I8z4+I9z5+I10z6+I14z7+I15z8+I16z9

35 The Convolution Process
z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 I8 I9 X I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I3z1+I4z2+I5z3+I9z4+I10z5+I11z6+I15z7+I16z8+I17z9

36 The Convolution Process
z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 X X X X I12 I13 X X X X I18 I19 X X X X I24 I25 X X X X I30 I31 I32 I33 I34 I35 I36 ค่าของ X ที่ได้คือค่าของ pixel intensity ค่าใหม่ที่จะได้มาจากการประมวลผลด้วย Filter หรือ หน้ากาก Pixel ที่เป็นขอบของรูปภาพสามารถนำมาแสดงผลได้เลยเนื่องจากไม่ได้ผ่านการ process จาก filter ซึ่งการไม่ผ่าน Filter นั้นไม่มีผลใด ๆ ในการแสดงผลบนหน้าจอคอมพิวเตอร์เพราะ ความละเอียดขนาด 1 pixel เป็นส่วนที่เล็กน้อยมาก

37 Filter Example (การใช้ Filter ในการเบลอภาพ)
Blurring (การเบลอภาพ) หรือ Average Filter

38 Mean Filter (Average Filter)
Mean Filter ใช้สำหรับ เบลอภาพ หลักการง่าย ๆ ของ Mean Filter ก็คือ จับ pixel ที่อยู่ใกล้เคียงกันนำมาบวกกัน และ ทำการหารด้วยจำนวนช่องของ Filter นั้น

39 Median Filter Median Filter ใช้จัดการกับ Salt/Pepper Noise

40 Median Filter ไม่ใช้การ Convolution
ทำการเรียงลำดับค่า และเลือกค่าที่อยู่ตรงกลาง ตัวอย่าง

41 Median Filter

42 Median Filter 3 * 3 Median Filter

43 Assignment 1 ให้นักศึกษาเขียนโปรแกรมโดยใช้ภาษาอะไรก็ได้ เช่น C, C#, VB, Java อื่น ๆ (ยกเว้น Matlab) เพื่อทำการอ่านภาพ Gray Scale ซึ่งมี Salt & Pepper Noise และ Guassian Noise เข้ามา และทำการ กำจัด Noise โดยการใช้ Filter 2 แบบ คือ 1. Median Filter ใช้สำหรับกำจัด Salt & Pepper Noise 2. Average Filter (mean filter) ใช้สำหรับกำจัด Guassian Noise CPE3 ปกติ กำหนดส่ง อังคารที่ 9 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม CPE3/4 ปกติ กำหนดส่ง ศุกร์ที่ 12 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม

44