Image Processing and Computer Vision Image Formation and Image Restoration

Score (คะแนน) Programming Assignment + Homework Examination (สอบ) Midterm 15% Final 15% Examination (สอบ) Midterm 20% Final 25% Project OCR 15% เข้าเรียน + จิตพิสัย 10%

Topics Binary Image Processing Edge Detection Automatic Threshold Hough Transform Generalized Hough Transform Texture segmentation Gradient Descent Method State space Gradient Descent

Topics Gibbs sampler with simulated Annealing Stereo Matching, Stereo vision Optical Flow, Computing Optical Flow

ความแตกต่างของ Computer Graphic และ Image Processing input output การหาขนาดของภาพ (Size) การหาขอบของภาพ (Edge Detection) การหารูปร่างของภาพ (Shape Detection) การกำจัด Noise ของภาพ (Noise Removing) Etc.

ความแตกต่างของ Computer Graphic และ Image Processing input output

Binary Image Processing Image Filtering and Edge Detection Image Restoration Region, Image Segmentation, texture Segmentation Blob coloring Contour Energy Minimization Stereo Matching, Object Recognition

Example Noise Removal or Image Restoration Gaussian Noise Restored image

Example Noise Removal or Image Restoration Salt and Pepper Noise Restored image

Example Edge Detection Original Image Robert’s Edge Detector Sobel Edge Detector

Example Template Matching (Midterm Project) การอ่านตัวอักษร จากภาพที่ได้จากการสแกน และนำมาเปรียบเทียบกับต้นแบบที่มีอยู่แล้ว Thai OCR English OCR Kedkarn Chaiyakhun Computer Engineering

Example Stereo Vision (Final Project) การหาความลึกของวัตถุในภาพ Left eye Right eye

Example Stereo Vision Depth

Example Stereo Vision Left eye Right eye

Example Stereo Vision Depth

Low-Level Computer Vision Edge Detection Image Processing (Pre-processing) Image Restoration Noise Removal

Mid-Level Computer Vision Segmentation (การแบ่งแยก) Grouping แยกวัตถุออกจาก Background Separate Image In the zone (การแบ่งโซนของพื้นที่) Finding Depth, Shape, Light, Material

High-Level Computer Vision Pattern Recognition, Object Recognition Obstacle Avoidance (การหลบหลีกสิ่งกีดขวาง) Grasping (การจับสิ่งของ, การคว้าสิ่งของ ของ Robot) Etc.

RGB (Red Green BLUE) and CMY (Cyan Magenta Yellow) เป็นการผสมสีสามสีระหว่างสี Red,Green,Blue RGB เป็นการแยกสีอย่าง ชัดเจน RGB CMY 19

Example RGB Original Image R-Component G-Component B-Component

Convert color to grayscale I = (R+G+B) / 3 หรือ I= 0.299 * R + 0.587 * G + 0.114 * B + / 3 = ( ) ?

Image Formation (Gray Scale) Intensity Image (ความเข้มของสี) มีค่าตั้งแต่ 0…255 (ในระดับ Gray Scale) 0 – Black 100 – Gray 255 - White 200 220 190 100 225 180 90 245 150 255 244 230 20 130 140 122 34 112 67 … ....

Pixel Pixel เป็นหน่วยที่เล็กที่สุดของภาพที่แสดงบนหน้าจอคอมพิวเตอร์ - Neighbors of Pixel ในแต่ละ pixel นั้นบางครั้งเราจำเป็นที่จะต้องทำการประมวลผลที่ pixel ปัจจุบันร่วมกับ pixel ข้างเคียง (Neighbors)

Pixel Coordinate (column x, row y) 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Pixel ที่ column =7, row = 4 มีค่าเป็นสีเหลือง หรือ x=7, y=4 Zoom 1600%

4-neighbors of Pixel (x,y) is a red circle (x,y-1) is top one (x-1,y) is left one (x+1,y) is right one (x,y+1) is bottom one (y-1) (y) (y+1)

Diagonal neighbor of Pixel (x,y) is a red circle (x-1,y-1) is top-left one (x+1,y-1) is top-right one (x-1,y+1) is bottom-left one (x+1,y+1) is bottom-right one (y-1) (y) (y+1)

8-neighbors of Pixel (x,y) is a red circle (x-1,y-1), (x,y-1),(x+1,y-1), (x-1,y), (x,y), (x+1,y), (x-1,y+1),(x,y+1), (x+1,y+1) (y-1) (y) (y+1)

Noise in Sensor (camera, scanner) ความผิดเพี้ยนต่าง ๆ ที่ทำให้ภาพไม่มีคุณภาพ การ Scan กระดาษสีขาวด้วยเครื่อง scanner ภาพที่ได้อาจจะไม่ได้ค่าเป็น 200 ทั้งหมดก็ได้

Gaussian Additive Noise

Salt and Pepper Noise Salt = Noise ที่ทำให้ภาพมี intensity สีขาวซึ่งทำให้แตกต่างจาก pixel ข้างเคียง Pepper = Noise ที่ทำให้ภาพมี intensity สีดำซึ่งทำให้แตกต่างจาก pixel ข้างเคียง

การกำจัด Noise Gaussian Noise Salt/Pepper Noise Use Gaussian Filter หรือ Average Filter Salt/Pepper Noise Use Median Filter

Filter คืออะไร Filter คือการนำเอาหน้ากากขนาดเล็ก (mask) ไปแปะใน input image ที่ต้องการประมวลผล และหน้ากาก(mask) จะทำการเลื่อนไปยังทุก ๆ pixel ของ input image จากซ้ายไปขวา และจากบนลงล่าง จนกระทั่งถึง pixel สุดท้ายของ input image (ขนาดของ Filter นั้นนิยมใช้ 3X3 หรือ 2X2)

The Convolution Process z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 X I9 I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I1z1+I2z2+I3z3+I7z4+I8z5+I9z6+I13z7+I14z8+I15z9 ค่า Z ซึ่งเป็นค่าของ Filter หรือ หน้ากาก จะเปลี่ยนค่าไปตามชนิดต่าง ๆ ของ Filter

The Convolution Process z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 I8 X I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I2z1+I3z2+I4z3+I8z4+I9z5+I10z6+I14z7+I15z8+I16z9

The Convolution Process z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 I8 I9 X I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X = I3z1+I4z2+I5z3+I9z4+I10z5+I11z6+I15z7+I16z8+I17z9

The Convolution Process z1 z2 z3 z4 z5 z6 z9 z8 z7 I7 X X X X I12 I13 X X X X I18 I19 X X X X I24 I25 X X X X I30 I31 I32 I33 I34 I35 I36 ค่าของ X ที่ได้คือค่าของ pixel intensity ค่าใหม่ที่จะได้มาจากการประมวลผลด้วย Filter หรือ หน้ากาก Pixel ที่เป็นขอบของรูปภาพสามารถนำมาแสดงผลได้เลยเนื่องจากไม่ได้ผ่านการ process จาก filter ซึ่งการไม่ผ่าน Filter นั้นไม่มีผลใด ๆ ในการแสดงผลบนหน้าจอคอมพิวเตอร์เพราะ ความละเอียดขนาด 1 pixel เป็นส่วนที่เล็กน้อยมาก

Filter Example (การใช้ Filter ในการเบลอภาพ) Blurring (การเบลอภาพ) หรือ Average Filter

Mean Filter (Average Filter) Mean Filter ใช้สำหรับ เบลอภาพ หลักการง่าย ๆ ของ Mean Filter ก็คือ จับ pixel ที่อยู่ใกล้เคียงกันนำมาบวกกัน และ ทำการหารด้วยจำนวนช่องของ Filter นั้น

Median Filter Median Filter ใช้จัดการกับ Salt/Pepper Noise

Median Filter ไม่ใช้การ Convolution ทำการเรียงลำดับค่า และเลือกค่าที่อยู่ตรงกลาง ตัวอย่าง

Median Filter

Median Filter 3 * 3 Median Filter

Assignment 1 ให้นักศึกษาเขียนโปรแกรมโดยใช้ภาษาอะไรก็ได้ เช่น C, C#, VB, Java อื่น ๆ (ยกเว้น Matlab) เพื่อทำการอ่านภาพ Gray Scale ซึ่งมี Salt & Pepper Noise และ Guassian Noise เข้ามา และทำการ กำจัด Noise โดยการใช้ Filter 2 แบบ คือ 1. Median Filter ใช้สำหรับกำจัด Salt & Pepper Noise 2. Average Filter (mean filter) ใช้สำหรับกำจัด Guassian Noise CPE3 ปกติ กำหนดส่ง อังคารที่ 9 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม CPE3/4 ปกติ กำหนดส่ง ศุกร์ที่ 12 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม

www.rmuti.ac.th/user/kedkarn Email : kedkarnc@hotmail.com 0868129127