Image Processing & Computer Vision Template Matching and Hough Transform

Template Matching Use for OCR Image Intensity in Binary 0 and 255 Input Image Convert to Binary Image using Threshold Segmentation using Blob Coloring

เก็บเป็นภาพเล็ก ๆ สำหรับตัวอักษรทุกตัว Template Matching Create Template A to Z , a to z, 0 to 9 Using Font Arial 12 เก็บเป็นภาพเล็ก ๆ สำหรับตัวอักษรทุกตัว

Template Matching การ Match template กับ Input image จะทำได้โดยการ ทำ convolution แบบ sum square difference เมื่อนำ template ไปวาง(convolution) แล้วให้ทำการนำเอาค่า pixel ใน template ลบกับค่า pixel ของรูปภาพ และทำการรวมค่าทั้งหมด ที่ลบได้ (sum square difference) ถ้าได้ค่าน้อย หรือเป็น 0 แสดงว่า match ถ้าได้ค่ามากแสดงว่า not match

Template Matching

Template Matching

Template Matching

Template Matching Sum Square Difference คือการหาค่าความต่างระหว่าง Template(ต้นแบบ) กับ Target (ภาพตัวอักษรที่ได้มาจากการสแกน) โดยค่าที่ได้นี้ถ้ามีความต่างเป็น 0 หรือมีค่าน้อยมาก แสดงว่า Template กับ Target ตรงกัน(match) แต่ถ้าค่าที่ได้นี้มีความต่างมากแสดงว่า Template กับ Target ไม่ตรงกัน(not match)

Template Matching Sum square difference

Template Matching Sum Square Difference Template Target (0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2+ (255-255)2+(255-255)2+(255-255)2+(255-255)2+ (255-255)2+(0-0)2+(255-255)2+ (0-0)2+(255-255)2+(255-255)2+ (255-255)2+(255-255)2+(255-255)2+(0-0)2+ (255-255)2+(255-255)2+(255-255)2+ (255-255)2+(255-255)2+(0-0)2+(255-255)2+ (255-255)2+(0-0)2+(255-255)2+(255-255)2+ (0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2+(0-0)2 = 0 Template Target 255=white 0=black

Template Matching Sum Square Difference Template Target = 25517 (0-0)2+(0-255)2+(0-255)2+(0-255)2+(0-255)2+ (0-255)2+(0-0)2+ (255-255)2+(255-0)2+(255-255)2+(255-255)2+ (255-255)2+(0-0)2+(255-255)2+ (255-255)2+(255-255)2+(255-0)2+(255-255)2+ (0-0)2+(255-255)2+(255-255)2+ (255-255)2+(255-255)2+(255-255)2+(0-0)2+ (255-255)2+(255-255)2+(255-255)2+ (255-255)2+(255-255)2+(0-255)2+(255-0)2+ (255-255)2+(0-255)2+(255-255)2+(255-0)2+ (0-255)2+(0-255)2+(0-255)2+(0-0)2+(0-255)2+ (0-255)2+(0-255)2 = 25517 Template Target 255=white 0=black

Template Matching Idea to get faster matching โดยใช้ Aspect Ratio เก็บอัตราส่วน(Aspect Ratio) ของ Template แยกตามกลุ่ม โดยเก็บเป็น width / height หรือ width และ height ก็ได้ 11 1 9 12 12 12 Ratio = 0.917 w = 11, h = 12 Ratio = 0.833 w = 1, h = 12 Ratio = 0.75 w = 9, h = 12

Template Matching Idea to get faster matching โดยใช้ Bounding box j i ใช้การ Blob coloring ให้เป็นประโยชน์ในการเริ่มต้นขอบเขต (Bounding box) ของการทำ Template Matching ของตัวอักษรในภาพแต่ละตัว เช่น ตัวอักษร M จะมีขอบเขตเริ่มต้นที่ i=1,j=5 และสิ้นสุดที่ i=12,j=13 ตัวอักษร A จะมีขอบเขตเริ่มต้นที่ i=1,j=16 และสิ้นสุดที่ i=12,j=26

Template Matching

Term Project (OCR) กลุ่มละ 5 คน ให้ทำการ input image ของตัวอักษร โดยใช้ Font Arial size 12 Input image ไม่ต่ำกว่า 2 บรรทัด ทำ Template ตัวอักษร A..Z, a..z, 0…9 โดยใช้ Font MS Sans Serif regular size 12 สามารถพิมพ์ผลลัพธ์ในการทำ Template Matching ลงใน Text box ได้ ทดสอบโดยการใช้ input image ที่นักศึกษาทำขึ้นเอง และ input image ที่ อ. จัดให้ จัดทำ เอกสารอธิบายวิธีการเขียนโปรแกรม, การใช้เทคนิคพิเศษต่าง ๆ และ source code พร้อมทั้งต้องออกมา Present หน้าห้อง สำหรับกลุ่มที่ใช้เทคนิคพิเศษเช่น การเก็บอัตราส่วน(Aspect ratio) เพื่อทำให้การ Matching เร็วขึ้น มีคะแนนพิเศษ กำหนดส่งงานก่อนสอน Final

Hough Transform Technique for Lines Detection

Hough Transform Line Equation

Hough Transform Detecting Lines

Hough Transform Detecting Lines

Hough Transform Detecting Lines