ระบบควบคุมวัตถุเสมือน Augmented Reality Object Manipulation System ภาควิชาวิศวกรรมคอมพิวเตอร์ คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ผู้จัดทำโครงงาน นายดิษพงศ์ ธชทรงธรรม ID. 5030167521 นายคมกรณ์ อัศวเมฆี ID. 5031011421 อาจารย์ที่ปรึกษาโครงงาน ผศ.ดร.อรรถวิทย์ สุดแสง อาจารย์ ดร.นัทที นิภานันท์

บันทึกการแก้ไขชื่อโครงงาน เปลี่ยนชื่อโครงงานจากเดิมคือ การควบคุมแบบจำลองสามมิติด้วยการแสดงท่าทางมือ 3D Model Manipulation with Hand Gesture

หลักการและเหตุผล

หลักการและเหตุผล

หลักการและเหตุผล

วัตถุประสงค์ ทำให้มือสามารถ จับ, ผลัก, บิด กับแบบจำลองวัตถุเสมือนใน Augmented realityได้

System Environment

ทฤษฎีที่เกี่ยวข้อง Stereopsis Hand Feature Extraction

Stereopsis การสร้างภาพสามมิติ โดยใช้ภาพสองมิติหลายภาพที่มาจากมุมมองต่างกัน โดยเลียนแบบการทำงานของสมอง

การทำงานของ Stereopsis Correspondence Reconstruction

Correspondence Reconstruction

Hand Feature Extraction การวิเคราะห์หาตำแหน่งของจุดสำคัญบนมือได้แก่ จุดกลางฝ่ามือ และปลายนิ้วทั้งหมด

การทำงานของ Hand Feature Extraction Hand Segmentation หาจุดสำคัญของมือ

งานวิจัยที่เกี่ยวข้อง

Hand with marker(gloves) Real Time Hand Tracking and 3D Gesture Recognition for Interactive Interfaces using HMM (C.Keskin,A.Erkan,L.Akarun) Hand with marker(gloves) งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Real Time Hand Tracking and 3D Gesture Recognition for Interactive Interfaces using HMM (C.Keskin,A.Erkan,L.Akarun) gestures งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Fast Hand Feature Extraction Based on Connected Component Labeling, Distance Transform and Hough Transform (Le Dung and Makoto Mizukawa) Skin color detection งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Fast Hand Feature Extraction Based on Connected Component Labeling, Distance Transform and Hough Transform (Le Dung and Makoto Mizukawa) Connected component labeling งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Fast Hand Feature Extraction Based on Connected Component Labeling, Distance Transform and Hough Transform (Le Dung and Makoto Mizukawa) Distance transform งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Fast Hand Feature Extraction Based on Connected Component Labeling, Distance Transform and Hough Transform (Le Dung and Makoto Mizukawa) Extract Finger(s) งานวิจัยที่เกี่ยวข้อง

งานวิจัยที่เกี่ยวข้อง Fast Hand Feature Extraction Based on Connected Component Labeling, Distance Transform and Hough Transform (Le Dung and Makoto Mizukawa) Result งานวิจัยที่เกี่ยวข้อง

ขอบเขตของโครงการ พัฒนาระบบวัตถุเสมือนจริงที่มี Physical Interaction กับมือในลักษณะของ Augmented Reality ต้องการสภาวะแวดล้อมในการใช้งานที่มีแสงสว่างเพียงพอ เนื่องจากเว็บแคมในการพัฒนา

ขอบเขตของโครงการ Physic Engine พิจารณาความสัมพันธ์ระหว่างมือกับวัตถุเสมือน ไม่พิจารณาการชนของกันของวัตถุเสมือน วัตถุเสมือนเป็นรูปลูกบาศก์

แนวทางการพัฒนา

(Left camera) (Right camera) แนวทางการพัฒนา

แนวทางการพัฒนา

แนวทางการพัฒนา

แนวทางการพัฒนา รับภาพจากกล้องเว็บแคม วิเคราะห์หาจุดสำคัญบนมือ โมเดลวัตถุเสมือนสามมิติ Physic engine ทำการคำนวณความสัมพันธ์ระหว่างมือและโมเดล แสดงภาพวัตถุเสมือนซ้อนลงไปบนภาพจากกล้องเว็บแคม แนวทางการพัฒนา

Functional Specification Hand Recognition Unit Physic Engine Unit Graphic Display Unit

โครงสร้างซอฟต์แวร์ Hand Recognition Unit Physic Engine Unit Graphic Display Unit

เครื่องมือที่ใช้ในการพัฒนา Webcam OpenCV OpenGL Microsoft Visual Studio 2008 Express

ขั้นตอนการพัฒนาโปรแกรม กำหนดขอบเขต เป้าหมาย และวัตถุประสงค์ของโครงงาน วางแผนการดำเนินงาน แบ่งการดำเนินงานออกเป็น 3 ส่วนหลัก ๆ ดังนี้ ส่วนตรวจหามือ ส่วน Physic Engine ส่วนสำหรับแสดงผลสามมิติ ศึกษาและพัฒนาโปรแกรมในแต่ละส่วน รวมระบบย่อยทั้งสามเข้าด้วยกัน

Gantt Chart

Q&A ขอบคุณครับ