งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

ความก้าวหน้าโครงงานทางวิศวกรรม คอมพิวเตอร์ Thai Speech Synthesis Software for Creating Tale Audiobook “ ซอฟต์แวร์สังเคราะห์เสียงภาษาไทยสำหรับการสร้าง หนังสือเสียงนิทาน.

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "ความก้าวหน้าโครงงานทางวิศวกรรม คอมพิวเตอร์ Thai Speech Synthesis Software for Creating Tale Audiobook “ ซอฟต์แวร์สังเคราะห์เสียงภาษาไทยสำหรับการสร้าง หนังสือเสียงนิทาน."— ใบสำเนางานนำเสนอ:

1 ความก้าวหน้าโครงงานทางวิศวกรรม คอมพิวเตอร์ Thai Speech Synthesis Software for Creating Tale Audiobook “ ซอฟต์แวร์สังเคราะห์เสียงภาษาไทยสำหรับการสร้าง หนังสือเสียงนิทาน ” ( ตั้งแต่วันที่ 24 สิงหาคม ถึง 4 พฤศจิกายน 2552) นางสาวณัฐชลัยย์ ซื่อสัตตบงกช นายธีรพล พงษ์กิตติพันธ์ นายศุภวัฒน์ สุนทรวาณิชย์กิจ

2 Outline ภาพรวมของโครงการ สรุปความก้าวหน้าของโครการ – งานที่ทำมาแล้ว – งานที่กำลังทำอยู่ แผนการทำงานในอนาคต ปัญหา ผลกระทบและแนวทางแก้ไข

3 ภาพรวมของโครงการ

4 Text-to-Speech Software Tale Book Audio Book in DAISY format Multi-Character Voice with Prosody Special Effect

5 ภาพรวมของโครงการ โครงสร้างซอฟต์แวร์

6 สรุปความก้าวหน้าของโครงการ

7 Aug Sep OctNovDecJan Addressing Problem Study previous works Interface Design Developing Improving Evaluation 2 3 1

8 งานที่ทำเสร็จแล้ว

9 ศึกษาผลงานและโปรแกรมที่ เกี่ยวข้อง 1)My Studio PC 2)TAB Player 3) ตาทิพย์ 4) วาจา 5)Chula TTS

10 My Studio PC

11 TAB Player

12 ตาทิพย์ วาจา Chula TTS TTSProcessin g Time Sound Quantity Example ตาทิพย์เร็วไม่ค่อยดี วาจาเร็วไม่ค่อยดี Chula TTS ค่อนข้างช้าดี

13 ศึกษาผลงานวิจัยที่เกี่ยวข้อง 3 Parameter หลักของเสียงที่ส่งผลต่อ Prosody 1.Pitch (Frequency) คือ ความถี่สูงต่ำของ เสียง 2.Duration of Syllabus คือ ความยาวของเสียงใน แต่ละพยางค์ที่เปล่งออกมา 3.Volume (Loudness) คือ ความดังค่อยของ เสียง

14 ศึกษาผลงานวิจัยที่เกี่ยวข้อง “Adding an Emotions Filter to Malay Text-to- Speech System” SentencesHappy (%)Angry (%)Sad (%)Fear (%) Happy Angry Sad Fear

15 ศึกษาเครื่องมือและอัลกอริทึมที่ใช้ ในการพัฒนา 1.HTK (Hidden Markov Model Toolkit ) 2.HTS (HMM-based Speech Synthesis System ) 3.HTS-Engine Label Sound HTS Acoustic Model Text HTS- Engine Sound

16 การติดตั้ง HTS และ Environment ที่จำเป็น 1) ติดตั้ง OS 2)Library : gcc+, patch, X11 by yum 3)Extract.tar ของ HTK และ HTS 4)Patch HTS to HTK 5)./configure 6)make all 7)make install 8) ติดตั้ง Active-Perl, SOX, Active-Tcl , SPTK 3.2

17 การอัดเสียง ครั้งแรก หลายคน Mp3 บทความสั้นๆ 2 ชั่วโมง 30 นาที 49 วินาที

18 การ Train โมเดลเสียง 1)Corpus Japanese [Demo] 1) ภาษาญี่ปุ่น 2)40 นาที 38 วินาที 2)Corpus TSync 1) ภาษาไทย, ผู้หญิง 2)13 ชั่วโมง 56 นาที 4 วินาที 3) อัดเอง

19 การ Train โมเดลเสียง Label Sound.raw monophone triphone monophone triphone HTS Acoustic Model

20 Phoneme ภาษาไทยที่ใช้ใน ปัจจุบัน กรอ บ

21 Phoneme ภาษาไทยที่ใช้ใน ปัจจุบัน ข้าว kh-aa-w^-2

22 Phoneme ภาษาไทยที่ใช้ใน ปัจจุบัน ph-uu-z^-2 j-i-ng^-4 th-u-k^-3 kh-o-n^-0 ph uu z^ j i ng^ th u k^ kh o n^ ph uu z^ j i ng^ th u k^ kh o n^ ph-uu-z^ uu-z^ j z^ j-I j-i-ng^ i-ng^ th ng^ th-u th-u-k^ u-k^ kh k^ kh-o kh-o-n^ ph-uu-z^ uu-z^ j z^ j-I j-i-ng^ i-ng^ th ng^ th-u th-u-k^ u-k^ kh k^ kh-o kh-o-n^ monophone triphone ph uu z^ j i ng^

23 ผลการศึกษา DAISY ชื่อหนังสือ Level ที่ 1... เลขหน้า... หัวข้อ... ผู้แต่ง... ชื่อหนังสือ... Level ที่ 2... ย่อหน้า... รายการ... รูปภาพ... กลอน... ตาราง... ที่อยู่... ข้อความหากมีหลายบรรทัด... Code โปรแกรมคอมพิวเตอร์... ตัวอย่าง... ข้อความให้ผู้อ่านพิมพ์เข้า คอมพิวเตอร์โดยคีย์บอร์ด สิ้นสุด Level ที่ 1

24 งานที่กำลังทำอยู่

25 การอัดเสียงเพิ่มเติม 1) นิทาน เรื่อง แม่มด 2).wav 3) อัดเสียงผู้ชาย คนเดียว 4) ตัดต่อ ซ่อมแซม 5) ความยาวเสียง ประมาณ 5 ชั่วโมงครึ่ง

26 การพัฒนาบางส่วนของ Chula-TTS 1) สามารถบันทึกเป็น.wav ได้ 2) สามารถสร้างหนังสือเสียงในมาตรฐาน DAISY ได้

27 การพัฒนาชุดคำสั่งสำหรับ ช่วยเหลือในการเตรียม Text กรอบเหมือนข้าวเกรียบ ผู้หญิงทุก คนในห้องโถง --- กรอบเหมือนข้าว เกรียบ ผู้หญิงทุกคนใน ห้องโถง กรอบเหมือนข้าว เกรียบ ผู้หญิงทุกคนใน ห้องโถง krOOp1}~mUUan4}~khaaw2}kriiap1}~ phuu2}jiN4}~thuk3}~khon0}naj0}~hOON2}~thooN krOOp1}~mUUan4}~khaaw2}kriiap1}~ phuu2}jiN4}~thuk3}~khon0}naj0}~hOON2}~thooN kr-1 p^-1 m-4 vva-4 n^-4 kh-2 aa-2 w^-2 kr-1 iia-1 p^-1 kr-1 p^-1 m-4 vva-4 n^-4 kh-2 aa-2 w^-2 kr-1 iia-1 p^-1 ph-2 uu-2 z^-2 j-4 i-4 ng^-4 th-3 u-3 k^-3 kh-0 o-0 n^-0 n-0 a-0 j^-0 h-2 ng^-2 ph-2 uu-2 z^-2 j-4 i-4 ng^-4 th-3 u-3 k^-3 kh-0 o-0 n^-0 n-0 a-0 j^-0 h-2 ng^-2.perl

28 ผลการนับจำนวน Monophone พยัญชนะต้น สระ ตัวสะกด เดี่ยวตัวอย่างผสมตัวอย่าง เดี่ยวตัวอย่างผสมตัวอย่าง เดี่ยวตัวอย่าง p658pr107 a4723ia0 p^619 t816phr68 aa3280iia352 t^1267 c726tr26 i739va0 k^1258 k873kr142 ii1187vva317 n^2466 z582khr251 v275ua0 m^1157 ph999pl86 vv296uua581 ng^2282 th1322phl31 u355 j^2670 uu797 w^848 ch393thr0 e675 เสียงทับศัพท์ kh1057kl187 ee249 f^0 b321khl24 x176 l^0 d850kw43 xx930 s^0 m1919khw62 o1494 ch^0 n1415 เสียงทับศัพท์ oo268 l1131bl0 r1015fr1 q46 f100fl0 qq315 s976dr0 h610 w533 j1124

29 แผนการดำเนินงานในอนาคต

30 เตรียม Text ที่ใช้ในการ Train ให้ครบถ้วน อัด และตัดต่อเสียงให้ครบถ้วน เพื่อใช้ Train โมเดลเสียง Train โมเดลเสียงจาก TSync และจากเสียงที่ เตรียมเอง ศึกษาการแปลงเสียงบีบ เสียงแหบจากงานวิจัย ของพี่ปริญญาโท ปรับปรุง HTS-Engine ทดลองใช้ HTS-Engine ที่ปรับปรุงแล้ว

31 แผนการดำเนินงานในอนาคต เตรียม Template สำหรับฟังก์ชันของเสียงใน รูปแบบต่างๆ หาเสียงประกอบธรรมชาติ สร้าง Interface และพัฒนาซอฟต์แวร์ การทดสอบและประเมินผล แก้ไข ปรับปรุง สรุปผล จัดทำเอกสาร

32 ปัญหา ผลกระทบและแนว ทางแก้ไข

33 1) ผู้พัฒนาไม่คุ้นเคยกับระบบปฏิบัติการ Linux 2) ข้อจำกัดของการใช้ Cygwin บน Windows 3) อัดเสียงในรูปแบบไฟล์ที่ผิด 4)Tutorial ของการสังเคราะห์เสียงภาษาไทยยัง มีน้อย 5) ข้อจำกัดด้านสมรรถภาพของเครื่อง คอมพิวเตอร์ของผู้พัฒนา 6) การอัดเสียงใช้เวลานาน, จำนวนผู้อัด

34 ขอบคุณครับ / ค่ะ


ดาวน์โหลด ppt ความก้าวหน้าโครงงานทางวิศวกรรม คอมพิวเตอร์ Thai Speech Synthesis Software for Creating Tale Audiobook “ ซอฟต์แวร์สังเคราะห์เสียงภาษาไทยสำหรับการสร้าง หนังสือเสียงนิทาน.

งานนำเสนอที่คล้ายกัน


Ads by Google