MULTIMEDIA REPRESENTATION IMAGE / VIDEO / AUDIO รศ. ดร. อรฉัตร จิตต์โสภักตร์ ECC-915.

งานนำเสนอเรื่อง: "MULTIMEDIA REPRESENTATION IMAGE / VIDEO / AUDIO รศ. ดร. อรฉัตร จิตต์โสภักตร์ ECC-915."— ใบสำเนางานนำเสนอ:

1 MULTIMEDIA REPRESENTATION IMAGE / VIDEO / AUDIO รศ. ดร. อรฉัตร จิตต์โสภักตร์ Email: orachatc@yahoo.com ECC-915

2 Realworld multimedia to Computer world  http://inewsdesign.files.wordpress.com/2012/11/multimedia_i_news_design.jpg

3 From Real Data -> Multimedia files  http://thumb1.shutterstock.com/display_pic_with_logo/120820/120820,1232155497,4/stock-photo-set- of-multimedia-internet-icon-illustration-23406178.jpg

4 From Real Data -> Multimedia files  https://m1.behance.net/rendition/modules/98824541/disp/7867d1f073fb367e445c87cfa1cde142.jpg ADC (Analog-to-Digital Conversion) Capture info ADC Save to File

5 Sampling freq. vs Bit depth Sampling: Sampling Analog signal in Time (Resolution in Time) Quantization: Sampling Analog signal in Amplitude (Resolution in Amplitude: Bitdepth)

6 Resolutions in Time and Amplitude  http://www.synaudcon.com/site/wp-content/uploads/2010/01/Vol36_Sep08_ThinkingDigitally- graph1.png Low Sampling FrequencyMedium Sampling Frequency High Sampling Frequency LSMS HS Low Resolution Large Error Medium Resolution Less Error High Resolution Least Error

7 AUDIO REPRESENTATION

8 Audio process For each audio applications What is the suitable sampling frequency in time ? How many bits should be used to represent each sample (Bit depth)?

9 Sound Representation 20–20,000 Hz range of human hearing Sampling Theory (Nyquist’s Theory) Sampling frequency >= 2 x hightest frequency Audio sampling frequency 44.1 kHz (CD) 48 kHz (professional audio /digital recording device ) 96 kHz (DVD / Blu-ray Disc / audio post-production and music recording ) 192 kHz (DVD / Blu-ray Disc / professional music recording and mastering) Represented as a sequence of sample after digitization

10 Audio Bit depth ( Bits/sample) 8-bit used by earliest digital audio systems - low resolution, very 'grainy' quality 12-bit used by early professional sampling equipment - audible degradation or 'crunch‘ 16-bit CD quality - good quality, but still short of full dynamic range 24-bit high quality - full dynamic range [Minimum recommended archival standard]

11 Audio Bit depth ( Bits/sample) Data rate and Bandwidth in audio applications (Bit depth)

12 Audio File Format (Which Audio File Format is Right For You?) Uncompressed audio formats WAV(PC), AIFF (MAC), AU (Unix), or raw lossless compression FLAC, Monkey's Audio (filename extension.ape), WavPack (filename extension.wv), TTA, ATRAC Advanced Lossless, Apple Lossless (filename extension.m4a), MPEG-4 SLS, MPEG-4 ALS, MPEG-4 DST, Windows Media Audio Lossless (WMA Lossless), and Shorten (SHN). lossy compression MP3, Vorbis, Musepack, AAC, ATRAC and Windows Media Audio Lossy (WMA lossy) MP3 (MPEG-1 audio layer III) 64-192 kbits/channel

13 WAV (Waveform Audio File Format) Filename Extension:.wav Format Type: Uncompressed WAV files popular a “first generation” format. generally as the first digital copy of a file completely uncompressed. Properties the best possible quality and have not gone through any digital alterations except to be outputted. large file sizes. ideal for making copies of songs from

14 MP3 (MPEG-1 Audio Layer III) Filename Extension:.mp3 Format Type: Lossy Compressed MP3 File: First created for Audio layer within video standard format Most common used in exchanging audio on the internet if having a slower internet connection or limited hard drive space, MP3 could be your file format of choice. Properties quality depends largely on the bit rate used for compression Common bit rates are 128, 160, 192, and 256 kbps. MP3 files fall under the “good enough” umbrella.

15 Image Representation

16 Image Resolution (Dimension) Image Intensity Level (Bit Depth) Binary Image (1 bit / pel) Grayscale Image ( >= 8 bits / pel) Color Image (24 bits / pel) Image File Format.jpg /.tif /.gif /.bmp /.jpg2 /.png.psd /.svd /.ai

17 Image Resolution Image Resolution: 4608 x 3456 (15.9 MP, 4:3), 4608 x 3072 (14.2 MP, 3:2), 4608 x 2592 (11.9 MP, 16:9), 3456 x 3456 (11.9 MP, 1:1), 3264 x 2448 (8.0 MP, 4:3), 3264 x 2176 (7.1 MP, 3:2), 3264 x 1832 (6.0 MP, Other), 2448 x 2448 (6.0 MP, 1:1), 1920 x 1080 (2.1 MP, 16:9), 1600 x 1200 (1.9 MP, 4:3), 1600 x 1064 (1.7 MP, 3:2), 1200 x 1200 (1.4 MP, 1:1), 640 x 480 (0.3 MP, 4:3), 640 x 424 (0.3 MP, 3:2), 640 x 360 (0.2 MP, 16:9), 480 x 480 (0.2 MP, 1:1)

18 Image Resolution

19 Image Intensity levels Binary Image (1 bit / pixel)

20 Image Intensity levels Grayscale 8 bits / pixel

21 Image Intensity levels Retinas have three types of color photoreceptor cone cells that correspond to the colors of red, green, and blue Color image (RGB) 24 bits / pixel (True color) 8 bits/pixel / color 16 bits / pixel (Hi color) 5 bits / pixel / color + extra bits

22 R+G+B R+0+0 0+0+B R+G+0 G B 0 255 R

23 Examples of true color values

24 Image file format Bitmap / Raster / Spatial pixel-based image.jpg /.tif /.gif /.bmp /.jpg2 /.psd /.png Raster image quality -> resolution Vector Object based Eps (Encapsulated PostScript) Pdf (Portable Document Format) Ai (Adobe Illustrator)

25 Bitmap vs Vector What is the difference? Realworld or Computer Graphic Image Attributes Conversion Possibility

26 Pixel-based Image (bitmap) Position representation According to image resolution (width vs height)

27 Vector-based image (object based representation) made up of many individual, scalable objects (layers). These objects are defined by mathematical definitions or lines and geometric shapes rather than pixels <rect width="100" height="80" x="0" y="70" fill="green" /> <line x1="5" y1="5" x2="250" y2="95" stroke="red" /> <circle cx="90" cy="80" r="50" fill="blue" /> Un texte

28 Video Representation

29 0 A sequence of images 0 called frames 0 Sampling frequency 0 Frame rate: frames/sec (usually 25-30 fps) 0 Frame resolution: 0 width x height (NxM pixels)

30 Line Resolution 0 Frame signaling 0 Progressive: a series of complete frames (all lines) 0 Interlaced: a sequence of interlaced fields (either the odd-numbered or even-numbered lines) Progressive (Raster) scanInterlaced scan

31 มาตรฐานการแพร่ภาพ วิดีโออนาลอก 0 NTSC (The National Television System Committee) 0 สหรัฐอเมริกา แคนาดา ญี่ปุ่น พม่า 0 สัญญาณภาพ 525 เส้น (line) / 60Hz 0 จำนวนภาพ 30 ภาพ (frame) / วินาที 0 PAL (Phase Alternation Line) 0 ไทย อังกฤษ ฝรั่งเศส เยอรมัน หรือประเทศทางยุโรป 0 สัญญาณภาพ 625 เส้น (line) / 50Hz 0 จำนวนภาพ 25 ภาพ (frame) / วินาที

32 มาตรฐานการแพร่ภาพ วิดีโอดิจิตอล 0 HDTV (High Definition Television) 0 การถ่ายทอดสัญญาณภาพ HD เกิดขึ้นครั้งแรก ของโลกในช่วงปี ค. ศ.1980 0 สถานีโทรทัศน์ที่ออกอากาศระบบ HD แห่งแรก ของโลกคือสถานีโทรทัศน์ NBC ของสหรัฐอเมริกา 0 จากนั้นเริ่มแพร่หลายไปในยุโรปช่วงยุคปี ค. ศ.1992 0 สัญญาณภาพ 1080i เส้น / 50 Hz หรือ 1080p เส้น / 60 Hz 0 ความละเอียดของภาพ 1280 x 720 พิกเซล HD 0 ความละเอียดของภาพ 1920 x 1080 พิกเซล หรือ เรียกว่า Full HD

33 0 Graphic Resolution 0 resolution ของภาพ 2 มิติใน 0 แนวแกน x-y เรียกว่า spatial resolution High-Definition Namex (px ) y (px ) x:yx·y (Mp x) nHD64 0 36016: 9 0.23 0 qHD96 0 54016: 9 0.51 8 HD12 80 72016: 9 0.92 1 HD+16 00 90016: 9 1.44 FHD19 20 108 0 16: 9 2.07 3 QHD25 60 144 0 16: 9 3.68 6 WQXG A+ 32 00 180 0 16: 9 5.76 UHD (4K) 38 40 216 0 16: 9 8.29 4 UHD (8K) 76 80 432 0 16: 9 33.1 78 VGAVGA: 640x480 VGA 2 times the width and 1 1 ⁄ 2 times the height of 4:3 VGAVGA 3 times the width and 2 1 ⁄ 4 times the height of 4:3 VGAVGA

34 Video Encoding 0 compressing 0 what’s not common between frames 0 Motion vectors 0 information that’s changed between frames 0 Error from motion compensation Motion vectors Errors

35 Video File Format 0.mpg หรือ.mpeg 0 ไฟล์ MPEG เป็นไฟล์มาตรฐานในการบีบอัดไฟล์วิดีโอ ซึ่ง เป็นรูปแบบของวิดีโอที่มีคุณภาพสูงและนิยมนำมาใช้กับงาน วิดีโอหลายประเภท 0.avi (Audio / Video Interleave) 0 เป็นฟอร์แมตที่พัฒนาโดยบริษัทไมโครซอฟต์ ปัจจุบันมี โปรแกรมแสดงผลติดตั้งมาพร้อมกับชุด Microsoft Windows คือ Windows Media Player เป็นไฟล์วิดีโอที่มี ความละเอียดสูง เหมาะสมกับการนำมาใช้ในงานตัดต่อวิดีโอ แต่ไม่นิยมนำมาใช้ในสื่อดิจิตอลอื่น ๆ เพราะไฟล์มีขนาด ใหญ่มาก

36 Video File Format 0.rm หรือ.ram 0 เป็นรูปแบบของแฟ้มที่พัฒนาโดยบริษัท Real Network รูปแบบไฟล์ชนิดนี้มี โปรแกรมใช้ในการอ่านข้อมูลของไฟล์ ประเภทนี้ได้แก่ Real Player และ Real One Player 0.flv (Flash Video) 0 เป็นไฟล์วิดีโอในรูปแบบของ Flash ซึ่งมีข้อดีคือ สามารถ นำมาใช้งานร่วมกับ Component ของ Flash รวมทั้งไฟล์ที่บีบอัดแล้วมีขนาด เล็กแต่ยังคงรายละเอียด ของไฟล์ต้นฉบับได้เป็นอย่างดี นิยมใช้นำเสนอข้อมูลบน อินเทอร์เน็ต 0.wmv (Windows Media Video) 0 เป็นไฟล์วิดีโอของบริษัทไมโครซอฟท์ เป็นไฟล์ที่ได้รับความ นิยมในปัจจุบันจาก สื่ออินเทอร์เน็ต มีจุดประสงค์ที่สร้างขึ้นมาเพื่อชมวิดีโอ แบบ Movie on Demand 0.mov 0 เป็นฟอร์แมตที่พัฒนาโดยบริษัท Apple ซึ่งมีความนิยมสูงใน เครื่องตระกูล Macintosh สามารถใช้ได้กับเครื่องที่ใช้ระบบ Windows แต่จำเป็นต้องติดตั้ง โปรแกรม QuickTime ก่อน นิยมใช้นำเสนอข้อมูลไฟล์ ผ่านอินเทอร์เน็ต