MULTIMEDIA REPRESENTATION IMAGE / VIDEO / AUDIO รศ. ดร. อรฉัตร จิตต์โสภักตร์ ECC-915

Realworld multimedia to Computer world 

From Real Data -> Multimedia files  of-multimedia-internet-icon-illustration jpg

From Real Data -> Multimedia files  ADC (Analog-to-Digital Conversion) Capture info ADC Save to File

Sampling freq. vs Bit depth Sampling: Sampling Analog signal in Time (Resolution in Time) Quantization: Sampling Analog signal in Amplitude (Resolution in Amplitude: Bitdepth)

Resolutions in Time and Amplitude  graph1.png Low Sampling FrequencyMedium Sampling Frequency High Sampling Frequency LSMS HS Low Resolution Large Error Medium Resolution Less Error High Resolution Least Error

AUDIO REPRESENTATION

Audio process For each audio applications What is the suitable sampling frequency in time ? How many bits should be used to represent each sample (Bit depth)?

Sound Representation 20–20,000 Hz range of human hearing Sampling Theory (Nyquist’s Theory) Sampling frequency >= 2 x hightest frequency Audio sampling frequency 44.1 kHz (CD) 48 kHz (professional audio /digital recording device ) 96 kHz (DVD / Blu-ray Disc / audio post-production and music recording ) 192 kHz (DVD / Blu-ray Disc / professional music recording and mastering) Represented as a sequence of sample after digitization

Audio Bit depth ( Bits/sample) 8-bit used by earliest digital audio systems - low resolution, very 'grainy' quality 12-bit used by early professional sampling equipment - audible degradation or 'crunch‘ 16-bit CD quality - good quality, but still short of full dynamic range 24-bit high quality - full dynamic range [Minimum recommended archival standard]

Audio Bit depth ( Bits/sample) Data rate and Bandwidth in audio applications (Bit depth)

Audio File Format (Which Audio File Format is Right For You?) Uncompressed audio formats WAV(PC), AIFF (MAC), AU (Unix), or raw lossless compression FLAC, Monkey's Audio (filename extension.ape), WavPack (filename extension.wv), TTA, ATRAC Advanced Lossless, Apple Lossless (filename extension.m4a), MPEG-4 SLS, MPEG-4 ALS, MPEG-4 DST, Windows Media Audio Lossless (WMA Lossless), and Shorten (SHN). lossy compression MP3, Vorbis, Musepack, AAC, ATRAC and Windows Media Audio Lossy (WMA lossy) MP3 (MPEG-1 audio layer III) kbits/channel

WAV (Waveform Audio File Format) Filename Extension:.wav Format Type: Uncompressed WAV files popular a “first generation” format. generally as the first digital copy of a file completely uncompressed. Properties the best possible quality and have not gone through any digital alterations except to be outputted. large file sizes. ideal for making copies of songs from

MP3 (MPEG-1 Audio Layer III) Filename Extension:.mp3 Format Type: Lossy Compressed MP3 File: First created for Audio layer within video standard format Most common used in exchanging audio on the internet if having a slower internet connection or limited hard drive space, MP3 could be your file format of choice. Properties quality depends largely on the bit rate used for compression Common bit rates are 128, 160, 192, and 256 kbps. MP3 files fall under the “good enough” umbrella.

Image Representation

Image Resolution (Dimension) Image Intensity Level (Bit Depth) Binary Image (1 bit / pel) Grayscale Image ( >= 8 bits / pel) Color Image (24 bits / pel) Image File Format.jpg /.tif /.gif /.bmp /.jpg2 /.png.psd /.svd /.ai

Image Resolution Image Resolution: 4608 x 3456 (15.9 MP, 4:3), 4608 x 3072 (14.2 MP, 3:2), 4608 x 2592 (11.9 MP, 16:9), 3456 x 3456 (11.9 MP, 1:1), 3264 x 2448 (8.0 MP, 4:3), 3264 x 2176 (7.1 MP, 3:2), 3264 x 1832 (6.0 MP, Other), 2448 x 2448 (6.0 MP, 1:1), 1920 x 1080 (2.1 MP, 16:9), 1600 x 1200 (1.9 MP, 4:3), 1600 x 1064 (1.7 MP, 3:2), 1200 x 1200 (1.4 MP, 1:1), 640 x 480 (0.3 MP, 4:3), 640 x 424 (0.3 MP, 3:2), 640 x 360 (0.2 MP, 16:9), 480 x 480 (0.2 MP, 1:1)

Image Resolution

Image Intensity levels Binary Image (1 bit / pixel)

Image Intensity levels Grayscale 8 bits / pixel

Image Intensity levels Retinas have three types of color photoreceptor cone cells that correspond to the colors of red, green, and blue Color image (RGB) 24 bits / pixel (True color) 8 bits/pixel / color 16 bits / pixel (Hi color) 5 bits / pixel / color + extra bits

R+G+B R B R+G+0 G B R

Examples of true color values

Image file format Bitmap / Raster / Spatial pixel-based image.jpg /.tif /.gif /.bmp /.jpg2 /.psd /.png Raster image quality -> resolution Vector Object based Eps (Encapsulated PostScript) Pdf (Portable Document Format) Ai (Adobe Illustrator)

Bitmap vs Vector What is the difference? Realworld or Computer Graphic Image Attributes Conversion Possibility

Pixel-based Image (bitmap) Position representation According to image resolution (width vs height)

Vector-based image (object based representation) made up of many individual, scalable objects (layers). These objects are defined by mathematical definitions or lines and geometric shapes rather than pixels <rect width="100" height="80" x="0" y="70" fill="green" /> <line x1="5" y1="5" x2="250" y2="95" stroke="red" /> <circle cx="90" cy="80" r="50" fill="blue" /> Un texte

Video Representation

0 A sequence of images 0 called frames 0 Sampling frequency 0 Frame rate: frames/sec (usually fps) 0 Frame resolution: 0 width x height (NxM pixels)

Line Resolution 0 Frame signaling 0 Progressive: a series of complete frames (all lines) 0 Interlaced: a sequence of interlaced fields (either the odd-numbered or even-numbered lines) Progressive (Raster) scanInterlaced scan

มาตรฐานการแพร่ภาพ วิดีโออนาลอก 0 NTSC (The National Television System Committee) 0 สหรัฐอเมริกา แคนาดา ญี่ปุ่น พม่า 0 สัญญาณภาพ 525 เส้น (line) / 60Hz 0 จำนวนภาพ 30 ภาพ (frame) / วินาที 0 PAL (Phase Alternation Line) 0 ไทย อังกฤษ ฝรั่งเศส เยอรมัน หรือประเทศทางยุโรป 0 สัญญาณภาพ 625 เส้น (line) / 50Hz 0 จำนวนภาพ 25 ภาพ (frame) / วินาที

มาตรฐานการแพร่ภาพ วิดีโอดิจิตอล 0 HDTV (High Definition Television) 0 การถ่ายทอดสัญญาณภาพ HD เกิดขึ้นครั้งแรก ของโลกในช่วงปี ค. ศ สถานีโทรทัศน์ที่ออกอากาศระบบ HD แห่งแรก ของโลกคือสถานีโทรทัศน์ NBC ของสหรัฐอเมริกา 0 จากนั้นเริ่มแพร่หลายไปในยุโรปช่วงยุคปี ค. ศ สัญญาณภาพ 1080i เส้น / 50 Hz หรือ 1080p เส้น / 60 Hz 0 ความละเอียดของภาพ 1280 x 720 พิกเซล HD 0 ความละเอียดของภาพ 1920 x 1080 พิกเซล หรือ เรียกว่า Full HD

0 Graphic Resolution 0 resolution ของภาพ 2 มิติใน 0 แนวแกน x-y เรียกว่า spatial resolution High-Definition Namex (px ) y (px ) x:yx·y (Mp x) nHD : qHD : HD : HD : FHD : QHD : WQXG A : UHD (4K) : UHD (8K) : VGAVGA: 640x480 VGA 2 times the width and 1 1 ⁄ 2 times the height of 4:3 VGAVGA 3 times the width and 2 1 ⁄ 4 times the height of 4:3 VGAVGA

Video Encoding 0 compressing 0 what’s not common between frames 0 Motion vectors 0 information that’s changed between frames 0 Error from motion compensation Motion vectors Errors

Video File Format 0.mpg หรือ.mpeg 0 ไฟล์ MPEG เป็นไฟล์มาตรฐานในการบีบอัดไฟล์วิดีโอ ซึ่ง เป็นรูปแบบของวิดีโอที่มีคุณภาพสูงและนิยมนำมาใช้กับงาน วิดีโอหลายประเภท 0.avi (Audio / Video Interleave) 0 เป็นฟอร์แมตที่พัฒนาโดยบริษัทไมโครซอฟต์ ปัจจุบันมี โปรแกรมแสดงผลติดตั้งมาพร้อมกับชุด Microsoft Windows คือ Windows Media Player เป็นไฟล์วิดีโอที่มี ความละเอียดสูง เหมาะสมกับการนำมาใช้ในงานตัดต่อวิดีโอ แต่ไม่นิยมนำมาใช้ในสื่อดิจิตอลอื่น ๆ เพราะไฟล์มีขนาด ใหญ่มาก

Video File Format 0.rm หรือ.ram 0 เป็นรูปแบบของแฟ้มที่พัฒนาโดยบริษัท Real Network รูปแบบไฟล์ชนิดนี้มี โปรแกรมใช้ในการอ่านข้อมูลของไฟล์ ประเภทนี้ได้แก่ Real Player และ Real One Player 0.flv (Flash Video) 0 เป็นไฟล์วิดีโอในรูปแบบของ Flash ซึ่งมีข้อดีคือ สามารถ นำมาใช้งานร่วมกับ Component ของ Flash รวมทั้งไฟล์ที่บีบอัดแล้วมีขนาด เล็กแต่ยังคงรายละเอียด ของไฟล์ต้นฉบับได้เป็นอย่างดี นิยมใช้นำเสนอข้อมูลบน อินเทอร์เน็ต 0.wmv (Windows Media Video) 0 เป็นไฟล์วิดีโอของบริษัทไมโครซอฟท์ เป็นไฟล์ที่ได้รับความ นิยมในปัจจุบันจาก สื่ออินเทอร์เน็ต มีจุดประสงค์ที่สร้างขึ้นมาเพื่อชมวิดีโอ แบบ Movie on Demand 0.mov 0 เป็นฟอร์แมตที่พัฒนาโดยบริษัท Apple ซึ่งมีความนิยมสูงใน เครื่องตระกูล Macintosh สามารถใช้ได้กับเครื่องที่ใช้ระบบ Windows แต่จำเป็นต้องติดตั้ง โปรแกรม QuickTime ก่อน นิยมใช้นำเสนอข้อมูลไฟล์ ผ่านอินเทอร์เน็ต