CPE 332 Computer Engineering Mathematics II

งานนำเสนอเรื่อง: "CPE 332 Computer Engineering Mathematics II"— ใบสำเนางานนำเสนอ:

1 CPE 332 Computer Engineering Mathematics II
Week 6 Part II, Chapter 5 Random Process, MarKov Process

2 Today Topics Random Process Counting Process MarKov Process Stationary
Ergodic Time Average Counting Process MarKov Process

3 Random Process

4 Sample Function and Ensemble
Time Average time Ensemble Average Ensemble Average

5 Statistical Average 2

6 Statistical Average

7 Ensemble and Time Average
ค่าเฉลี่ยในแกนเวลาสำหรับแต่ละ Sample Function ใน Random Process เราเรียก Time Average ค่าเฉลี่ยในเวลาหนึ่งๆของทุกๆ Sample Function ซึ่งคือค่าเฉลี่ยของ Sample Point สำหรับ Random Variable ของ Random Process ที่เวลาหนึ่ง เรียก Ensemble Average สองตัวนี้ไม่จำเป็นต้องเท่ากัน กรณีพิเศษที่เท่ากัน เราเรียก Random Process ว่าเป็น Ergodic

8 Ergodic Random Process
ถ้า RP เป็น Ergodic Time Average = Ensemble Average Mean Ergodic หมายถึงค่าเฉลี่ยในทางเวลา เท่ากับค่าเฉลี่ย(mean = E(X(ti))) ของ Ensemble Correlation Ergodic หมายถึงค่า Variance ในทางเวลา เท่ากับค่า Variance ที่ได้จาก Ensemble เราใช้ควบคู่กับ Concept ของ Stationary Random Process

9 Stationary RP ค่าทางสถิติของ RP Process ปกติเปลี่ยนไปกับเวลา (Ensemble Average ที่เวลาต่างกัน) Mean Variance PDF สำหรับกรณีพิเศษที่ค่าเหล่านี้ของ RP คงที่ เราเรียกว่ามันเป็น Stationary Mean ของ RP เหมือนกันตลอดเวลา Variance เช่นกัน PDF คงที่ตลอดเวลา

10 Stationary RP Stationary RP Strict Sense Stationary (SSS)
PDF ไม่เปลี่ยน ดังนั้นทุกๆ Moment (Expectation) ไม่เปลี่ยน Wide Sense Stationary (WSS) เฉพาะ 2 Moment แรกคงที่ Mean Variance (Mean Square)

11 WIDE SENSE STATIONARY t2-t1 t1 t2

12 Autocorrelation(WSS)
Peak=Power Even

13 Discrete-Time Random Process
อาจจะได้จากการสุ่มตัวอย่าง (Sampling) ของ Continuous RP เขียน

14 Ergodic Discrete RP ถ้า RP เป็น Ergodic ด้วยค่า Mean (Average จาก Ensemble = Average จาก Time)

15 Ergodic Discrete RP ถ้า RP เป็น Ergodic สำหรับ Coorelation

16 กรณีที่จำกัด Sequence ความยาว N

17 จำกัด Sequence ความยาว N
ค่า Autocorrelation สำหรับ N Samples สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N Point แต่จะเกิดการ Biased

18 ความหมายของ x(n)x(n+m)

19 ความหมายของ x(n)x(n+m), N Points
X(n): n=0,1,…,9 X(n+3) เราไม่ควรเฉลี่ยทั้ง N ตัว (Biased) แต่ควรเฉลี่ย N-m ตัว (non-Biased)

20 จำกัด Sequence ความยาว N
ค่า Autocorrelation สำหรับ N Samples สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N Point แต่จะเกิดการ Biased เพราะเราเฉลี่ยน้อยกว่านั้น

21 Sequence ความยาว N / RAW

22 Sequence ทั่วไป

23 Example: Rxx x=[1 2 3]

24 Example: Rxx x=[1 2 3]

25 Example: Rxx x=[1 2 3]

26 Example: Rxx x=[1 2 3]

27 Example: Rxx x=[1 2 3]

28 Example: Rxx x=[1 2 3]

29 Example: Rxx x=[1 2 3]

30 Example: Rxx x=[1 2 3]

31 Rxx(m)

32 Example: Rxy x=[1 2 3], y=[ ]

33 Example: Rxy x=[1 2 3], y=[ ]

34 Example: Rxy x=[1 2 3], y=[ ]

35 Example: Rxy x=[1 2 3], y=[ ]

36 Example: Rxy x=[1 2 3], y=[ ]

37 Example: Rxy x=[1 2 3], y=[ ]

38 Example: Rxy x=[1 2 3], y=[ ]

39 Rxy(m)

40 Counting Process N(t) t

41 Poisson Process

42 Poisson Process ถ้าแต่ละเหตุการณ์ที่เกิดขึ้นเป็น Random และไม่ขึ้นต่อกัน มันจะเป็น Poisson Probability ที่จะมี k เหตุการณ์เกิดในช่วงเวลา t สามารถคำนวณได้จากสูตร ระยะเวลาระหว่างสองเหตุการณ์ที่เกิดขึ้น เรียก Inter-arrival time จะมีการกระจายแบบ Exponential ด้วยค่าเฉลี่ย 1/

43 Poisson Process

44 Birth and Death Process

45 State Diagram พิจารณาจากระบบ มีทั้ง Birth ด้วย Birth Rate (t) และ Death ด้วย Death Rate (t) เมื่อเราให้ระบบทำงาน ในระบบจะไม่มีอะไรอยู่ เราเรียกว่าอยู่ที่ State 0 เมื่อมีหนึ่ง Event เข้ามา หรือ Birth ระบบจะมี Event เพิ่มขึ้นและจะไปอยู่ที่ State ที่มากกว่าปัจจุบัน “หนึ่ง” เมื่อมีหนึ่ง Event จบลง (Death) ระบบจะลด State ลงหนึ่ง ค่า State ของระบบคือจำนวน Event ที่มีอยู่ในระบบ การกระโดดไปยัง State ที่สูงกว่า หรือต่ำกว่า สามารถกำหนดด้วย Probability และเขียนได้ในลักษณะของ State Diagram ถ้าระบบไม่มีการจดจำ เราเรียก Diagram นี้เป็น MarKov Model ระบบคือ MarKov Process

46 MarKov Process and Markov Chain

47 Markov Process and Markov Chain

48 Discrete Time Markov Chain

49 Discrete Time Markov Chain

50 Discrete Time Markov Chain

51 Discrete Time Markov Chain

52 Discrete Time Markov Chain

53 Discrete Time Markov Chain

54 Discrete Time Markov Chain

55 Discrete Time Markov Chain

56 สรุป MarKov Chain สถานะของระบบ ดูได้จากจำนวณ Event ที่อยู่ในระบบ เรียก State ของระบบ ถ้า State เป็น Discrete เราได้ MarKov Chain มีค่า Probability สองชุดที่อธิบายการทำงานของระบบ State Probability: Probability ที่ระบบจะอยู่ที่ State ใด State หนึ่ง ผลรวมของ State Probability จะต้องเท่ากับ 1 Transition Probability: Probability ที่ระบบจะมีการเปลี่ยน State อธิบายจาก Transition Matrix ผลรวมของ Transition Probability แต่ละแถว จะต้องเท่ากับ 1 ถ้าระบบอยู่ที่ Equilibrium ค่า Probability ของ State จะไม่เปลี่ยน และสามารถอธิบายได้ด้วย Global Balance Equation MarKov Chain ที่เราสนใจคือ Irreducible และ Aperiodic

57 Detailed Balance Equation: Simple MarKov Chain

58 Markov Chain(Detailed Bal Eq)
Detailed Balance Equation

59 Transition Matrix ของ Simple Markov Chain จะมีลักษณะเป็น Tridiagonal

60 Example MarKov Chain แสดงด้วย Markov Model ดังรูปข้างล่าง
1. จงหา Transition Matrix 2. จาก Transition Matrix จงคำนวณหา State Probability 0.2 0.3 0.1 0.2 1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

61 Example 1. จงหา Transition Matrix 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1 0.2
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

62 Example 1. จงหา Transition Matrix 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1 0.2
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

63 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

64 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

65 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

66 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

67 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

68 Example 2. จงคำนวณหา State Probability 1 2 3 0.2 0.3 0.1 0.2 0.1 0.1
1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1

69 สมการ System of Linear Equation แก้ได้โดยวิธี Elimination
Example 2. จงคำนวณหา State Probability 0.2 0.3 0.1 0.2 1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1 สมการ System of Linear Equation แก้ได้โดยวิธี Elimination

70 สมการ System of Linear Equation แก้ได้โดยวิธี Elimination
Example 2. จงคำนวณหา State Probability 0.2 0.3 0.1 0.2 1 2 3 0.1 0.1 0.2 0.5 0.8 0.6 0.6 0.2 0.1 สมการ System of Linear Equation แก้ได้โดยวิธี Elimination

71 Example: Simple MarKov
MarKov Chain แสดงด้วย Markov Model ดังรูปข้างล่าง 1. จงหา Transition Matrix 2. จาก Transition Matrix จงคำนวณหา State Probability 1 2 3 0.5 0.8 0.6 0.1 0.3 0.2 4 0.4

72 Example: Simple MarKov
Transition Matrix 1 2 3 0.5 0.8 0.6 0.1 0.3 0.2 4 0.4

73 Example: Simple MarKov
State Probability 1 2 3 0.5 0.8 0.6 0.1 0.3 0.2 4 0.4

74 Example: Simple MarKov
State Probability

75 Example: Simple MarKov
State Probability ใช้วิธีของ Matrix

76 End of Chapter 5 Next Week Chapter 6 Homework Chapter 5 Download
Introduction to Queuing Theory Homework Chapter 5 Download พยายามทำให้มากที่สุด