INC 637 Artificial Intelligence Lecture 13 Reinforcement Learning (RL) (continue)

งานนำเสนอเรื่อง: "INC 637 Artificial Intelligence Lecture 13 Reinforcement Learning (RL) (continue)"— ใบสำเนางานนำเสนอ:

1 INC 637 Artificial Intelligence Lecture 13 Reinforcement Learning (RL) (continue)

2 Reinforcement Learning Value Table State Value Table 1 dimension State Action Value Table 2 dimension State Action (Q-table) (V-table)

3 Bellman Equation for a Policy  So: Or, without the expectation operator: คำนวณหา Value Function จาก policy π

4 Bellman Optimality Equation for V* The value of a state under an optimal policy must equal the expected return for the best action from that state:

5 3 Methods to find V* Dynamic Programming Monte Carlo Temporal Difference

6 Dynamic Programming Policy EvaluationPolicy Improvement ประกอบด้วยขบวนการหลัก 2 ส่วน

7 Policy Evaluation แต่ละ state มีสมการของตัวเองซึ่งขื้นกับ value function ของ next state เป็นสมการ linear หลายตัวแปร อย่างไรก็ตาม ก็ยังยากที่จะแก้สมการถ้ามีหลายๆ state

8 Iterative Policy Evaluation a “sweep” A sweep consists of applying a backup operation to each state. ตือใช้ value function จาก อันก่อนมาประมาณอันปัจจุบัน A full policy evaluation backup:

9 Example Undiscounted episodic task Actions that would take agent off the grid leave state unchanged Reward is –1 for every action until the terminal state is reached Terminal state

10 (0.25(-1+0.0) + 0.25(-1-1.0) + 0.25(-1-1.0) + 0.25(-1-1.0)

11

12 Policy Improvement สามารถทำได้จาก value function ที่คำนวณได้มาโดยปรับ ให้ไปเลือก action ที่มี value function สูงสุด เรียกว่าเป็น greedy actions

13

14 Iterative Policy Improvement policy evaluationpolicy improvement “greedification” การ estimate ค่า value function โดยใช้ค่า estimate ของมันเองเรียก Bootstrapping

15 Dynamic Programming

16 Monte Carlo Method Dynamic Programming ต้องรู้ world model นั่นคือมี reward เท่าใด ที่ไหมบ้าง และ next state เป็นอะไร Monte Carlo จะไม่ต้องรู้ world model มาก่อน คุณสมบัติของ Monte Carlo ใช้ได้กับ episodic tasks เท่านั้น learn จาก ประสบการณ์จริงโดยใช้ complete returned reward

17 Monte Carlo Policy Evaluation Goal: learn V  (s) Given: some number of episodes under  which contain s Idea: Average returns observed after visits to s Every-Visit MC: average returns for every time s is visited in an episode First-visit MC: average returns only for first time s is visited in an episode Both converge asymptotically 12345

18 Backup Diagram of MC Entire episode included Only one choice at each state (unlike DP) MC does not bootstrap Time required to estimate one state does not depend on the total number of states Series of actions s1 s2 s3 a1 a2 a3

19 Monte Carlo Policy Iteration Policy Improvement

20 Example: Blackjack Object: Have your card sum be greater than the dealers without exceeding 21. States (200 of them): –current sum (12-21) –dealer’s showing card (ace-10) –do I have a useable ace? Reward: +1 for winning, 0 for a draw, -1 for losing Actions: stick (stop receiving cards), hit (receive another card) Policy: Stick if my sum is 20 or 21, else hit

21 เช่นในสถานะการหนึ่งไม่มี usable ace และ เจ้ามือ show 8 เราเริ่มต้นที่ แต้ม = 12 จั่วได้ เป็น 14 และ 18 แล้วดูผลว่าแพ้หรือชนะ จะนำค่าผลลัพธืที่ได้มา update state ที่ 12, 14, 18 นี้ ทำไปหลายหมื่นครั้งจะได้กราฟของทุก state ดังรูป

22 Temporal Difference (TD) Policy Evaluation (the prediction problem): for a given policy , compute the state-value function Recall: target: the actual return after time t target: an estimate of the return

23 Simple Monte Carlo TTTTTTTTTT

24 Simplest TD Method TTTTTTTTTT

25 Dynamic Programming T T T TTTTTTTTTT

26 TD Bootstraps and Samples Bootstrapping: update involves an estimate –MC does not bootstrap –DP bootstraps –TD bootstraps Sampling: update does not involve an expected value –MC samples –DP does not sample –TD samples

27 Learning an Action-Value Function

28 Sarsa: On-Policy TD ที่เป็น on-policy เพราะต้องทำ action ก่อนเพื่อให้ได้ next state แล้วค่อยนำมา update value table

29 Q-learning Off-Policy TD ที่เป็น off-policy เพราะไม่ต้องทำตาม next state ที่จะเลือกเอา action ที่ได้ reward สูงสุด

30 Current state Action ไปทางขวา Next state