Adaline and Delta rule training for NN ไกรฤกษ์ เชยชื่น, M.Eng. Electrical
Adaline (Adaptive linear neuron) ไม่มี Activation function ปรับค่า weight โดยใช้ Delta rule Delta rule คือ ความแตกต่าง ระหว่าง input และ output หรือ เรียกว่า error การปรับ weight ของ Perceptron การปรับ weight ของ ADALINE
Adaline (Adaptive linear neuron) Architecture : สำหรับ 1 Neural, อินพุต จำนวน n ตัว 1 Activation function b X1 w1 wi Xi Y wn Xn
Adaline (Adaptive linear neuron) Perceptron (Cont.) Adaline (Adaptive linear neuron) Algorithm: สามารถใช้ได้กับทั้ง Input แบบ binary (0,1) และ bipolar (1, -1) Output แบบ bipolar (1, -1) Step0: - กำหนดค่าเริ่มต้นให้กับ weight, w1, w2, …, wi,…, wn และ bias, b (เพื่อความง่ายเรามักกำหนด w = 0 และ b = 0) กำหนด learning rate (อัตราการเรียนรู้) , α ( ) (เพื่อความง่ายเรามักกำหนด α = 1) - กำหนดเทรโชลด์ เป็นค่าคงที่ที่ไม่เป็นค่า ลบ
Adaline (Adaptive linear neuron) Algorithm: สามารถใช้ได้กับทั้ง Input แบบ binary (0,1) และ bipolar (1, -1) Output แบบ bipolar (1, -1) Step1: ทำซ้ำ Step2 – 5 จนว่า เงื่อนไขใน Step5 จะเป็นเท็จ (false) Step2: ทำซ้ำ Step2 – 4 ในแต่ละคู่ input (x1,x2,…,xn) กับ target output, t (1 หรือ -1) Step3: คำนวณ real output, y ดังนี้
Adaline (Adaptive linear neuron) Step4: ปรับค่า weight และ bias โดย If (ถ้า) target output (t) ≠ real output (y) end
Adaline (Adaptive linear neuron) Step5: ทดสอบเงื่อนไขการหยุด โปรแกรม If (ถ้า) the largest weight change ใน Step2 น้อย กว่าค่า specified tolerance (ค่าน้อยๆ เข้าใกล้ 0) ให้หยุดโปรแกรม else (มิฉะนั้นแล้ว) ไปทำ Step1
ตัวอย่าง: Perceptron : สำหรับ AND function กำหนดให้ Input แบบ binary (0,1) และ Output แบบ bipolar (1, -1) ตารางการทำงานของ AND x1 x2 1 (bias) Target output 1 -1
Adaline (Adaptive linear neuron) ทดสอบ(Testing): 1 Activation function b X1 w1 wi Xi Y wn Xn
การบ้าน: AND function โดย input และ output เป็น bipolar x1 x2 1 (bias) Target output -1 1