Back-Propagation Learning (การเรียนรู้แบบแพร่กลับ) (ต่อ) ไกรฤกษ์ เชยชื่น, M.Eng. Electrical
วิเคราะห์การใช้งานเครือข่ายแบบแพร่กลับ - การลู่เขา (Convergence) ของอัลกอริทึ่มการฝึกสอนเป็นส่วนที่จำเป็น - พารามิเตอร์ของเครือข่ายถือเป็นสิ่งแรกที่ผู้ใช้เครือข่ายประสาทเทียมทุกรูปแบบต้องคำนึงถึง
การเลือกพารามิเตอร์ของเครือข่าย - โครงสร้างของเครือข่ายมีผลโดยตรงต่อประสิทธิภาพ การประมาณค่าฟังก์ชัน - จำนวนนิวรอนและจำนวนชั้นซ่อนเร้นจะต้องเหมาะสม - โดยทั่วไปแล้วเราไม่สามารถบอกได้ว่าจำนวนดังกล่าวคืออะไร - ตัวเลือกดังกล่าวยอมขึ้นอยู่กับความซับซ้อนของฟังก์ชัน
ลองเปลี่ยน ความซับซ้อนของฟังก์ชัน เมื่อ ใช้โครงสร้าง เหมือนกันคือ 1-2-1 (input 1 layer, hidden 2 layer, output 1 layer)
1-10-1 1-5-3-1 1-6-4-1
การลู่เข้า (Convergence) - การฝึกสอนของเครือข่ายซึ่งมุ่งเน้นไปที่ทำให้ค่าความผิดพลาดกำลังสองเฉลี่ยมีค่าน้อยที่สุด - การลู่เข้าอาจลู่เข้าสู่ local minimum ซึ่งค่า weight และ ไบแอส อาจไม่ใช่ค่าที่ถูกต้อง - ค่าอัตราการเรียนรู้ที่ต่ำๆ ช่วยยืนยันการลู่เข้าแต่จะใช้เวลานาน
การทำให้เป็นกรณีทั่วไป (Generalization) - คือความสามารถในการเป็นกรณีทั่วไปได้ นั่น คือจากการฝึกสอนด้วยจำนวนตัวอย่าง (คู่อินพุต/เป้าหมาย) จำนวนที่จำกัด เครือข่ายสามารถทำงานเป็นกรณีทั่วไปได้ โดยครอบคลุมคูอินพุต/เป้าหมายที่ไม่ใช่ตัวอย่างในชุดข้อมูลที่ใช้ฝึกสอนได้อย่างถูกต้อง การปรับแตงอัลกอริทึมการเรียนรูแบบแพรกลับ
การปรับแต่งอัลกอริทึมการเรียนรู้แบบแพร่กลับ - เราสามารถดูประสิทธิภาพของเครือข่ายได้จากพื้นผิวค่าความผิดพลาด (Error surface) คำสั่ง Demo BP ของ Matlab คือ nnd12sd1 - การลู่เข้าของการฝึกสอนสำหรับค่าเริ่มต้นที่ ตำแหน่งต่างๆ จะเห็นได้ว่าไม่ใช่ทุกค่าเริ่มต้นที่ให้การลู่เข้าสู่คำตอบที่ต้องการได้
การปรับแต่งอัลกอริทึมการเรียนรู้แบบแพร่กลับ Global minimum Local minimum - การลู่เข้าของการฝึกสอนสำหรับค่าเริ่มต้นที่ ตำแหน่งต่างๆ จะเห็นได้ว่าไม่ใช่ทุกค่าเริ่มต้นที่ให้การลู่เข้าสู่คำตอบที่ต้องการได้
การปรับแต่งอัลกอริทึมการเรียนรู้แบบแพร่กลับด้วย โมเมนตัม โมเมนตัมใช้หลักการของ Low pass filter ซึ่งจะใช้ ค่าคงที่โมเมนตัม, η ในการกรองเอาความถี่สูงออกไป สมการพื้นฐานแสดงได้ดังนี้ New output Old output input
การปรับแต่งอัลกอริทึมการเรียนรู้แบบแพร่กลับด้วย โมเมนตัม η=0.2 η=0.4 η=0.7 η=0.9
การปรับแต่งอัลกอริทึมการเรียนรู้แบบแพร่กลับด้วย โมเมนตัม ไม่มี โมเมนตัม มี โมเมนตัม
อัตราการเรียนรู้ที่ปรับค่าได้ (Variable Learning Rate) ถ้าการ Training เป็นไปด้วยดี ( error decreased) แล้วเพิ่ม step size α = α*1.1 ถ้าการ Training เป็นไปไม่ดี ( error increased) แล้วลด step size α = α*0.5 ถ้าการ Training เป็นไปด้วยดีพอใช้ ( error decreased) ไม่ต้องปรับ learning rate *ฟังก์ชันที่ใช้ในการปรับค่าตั้งต้นของ network net=init(net)
Matlab command Steepest descent with momentum Adaptive learning rate net=newff(minmax(p),[3,1],{'tansig','purelin'},'traingdm'); net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; % mc = momentum constant net.trainParam.epochs = 300; net.trainParam.goal = 1e-5; Adaptive learning rate net=newff(minmax(p),[3,1],{'tansig','purelin'},'traingda'); net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.lr_inc = 1.05; % lr_inc = learning rate increasing net.train.Param.lr_dec = 0.7; % lr_dec = learning rate decreasing net.trainParam.epochs = 300; net.trainParam.goal = 1e-5; [net,tr]=train(net,p,t);