Type of Analytical Method Reference Method Standard Method Method Evaluation and Method Validation วัตถุประสงค์ น.ศ.สามารถ 1. อธิบายวิธีการศึกษาเพื่อประเมินวิธีวิเคราะห์ได้ 2. วิเคราะห์และแปลความหมายผลการศึกษา เพื่อประเมินวิธีวิเคราะห์ได้ Type of Analytical Method Reference Method Standard Method Routine Method http://home.kku.ac.th/wiskun/465211/MethodEvaluation.ppt http://home.kku.ac.th/wiskun/book/index.html Method Evaluation

Process for Establishing a Routine Test Select, Evaluate Diagnostic Test Select Method of Analysis Validate Method Performance Develop Method Improvements Implement Method Maintain Method Prevent Problems Acquire Specimens Perform Tests Check with Statistical QC Report Results A Routine Laboratory Testing Process From...http://www.westgard.com/lesson20.htm

Method characteristics Application characteristics are factors that determine whether a method can be implemented in a particular laboratory situation. cost-per-test, types of specimens sample volume, turnaround time, workload, equipment and personnel requirements, space, portability, and safety considerations Methodology characteristics are factors which, in principle, should contribute to best performance analytical sensitivity and analytical specificity of the method of analysis choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure Performance characteristics are factors which, in practice, demonstrate how well a method performs. working range, precision, recovery, interference, accuracy, and sometimes detection limit

Ideal Clinical Laboratory Test Perfect accuracy and precision High analytical sensitivity (a limit of detection of zero) Absolute analytical specificity (No interferences) Diagnostic sensitivity and specificity of 100% Analytical Performance Diagnostic Performance Area under ROC Curve closest to 1.0 (Receiver Operating Characteristic) Likelihood ratios, LR >10 or LR <0.1 Method Evaluation

ความถูกต้อง (Accuracy) คือ ความสามารถเข้าใกล้ค่าจริง (True Value) ของผลการวัด True Value ในที่นี้คือ Conventional True Value (of a Quantity) คือ ค่าซึ่งแสดงคุณลักษณะของปริมาณเฉพาะเจาะจงที่ตกลง ยอมรับร่วมกันจากที่ประชุม โดยมีค่าความไม่แน่นอน(uncertainty)ที่เหมาะสมสำหรับ จุดประสงค์ที่กำหนด คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html Method Evaluation

ความแม่นยำ (Precision) คือ องศาของความสอดคล้อง และเป็นไปตามกันของการวัดที่ ไม่ขึ้นต่อกันของปริมาณอันหนึ่งภายใต้เงื่อนไขเดียวกัน 2. ค่าความใกล้เคียงกันของผลการวัดซ้ำหลายๆ ครั้ง ซึ่งการ วัดหลายๆ ครั้ง จะต้องกระทำภายใต้สภาวะและเงื่อนไข เดียวกัน ความคลาดเคลื่อน (Error) คือ ผลของการวัดลบด้วยค่าจริง ของปริมาณที่ถูกวัด Error = Measured Value - True Value คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html Method Evaluation

ความไม่แน่นอน (Uncertainty) คือ ขอบเขตที่กำหนดไว้แน่นอน (Parameter) ร่วมกับ ผลการวัด ซึ่งบอกลักษณะการกระจายของค่าที่ได้จากวัด ซ้ำๆ กันที่สามารถทำให้อ้างได้สมเหตุสมผลว่า เป็นของปริมาณที่ถูกวัด (Measurand) 2. การรายงานผลการวัด จะต้องรายงานค่าความไม่แน่นอน ปริมาณ = ค่าที่วัดได้ + ความไม่แน่นอน ที่ระดับความเชื่อมั่น …... % คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html Method Evaluation

Performance specifications of a new method are Accuracy (ความถูกต้อง) Precision (ความแม่นยำ) Analytical sensitivity (ความไวต่อการวิเคราะห์ปริมาณ) Analytical specificity to include interfering substances (ความจำเพาะต่อสารที่วิเคราะห์) Reportable range of patient test results (ช่วงที่วิเคราะห์ได้ในตัวอย่างของวิธีตรวจ) Reference range (ช่วงค่าอ้างอิง/ปกติ ที่พบในคนปกติ) Any other performance characteristic required for test performance Method Evaluation

วิธีวิเคราะห์ /วิธีตรวจวัด การประเมิน Analytical Method Evaluation ต้องมี ข้อมูล/สารสนเทศ เกณฑ์การตัดสินใจ เป้าหมาย ผลตรวจเชื่อถือได้ ถูกต้อง (accuracy) แม่นยำ (precision) การประเมินวิธีวิเคราะห์ว่าให้ผลตรวจน่าเชื่อถือหรือไม่ Method Evaluation

Observed Distribution And Error concept of Accuracy True Value Observed Mean Westgard JO. The Meaning and Application of Total Error Site on 5Jun09 From..http://www.westgard.com/essay111.htm X X X X X X X X Systemic error, SE Random error, RE Total error, TE Method Evaluation

Systemic error & Random error y = x + 0 ผลตรวจ = ค่าจริง No error Constant error ผลตรวจ (y) y = x + b ? Proportional error y = ax + 0 b ค่าจริง (x) Systemic error (SE) Constant error (CE) Proportional error (PE) Random error (RE) มีรูปแบบ error ที่คาดการณ์ได้ มีรูปแบบ error ที่คาดการณ์ไม่ได้ Method Evaluation

Analytical Method Evaluation Study Application characteristics study ศึกษาหลักปฏิกิริยาตรวจและวิธีตรวจ Linearity study ช่วงการวิเคราะห์ของวิธี => Lower & Upper limit Precision study ความแปรปรวนของผลวิเคราะห์ (within run & between run) Interference study การรบกวนวิธีวิเคราะห์ของสารที่อาจพบในตัวอย่างตรวจ Recovery study ประมาณการ proportional error Method comparison study เปรียบเทียบผลตรวจกับวิธีอ้างอิง (Reference method) Method Evaluation

ลำดับการศึกษาเพื่อประเมินความผิดพลาดของวิธีวิเคราะห์ ชนิดความผิดพลาด การประเมินขั้นต้น การประเมินขั้นปลาย ความผิดพลาดแบบสุ่ม (Random Error) ความแม่นยำภายในชุดการวิเคราะห์ Within-run study ความแม่นยำระหว่างชุดการวิเคราะห์ Between-run study ความผิดพลาดคงที่ (Constant Error) การศึกษาการรบกวน Interference study การศึกษาเปรียบเทียบผลการตรวจกับวิธีอ้างอิง Comparison study ความผิดพลาดแบบสัดส่วน (Proportional Error) การศึกษารีคอเวอรี และการศึกษาไลเนียลิตี Recovery study and Linearity study ความผิดพลาดแบบระบบ (Systematic Error) Method Evaluation

Linearity ของการวิเคราะห์ด้วยวิธีวัดการดูดกลืนแสง คำนวณความเข้มข้นจากค่า absorbance ความสัมพันธ์ตามการคำนวณของ สมการ Beer’s law A = a·b·C ความสัมพันธ์จริง ช่วงการวิเคราะห์ analytical range Absobance Linearity Higher limit of detection 0.00 Lower limit of detection ความเข้มข้น ต่ำ สูง Method Evaluation

Linearity ของการวิเคราะห์ด้วยวิธีวัดศักย์ไฟฟ้า ช่วงการวิเคราะห์ analytical range Higher limit of detection ศักย์ไฟฟ้า High Cal Lower limit of detection Low Cal ความเข้มข้น Lower limit Higher limit Method Evaluation

Linearity study โดยใช้ตัวอย่างค่าสูงๆ เจือจาง ค่าครอบคลุมช่วงตั้งแต่ 0 ถึง 1.5 เท่าของค่าที่ตรวจพบ ในงานประจำวัน Linearity = ค่าสูงสุดของกลุ่มข้อมูลที่ทำให้ slope = 1.00 + 0.03 และ intercept = 0.0 + within run precision ค่าวิเคราะห์ได้จากวิธีวิเคราะห์ (y) y = a x + b ค่าคำนวณจากการเจือจางตัวอย่าง (x) Method Evaluation

Precision study วิเคราะห์ตัวอย่างเดิมซ้ำ 20 ครั้ง แล้วนำผลการวิเคราะห์มา คำนวณสัมประสิทธิ์ความแปรปรวน (%CV) ความแม่นยำของการตรวจวิเคราะห์ซ้ำในชุดการวิเคราะห์ (Within Run Precision) มีผลตรวจมากกว่า 1 ข้อมูล ออกนอกช่วง mean + 2 SD ไม่ควรนำวิธีนี้มาใช้ %CV < ½ ของ Intra-individual variation ของสารในร่างกาย เช่น Total protein มี Intra-individual variation = 3% %CV ไม่ควรมากกว่า 1.5% Westgard แนะนำ within-run %CV ไม่ควรเกิน 1/4 of TEa Method Evaluation

Precision study ความแม่นยำของการตรวจวิเคราะห์ซ้ำระหว่างชุดการวิเคราะห์ (Between Run Precision) %CV ไม่ควรเกินค่าความผิดพลาดที่ย่อมรับได้ (allowable error) ของการตรวจวัดสารนั้น ? Total protein CLIA Acceptable Performance 10% Medical Decision Level 7.0 g/dl CLIA Allowable Error 0.70 g/dl Medically Allowable Error 0.51 g/dl ที่ระดับ 7.0g% %CV ไม่ควรเกิน = 7.28% Westgard แนะนำ beteween-run %CV ไม่ควรเกิน 1/3 of TEa CLIA = Clinical Laboratory Improvement Amendments Method Evaluation

For short-term imprecision, http://www.westgard.com/lesson22.htm For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa . Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision TE = %Bias + Imprecision (z %CV) Method Evaluation

การประมาณค่า Random error (RE) จาก %CV โดยใช้โอกาสทางสถิติ (ประมาณ 1.96SD) Random error ที่ค่า mean คำนวณจากสูตร RE = 1.96 x imprecision %CV = 5.0% RE = 1.96 x 5 = 9.8% Medical Decision level = 7.0 RE = 1.96 x 0.35 = 0.69 Total protein CLIA Acceptable Performance 10% Medical Decision Level 7.0 g/dl CLIA Allowable Error 0.70 g/dl Medically Allowable Error 0.51 g/dl Method Evaluation

1) ตรวจวัดตัวอย่างศึกษา อย่างน้อย 20 วัน NCCLS EP5-A2 Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition 1) ตรวจวัดตัวอย่างศึกษา อย่างน้อย 20 วัน 2) ใน 1 วัน ตรวจตัวอย่างศึกษา 2 ครั้ง และครั้งละ 2 ตัวอย่าง 3) ในการตรวจตัวอย่างศึกษาทุกครั้ง ต้องมีการตรวจตัวอย่างควบคุมคุณภาพการตรวจด้วย อย่างน้อย 1 ระดับความเข้มข้น 4) การศึกษา precision performance ต้องทำกับตัวอย่างศึกษา 2 ระดับความเข้มข้น เป็นอย่างน้อย ตัวอย่างศึกษา Level 1 Day# การตรวจครั้งที่ 1 การตรวจครั้งที่ 2 R1p1 R1p2 R2p1 R2p2 1 242 246 245 2 243 238 3 247 239 241 240 : 19 20 Repeatability, Method precision NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition. NCCLS document EP5-A2 (ISBN 1-56238-542-9). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087- 1898 USA, 2004. Method Evaluation

ตัวอย่างตรวจทางเคมีคลินิกส่วนมากเป็น serum/plasma Interference study ตัวอย่างตรวจทางเคมีคลินิกส่วนมากเป็น serum/plasma สารรบกวนการวิเคราะห์ที่มีโอกาสพบได้แก่ - hemoglobin จากการแตกของเม็ดเลือดแดง - ไขมันที่มีมากในบาง serum - บิลิรูบินที่มีมากในบาง serum - ยาบางชนิดที่อาจมีมากใน serum ตัวอย่างสำหรับศึกษา ตัวอย่างที่ไม่มีสารรบกวน ตัวอย่างที่มีสารรบกวน hemoglobin 0 mg/dl bilirubin < 1.5 mg/dl triglyceride < 150 mg/dl ความเข้มข้นที่ระดับค่าอ้างอิง ความเข้มข้นสารรบกวน ตั้งแต่ระดับต่ำไปจนถึงมากสุดที่คาดว่าจะพบได้ ในตัวอย่างของงานประจำวัน Method Evaluation

ตัวอย่างศึกษาผลการรบกวนของ bilirubin ต่อการตรวจวัดกลูโคส 200 mg/dl Diluents Bilirubin (mg/dl) 1.0 ml 3.0 ml 50 2.0 ml 100 150 ตัวอย่างที่ไม่มีสารรบกวน Bilirubin (mg/dl) 1.0 ml 9.0 ml 5 10 15 Diluents Bilirubin (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 99 100 101 5 103 102 102-100 = 2 10 104 105 104-100 = 4 15 112 111 110 111-100 = 11 Method Evaluation

ศึกษาการรบกวนของการแตกของเม็ดเลือดแดง (hemolytic serum) Hemoglobin (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 100 300 500 700 ศึกษาการรบกวนของไขมัน (Lipimic serum) Triglyceride (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 300 500 700 Method Evaluation

Recovery study การศึกษาโดยการเติมสารในปริมาณที่ทราบว่ามีความเข้มข้นเท่าใด ลงในตัวอย่างศึกษาแล้วนำมาตรวจวัดและนำมาวิเคราะห์ดูว่า ตรวจวัดได้เป็นร้อยละเท่าใดของปริมาณที่เติมเข้าไปในตัวอย่าง ตัวอย่างศึกษา Recovery ของการตรวจวัดกลูโคส ตัวอย่าง ศึกษา ผู้ป่วย สารมาตรฐานกลูโคส 1,000 mg/dl Diluents (DW) กลูโคสที่เติม (mg/dl) 1 A 2.0 ml 0.1 ml - 2 = 47.6 3 B 4 Method Evaluation

ตัวอย่าง ศึกษา ผลตรวจวัดกลูโคส (mg/dl) วัดกลูโคสที่เติมได้ (mg/dl) %Recovery 1 2 3 เฉลี่ย 51 53 54 52.7 - 97 100 98 98.3 98.3-52.7 = 45.6 124 120 121 121.7 4 169 166 164 166.3 166.3-121.7 = 44.6 Proportional error (PE) = | 100 - %Recovery | Average = 94.75 PE = | 100 – 94.75 | = 5.25% MD Level Med.AE PE 50 5.35 2.6 120 12.7 6.3 200 21.4 10.5 Method Evaluation

ตัวอย่าง ศึกษา ผลตรวจวัดกลูโคส (mg/dl) วัดกลูโคสที่เติมได้ (mg/dl) %Recovery 1 2 3 เฉลี่ย 51 53 54 52.7 - 97 100 98 98.3 98.3-52.7 = 45.6 124 120 121 121.7 4 169 166 164 166.3 166.3-121.7 = 44.6 Average = 94.75 %Expectation [1] วัดได้ 52.7 [2] เติมสาร 47.6 จึง expected จะตรวจวัดได้ 100.3 (52.7+47.6) แต่ตรวจวัดได้ 98.3 [3] วัดได้ 121.7 [4] เติมสาร 47.6 จึง expected จะตรวจวัดได้ 169.3 (121.7+47.6) แต่ตรวจวัดได้ 166.3 Method Evaluation

Method comparison study ใช้ตัวอย่างศึกษาอย่างน้อย 40 ตัวอย่าง y-intercept ใช้ประมาณค่า CE CE = y-intercept slope ใช้ประมาณค่า PE PE = (slope-1)x100 สัมประสิทธิ์สหสัมพันธ์ (r) และ sy/x ใช้ประเมิน RE ผลตรวจจากวิธีใหม่ (y) y = a x + b ผลตรวจจากวิธีอ้างอิง (x) หรือ วิธีที่ใช้ในปัจจุบัน ใช้ประมาณค่า systemic error (SE) SE = | Yc – Xc | Yc คำนวณจากสมการ y = a x + b โดยกำหนดค่า x = Xc %𝐷𝑖𝑓𝑓 𝑜𝑟 %𝑏𝑖𝑎𝑠= 𝑥 𝑐 − 𝑦 𝑐 𝑥 𝑐 ×100 Method Evaluation

ผลการศึกษาเปรียบเทียบการตรวจกลูโคส วิธีอ้างอิง (x) วิธีใหม่ (y) y = 0.973x - 5.7, r = 0.9941, n = 82, sy/x = 3.7 MD Level Med.AE PE SE 50 5.35 1.3 7.1 120 12.7 3.2 8.9 200 21.4 5.4 11.1 Xc Yc 50 42.9 <=0.973x50 - 5.7 120 111.1 <=0.973x120 - 5.7 200 188.9 <=0.973x200 - 5.7 ผลต่างใช้บอก SE น.ศ. ลองตอบคำถามนี้ เพื่อทบสอบความเข้าใจ ค่าที่ใช้บอก RE คือ... ค่าที่ใช้บอก CE คือ... ค่าที่ใช้บอก PE คือ... Method Evaluation

Method Evaluation X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2 1 5.1 8.5 26.01 72.25   X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2 1 5.1 8.5 26.01 72.25 43.35 6.53 1.97 3.88 2 5.4 2.8 29.16 7.84 15.12 6.85 -4.05 16.40 3 3.6 3.2 12.96 10.24 11.52 4.94 -1.74 3.03 4 6.8 46.24 24.48 8.34 -4.74 22.43 5 6.6 7.4 43.56 54.76 48.84 8.12 -0.72 0.52 6 6.5 7.1 42.25 50.41 46.15 8.02 -0.92 0.84 7 11.4 10.0 129.96 100.00 114.00 13.22 -3.22 10.35 8 5.3 6.2 28.09 38.44 32.86 6.74 -0.54 0.30 9 4.9 3.3 24.01 10.89 16.17 6.32 -3.02 9.12 10 9.8 8.4 96.04 70.56 82.32 -3.12 9.73 11 5.5 4.1 30.25 16.81 22.55 6.96 -2.86 8.16 12 6.3 4.6 39.69 21.16 28.98 7.80 -3.20 10.27 13 2.9 8.41 14.21 -3.42 11.69 14 3.5 2.5 12.25 6.25 8.75 4.83 -2.33 5.44 15 4.4 19.36 28.60 -3.62 13.08 16 11.1 123.21 78.81 12.90 -5.80 33.63 17 7.3 5.2 53.29 27.04 37.96 8.87 -3.67 13.44 18 6.9 47.61 42.78 7.70 -0.80 0.64 19 14.6 17.8 213.16 316.84 259.88 16.61 1.19 1.41 20 11.9 15.2 141.61 231.04 180.88 13.75 1.45 2.11 21 8.8 11.2 77.44 125.44 98.56 10.46 0.74 0.55 22 16.0 19.9 256.00 396.01 318.40 18.10 1.80 3.24 23 21.0 20.7 441.00 428.49 434.70 23.41 -2.71 7.32 24 3.4 2.4 11.56 5.76 4.73 5.42 25 8.0 64.00 49.60 9.61 -3.41 11.62 26 8.2 67.24 53.30 9.82 -3.32 11.03 27 17.1 12.4 292.41 153.76 212.04 19.27 -6.87 47.15 28 84.36 -5.82 33.84 29 11.0 11.5 121.00 132.25 126.50 12.79 -1.29 1.67 30 12.7 13.8 161.29 190.44 175.26 14.60 S 260.8 243.2 2818.3 2740.9 2699.1 310.3 -67.1 298.9 Method Evaluation

Evaluated method Evaluated method Reference method Reference method MD level SE Yc 10 0.5 9.5 =1.0612x10-1.1191 15 0.2 14.8 =1.0612x15-1.1191 SE Yc 0.1 9.9 =1.005x10-0.1175 0.0 15.0 =1.005x15-0.1175 5 0.8 4.2 =1.0612x5-1.1191 0.1 4.9 =1.005x5-0.1175 Acceptable Performance 5% Allowable error Method Evaluation

2) การตรวจตัวอย่างศึกษา ต้องทำอย่างน้อย 5 วัน NCCLS EP9-A2 Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—Second Edition 1) ใช้จำนวนตัวอย่างศึกษา อย่างน้อย 40 ตัวอย่าง ที่ความเข้มข้นครอบคลุมช่วงค่าที่วิธีตรวจนั้นตรวจได้ และควรมีค่าที่อยู่นอกช่วงค่าอ้างอิง อย่างน้อย 50% (20 ตัวอย่าง) 2) การตรวจตัวอย่างศึกษา ต้องทำอย่างน้อย 5 วัน 3) การตรวจตัวอย่างศึกษาแต่ละตัวอย่าง ต้องตรวจแบบ duplicate ทั้งวิธีที่ต้องการศึกษาและวิธที่ใช้อ้างอิง และต้องมีการตรวจตัวอย่างควบคุมคุณภาพการตรวจด้วย Sample# Test Method Comparative Method Result1 Result2 1 2 3 : 29 40 NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—Second Edition. NCCLS document EP9-A2 (ISBN 1-56238-472-4). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2002. Method Evaluation

Sigma, คือ ค่าเบี่ยงเบนมาตรฐานของข้อมูล กรณีข้อมูลมีการกระจายแบบรูประฆังคล่ำ (ปกติ) ช่วง Mean + SD ใช้ประมาณสัดส่วนจำนวนข้อมูลที่อยู่ใน ขอบเขตนั้น ดังตาราง -6s -5s -4s -3s -2s -1s 1s 2s 3s 4s 5s 6s SD Within + SD Out of range + SD (%) (Per million) 1 68.26894921% 317,310.51 2 95.44997361% 45,500.26 3 99.73002039% 2,699.80 4 99.99366575% 63.342 5 99.99994267% 0.5733 6 99.99999980% 0.0020 + 1SD + 2SD + 3SD + 4SD Six Sigma; 6 + 5SD + 6SD Method Evaluation

ความคาดเคลื่อนของกระบวนงาน (ประสบการณ์จากบริษัท โมโตโรล่า; เกิด shift ได้ 1.5SD) Defects Per Million เป้าหมายการผลิตสินค้า ต้องการให้ผลผลิต มีจำนวนเสียหายคิดเป็น Sigma metric = 6 ภายใต้การผลิตที่ shift ไป 1.5s จำนวนสินค้าที่เสียหายต้องไม่เกิน 3.4 DPM Sigma Metric DPM without shift with 1.5s shift 1.00 317,400 697,700 2.00 45,400 308,637 2.50 12,419 158,686 3.00 2,700 66,807 3.50 465 22,750 4.00 63 6,210 4.50 6.8 1,350 5.00 0.57 233 5.50 0.038 32 6.00 0.002 3.4 -6s -5s -4s -3s -2s -1s 1s 2s 3s 4s 5s 6s 1.5 SD Accept region Method Evaluation

ยางรถยนต์จำนวน 6,000,000 เส้นที่ผลิตและนำไปใช้ พบว่า เป็นสาเหตุทำให้เกิดอุบัติเหตุจำนวน 2,000 ครั้ง และมีคนเสียชีวิตจำนวน 100 ครั้ง Defect of production is 2,000 6,000,000 333 1,000,000 = Sigma Metric DPM without shift with 1.5s shift 1.00 317,400 697,700 2.00 45,400 308,637 2.50 12,419 158,686 3.00 2,700 66,807 3.50 465 22,750 4.00 63 6,210 4.50 6.8 1,350 5.00 0.57 233 5.50 0.038 32 6.00 0.002 3.4 = 333 DPM Process performance is 3.5 sigma metric using the DPM without shift column. 5.0 sigma metric using the DPM with 1.5s shift column. Method Evaluation

Six Sigma provides a new methodology for measuring process performance and refines earlier methodologies for making process improvements. ปัจจุบัน องค์การธุรกิจชั้นนำ ใช้ Sigma metric เป็นตัวชี้ วัดความสำเร็จ และมีเป้าหมายให้ได้ ระดับ 6 Airline baggage handling shows 4.15 Sigma Airline safty shows more than 6 Sigma Method Evaluation

*Conversion using table with allowance for 1.5s shift Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519 Q-Probe QUALITY INDICATOR % ERROR DPM SIGMA* Order accuracy 1.8 % 18,000 3.60 Duplicate test orders 1.52 15,200 3.65 Wristband errors (not banded) 0.65 6,500 4.00 TDM timing errors 24.4 244,000 2.20 Hematology specimen acceptability 0.38 3,800 4.15 Chemistry specimen acceptability 0.30 3,000 4.25 Surgical pathology specimen accessioning 3.4 34,000 3.30 Cytology specimen adequacy 7.32 73,700 2.95 Laboratory proficiency testing 0.9 9,000 3.85 Surg path froz sect diagnostic discordance 1.7 17,000 PAP smear rescreening false negatives 2.4 24,000 3.45 Reporting errors 0.0477 477 4.80 *Conversion using table with allowance for 1.5s shift From.. http://www.westgard.com/lesson66.htm Method Evaluation

Measure Outcome Measure Variation Two Approaches for Measuring Process Performance Measure Outcome Measure Variation Inspect Outcomes and Count Defects Measure Variation of Process Calculate Defect Per Million (DPM) Calculate SD and Process Capability Convert DPM to Sigma Metric Convert Capability to Sigma Metric Method Evaluation

ความผิดพลาดที่ย่อมรับได้ (total allowable error), TEa True Measured value Systemic error Bias Imprecision Random error Total Error (TE)     Method Evaluation

Sigma metric concept TE = Bias + Imprecision TE = Bias + z CV True Measured value Allowable total error, TEa TEa = Bias + z CV Bias Imprecision Total Error (TE) ใช้ค่า z ประเมินคุณภาพผลการตรวจของห้องวิเคราะห์ และ ติดตามการพัฒนาคุณภาพงานของห้อง ค่า Z คือค่า Sigma ในทางสถิติวิเคราะห์ Method Evaluation

Method Evaluation Decision (MEDx) Chart for Judging Method Performance From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283 Allowable Total Error (%): 10.00 % (at decision level) Inaccuracy (%bias): 3.00 % (Observed at decision level) Imprecision (%CV): 2.50 Region of Unacceptable Performance TE = Bias + z Imprecision (TE - Bias) Imprecision = ------------- z Poor performance Marginal performance Observed (2.5,3.0) inaccuracy and imprecision Excellent performance Good performance z = 4 z = 3 z = 2 Method Evaluation

Different Concepts of detection limit Lower Limit of Detection LLD Biologic Limit of Detection BLD Functional Sensitivity FS Z is 2 or 3. Z sblk Z sspk Measurement response Zero or “Blank” “Spiked” sample “Spiked” sample LLD = meanblk + Z sblk BLD = LLD + Z sspk FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm Method Evaluation

ตัวอย่าง การศึกษา LLD และ BDL ของ PSA measurement Blank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unit Spike sample (10 ug/L) : mean = 2000 unit SD = 200 unit LLD (ug/L) = 0 + 2 ( 100 X 10 ) = 2 ug/L (2000-1000) BDL (ug/L) = 2 ug/L + 2 ( 200 X 10 ) = 6 ug/L (2000-1000) SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L CV = 2 ug/L X 100 = 20 % 10 ug/L FS = 10 ug/L Method Evaluation

ค่าอ้างอิง (Reference Value) เอกสารคำสอน เรื่อง ค่าอ้างอิง (Reference Value) เขียนโดย รศ.ชูชาติ อารีจิตรานุสรณ์ http://home.kku.ac.th/chuare/10/referencevalue.pdf ประโยชน์ของค่าอ้างอิง การเก็บข้อมูลเพื่อกำหนดค่าอ้างอิง - ตัวอย่าง (เป็นตัวแทนของประชากรได้) คำนวณจำนวนตัวอย่างที่ใช้การศึกษา http://home.kku.ac.th/wiskun/451710/SampleSizeCal.pdf - วิธีตรวจ (ต้องเชื่อถือได้) วิธีกำหนดค่าอ้างอิง - กรณีข้อมูลกระจายแบบปกติ mean + 2SD - กรณีข้อมูลกระจายแบบไม่ปกติ Percentile 2.5% - 97.5% Method Evaluation

ปฏิบัติการฝึกคำนวณ Reference Value ให้นักศึกษา download ข้อมูลตัวอย่าง จาก http://home.kku.ac.th/wiskun/465211/DataForRefVal.xls ซึ่งใน Worksheet ชื่อ Data ของไฟล์ที่ download จะมีข้อมูลผลตรวจสารเคมีชนิดต่างๆ จากผู้ตรวจสุขภาพประจำปี จำนวน 852 คน กำหนดนิยม "ผู้มีสุขภาพดี" คือ มี BMI ปกติ (18.5 - 22.9 Kg/m2) จงวิเคราะห์เพื่อกำหนดค่าอ้างอิงของผลตรวจสารเคมีชนิดต่างๆ กรณีกำหนดค่าอ้างอิงโดยใช้ช่วง Mean  2 SD กรณีกำหนดค่าอ้างอิงโดยใช้ค่า Percentile ที่ 2.5% ถึง percentile ที่ 97.5% Method Evaluation

คัดกรองเอาเฉพาะข้อมูลที่มีค่า BMI ปกติ ก่อน ขั้นตอนการวิเคราะห์ คัดกรองเอาเฉพาะข้อมูลที่มีค่า BMI ปกติ ก่อน ใช้ Microsoft Excel function คำนวณค่า Mean [AVERAGE(…)], SD [STDEV(…)], Percentile ที่ 2.5% [PERCENTILE(…,0.025)] และ Percentile ที่ 97.5% [PERCENTILE(…,0.975)] เพื่อกำหนดค่าอ้างอิงกรณีแยกตามเพศและกรณีไม่แยกตามเพศ ทำตารางสรุปผลการวิเคราะห์ข้อมูลเพื่อกำหนดค่าอ้างอิงไว้ในอีก Worksheet ส่งไฟล์ผลงานการวิเคราะห์ให้ อ.วิสุทธิ์ กังวานตระกูล ที่ e-mail: wiskun@kku.ac.th หลังการฝึกปฏิบัติเสร็จ Method Evaluation

Diagnostic Performance Diagnostic sensitivity and specificity Evaluated Method Gold or Standard Method ผลตรวจบ่งชี้ พยาธิสภาพ รวม Disease Non-disease Positive True Positive a False Positive b a + b Negative False Negative c True Negative d c + d a + c b + d a+b+c+d Method Evaluation

Diagnostic sensitivity and specificity ผลตรวจบ่งชี้ พยาธิสภาพ รวม Disease Non-disease Positive True Positive a False Positive b (-error) a + b Negative False Negative c (-error) True Negative d c + d a + c b + d a+b+c+d Sensitivity = Specificity = Positive predictive value = Negative predictive value = Prevalence = Efficiency = Method Evaluation

ก ข ค ง Sensitivity = Specificity = Cut-off level Cut-off level ผลตรวจบ่งชี้ พยาธิสภาพ Disease Non-disease Positive True Positive a False Positive b (-error) Negative False Negative c (-error) True Negative d Sensitivity = Specificity = Cut-off level Cut-off level ไม่เป็นโรค ความไวสูง และ ความจำเพาะสูง ไม่เป็นโรค ก ข ความไวต่ำ แต่ ความจำเพาะสูง No False Positive False Negative No False Positive No False Negative ความถี่ เป็นโรค ความถี่ เป็นโรค True Negative True Positive True Negative True Positive ค่าผลตรวจ A B ค่าผลตรวจ C D Cut-off level Cut-off level ความไวสูง แต่ ความจำเพาะต่ำ ไม่เป็นโรค ไม่เป็นโรค ความไวสูง และ ความจำเพาะสูง ค No False Negative False Positive ง ความถี่ เป็นโรค ความถี่ เป็นโรค False Negative False Positive True Positive True Negative True Negative True Positive A B C D ค่าผลตรวจ A B C D ค่าผลตรวจ Method Evaluation

Likelihood Ratio; LR Sensitivity LR+ = The likelihood ratio of a positive test result (LR+) is sensitivity divided by 1- specificity. LR+ = Sensitivity 1-Specificity The likelihood ratio of a negative test result (LR-) is 1- sensitivity divided by specificity. LR- = 1-Sensitivity Specificity In general, a diagnostic test with an LR of >10 or <0.10 changes pretest probability dramatically and is considered a strong diagnostic test. Method Evaluation

การใช้ UPCR และ UA protein วินิจฉัยภาวะ Proteinurea (>300mg/24-h urine) Sensitivity(%) Specificity(%) PPV(%) NPV(%) UPCR > 0.15 96 53 66 91 UPCR > 0.17 58 67 88 UPCR > 0.19 89 70 74 UPCR > 0.24 73 87 84 78 UPCR > 0.28 95 93 75 UPCR > 0.39 55 100 71 UA protein > 1+ 41 65 UA protein > 2+ 23 28 UA protein > 3+ 11 From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7. Method Evaluation

Likelihood ratioa (95% CI) Interpretation Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results. Test Result Likelihood ratioa (95% CI) Interpretation UPCR < 0.15 0.07 (0.02 – 0.27) Negative 0.15 – 0.27 0.73 (0.44 – 1.20) Indeterminate > 0.28 13.21 (4.3 – 40.5) Positive UA 0.59 (0.47 – 0.73) > 1+ 49.29 (3.1 – 792.8) Abbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio. a0.05 was added to empty cells to allow for the calculation of the likelihood ratios. From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7. Method Evaluation

Receiver Operating Characteristic curve Method Evaluation

Trueness Systematic Error Bias Accuracy Total Error Uncertainty Performance Characteristics Kind of Error Term of Expression Trueness Systematic Error Bias Accuracy Total Error Uncertainty Precision Random Error Standard Deviation Expression of analytical specific performance characteristics From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: 571-577, 1994. Method Evaluation