Type of Analytical Method Reference Method Standard Method

งานนำเสนอเรื่อง: "Type of Analytical Method Reference Method Standard Method"— ใบสำเนางานนำเสนอ:

1 Type of Analytical Method Reference Method Standard Method
Method Evaluation and Method Validation วัตถุประสงค์ น.ศ.สามารถ 1. อธิบายวิธีการศึกษาเพื่อประเมินวิธีวิเคราะห์ได้ 2. วิเคราะห์และแปลความหมายผลการศึกษา เพื่อประเมินวิธีวิเคราะห์ได้ Type of Analytical Method Reference Method Standard Method Routine Method Method Evaluation

2 Process for Establishing
a Routine Test Select, Evaluate Diagnostic Test Select Method of Analysis Validate Method Performance Develop Method Improvements Implement Method Maintain Method Prevent Problems Acquire Specimens Perform Tests Check with Statistical QC Report Results A Routine Laboratory Testing Process From...

3 Method characteristics
Application characteristics are factors that determine whether a method can be implemented in a particular laboratory situation. cost-per-test, types of specimens sample volume, turnaround time, workload, equipment and personnel requirements, space, portability, and safety considerations Methodology characteristics are factors which, in principle, should contribute to best performance analytical sensitivity and analytical specificity of the method of analysis choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure Performance characteristics are factors which, in practice, demonstrate how well a method performs. working range, precision, recovery, interference, accuracy, and sometimes detection limit

4 Ideal Clinical Laboratory Test
Perfect accuracy and precision High analytical sensitivity (a limit of detection of zero) Absolute analytical specificity (No interferences) Diagnostic sensitivity and specificity of 100% Analytical Performance Diagnostic Performance Area under ROC Curve closest to 1.0 (Receiver Operating Characteristic) Likelihood ratios, LR >10 or LR <0.1 Method Evaluation

5 ความถูกต้อง (Accuracy) คือ ความสามารถเข้าใกล้ค่าจริง
(True Value) ของผลการวัด True Value ในที่นี้คือ Conventional True Value (of a Quantity) คือ ค่าซึ่งแสดงคุณลักษณะของปริมาณเฉพาะเจาะจงที่ตกลง ยอมรับร่วมกันจากที่ประชุม โดยมีค่าความไม่แน่นอน(uncertainty)ที่เหมาะสมสำหรับ จุดประสงค์ที่กำหนด คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL Method Evaluation

6 ความแม่นยำ (Precision) คือ
องศาของความสอดคล้อง และเป็นไปตามกันของการวัดที่ ไม่ขึ้นต่อกันของปริมาณอันหนึ่งภายใต้เงื่อนไขเดียวกัน 2. ค่าความใกล้เคียงกันของผลการวัดซ้ำหลายๆ ครั้ง ซึ่งการ วัดหลายๆ ครั้ง จะต้องกระทำภายใต้สภาวะและเงื่อนไข เดียวกัน ความคลาดเคลื่อน (Error) คือ ผลของการวัดลบด้วยค่าจริง ของปริมาณที่ถูกวัด Error = Measured Value - True Value คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL Method Evaluation

7 ความไม่แน่นอน (Uncertainty) คือ
ขอบเขตที่กำหนดไว้แน่นอน (Parameter) ร่วมกับ ผลการวัด ซึ่งบอกลักษณะการกระจายของค่าที่ได้จากวัด ซ้ำๆ กันที่สามารถทำให้อ้างได้สมเหตุสมผลว่า เป็นของปริมาณที่ถูกวัด (Measurand) 2. การรายงานผลการวัด จะต้องรายงานค่าความไม่แน่นอน ปริมาณ = ค่าที่วัดได้ + ความไม่แน่นอน ที่ระดับความเชื่อมั่น …... % คำศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology (Thailand)]. [Online] sited on 27 April 2010. Available form URL Method Evaluation

8 Performance specifications of a new method are
Accuracy (ความถูกต้อง) Precision (ความแม่นยำ) Analytical sensitivity (ความไวต่อการวิเคราะห์ปริมาณ) Analytical specificity to include interfering substances (ความจำเพาะต่อสารที่วิเคราะห์) Reportable range of patient test results (ช่วงที่วิเคราะห์ได้ในตัวอย่างของวิธีตรวจ) Reference range (ช่วงค่าอ้างอิง/ปกติ ที่พบในคนปกติ) Any other performance characteristic required for test performance Method Evaluation

9 วิธีวิเคราะห์ /วิธีตรวจวัด การประเมิน Analytical Method Evaluation
ต้องมี ข้อมูล/สารสนเทศ เกณฑ์การตัดสินใจ เป้าหมาย ผลตรวจเชื่อถือได้ ถูกต้อง (accuracy) แม่นยำ (precision) การประเมินวิธีวิเคราะห์ว่าให้ผลตรวจน่าเชื่อถือหรือไม่ Method Evaluation

10 Observed Distribution And Error concept of Accuracy
True Value Observed Mean Westgard JO. The Meaning and Application of Total Error Site on 5Jun09 From.. X X X X X X X X Systemic error, SE Random error, RE Total error, TE Method Evaluation

11 Systemic error & Random error
y = x + 0 ผลตรวจ = ค่าจริง No error Constant error ผลตรวจ (y) y = x + b ? Proportional error y = ax + 0 b ค่าจริง (x) Systemic error (SE) Constant error (CE) Proportional error (PE) Random error (RE) มีรูปแบบ error ที่คาดการณ์ได้ มีรูปแบบ error ที่คาดการณ์ไม่ได้ Method Evaluation

12 Analytical Method Evaluation Study
Application characteristics study ศึกษาหลักปฏิกิริยาตรวจและวิธีตรวจ Linearity study ช่วงการวิเคราะห์ของวิธี => Lower & Upper limit Precision study ความแปรปรวนของผลวิเคราะห์ (within run & between run) Interference study การรบกวนวิธีวิเคราะห์ของสารที่อาจพบในตัวอย่างตรวจ Recovery study ประมาณการ proportional error Method comparison study เปรียบเทียบผลตรวจกับวิธีอ้างอิง (Reference method) Method Evaluation

13 ลำดับการศึกษาเพื่อประเมินความผิดพลาดของวิธีวิเคราะห์
ชนิดความผิดพลาด การประเมินขั้นต้น การประเมินขั้นปลาย ความผิดพลาดแบบสุ่ม (Random Error) ความแม่นยำภายในชุดการวิเคราะห์ Within-run study ความแม่นยำระหว่างชุดการวิเคราะห์ Between-run study ความผิดพลาดคงที่ (Constant Error) การศึกษาการรบกวน Interference study การศึกษาเปรียบเทียบผลการตรวจกับวิธีอ้างอิง Comparison study ความผิดพลาดแบบสัดส่วน (Proportional Error) การศึกษารีคอเวอรี และการศึกษาไลเนียลิตี Recovery study and Linearity study ความผิดพลาดแบบระบบ (Systematic Error) Method Evaluation

14 Linearity ของการวิเคราะห์ด้วยวิธีวัดการดูดกลืนแสง
คำนวณความเข้มข้นจากค่า absorbance ความสัมพันธ์ตามการคำนวณของ สมการ Beer’s law A = a·b·C ความสัมพันธ์จริง ช่วงการวิเคราะห์ analytical range Absobance Linearity Higher limit of detection 0.00 Lower limit of detection ความเข้มข้น ต่ำ สูง Method Evaluation

15 Linearity ของการวิเคราะห์ด้วยวิธีวัดศักย์ไฟฟ้า
ช่วงการวิเคราะห์ analytical range Higher limit of detection ศักย์ไฟฟ้า High Cal Lower limit of detection Low Cal ความเข้มข้น Lower limit Higher limit Method Evaluation

16 Linearity study โดยใช้ตัวอย่างค่าสูงๆ
เจือจาง ค่าครอบคลุมช่วงตั้งแต่ 0 ถึง 1.5 เท่าของค่าที่ตรวจพบ ในงานประจำวัน Linearity = ค่าสูงสุดของกลุ่มข้อมูลที่ทำให้ slope = และ intercept = within run precision ค่าวิเคราะห์ได้จากวิธีวิเคราะห์ (y) y = a x + b ค่าคำนวณจากการเจือจางตัวอย่าง (x) Method Evaluation

17 Precision study วิเคราะห์ตัวอย่างเดิมซ้ำ 20 ครั้ง แล้วนำผลการวิเคราะห์มา คำนวณสัมประสิทธิ์ความแปรปรวน (%CV) ความแม่นยำของการตรวจวิเคราะห์ซ้ำในชุดการวิเคราะห์ (Within Run Precision) มีผลตรวจมากกว่า 1 ข้อมูล ออกนอกช่วง mean + 2 SD ไม่ควรนำวิธีนี้มาใช้ %CV < ½ ของ Intra-individual variation ของสารในร่างกาย เช่น Total protein มี Intra-individual variation = 3% %CV ไม่ควรมากกว่า 1.5% Westgard แนะนำ within-run %CV ไม่ควรเกิน 1/4 of TEa Method Evaluation

18 Precision study ความแม่นยำของการตรวจวิเคราะห์ซ้ำระหว่างชุดการวิเคราะห์
(Between Run Precision) %CV ไม่ควรเกินค่าความผิดพลาดที่ย่อมรับได้ (allowable error) ของการตรวจวัดสารนั้น ? Total protein CLIA Acceptable Performance 10% Medical Decision Level g/dl CLIA Allowable Error 0.70 g/dl Medically Allowable Error 0.51 g/dl ที่ระดับ 7.0g% %CV ไม่ควรเกิน = 7.28% Westgard แนะนำ beteween-run %CV ไม่ควรเกิน 1/3 of TEa CLIA = Clinical Laboratory Improvement Amendments Method Evaluation

19 For short-term imprecision,
For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa . Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision TE = %Bias + Imprecision (z %CV) Method Evaluation

20 การประมาณค่า Random error (RE) จาก %CV
โดยใช้โอกาสทางสถิติ (ประมาณ 1.96SD) Random error ที่ค่า mean คำนวณจากสูตร RE = 1.96 x imprecision %CV = 5.0% RE = 1.96 x 5 = 9.8% Medical Decision level = 7.0 RE = 1.96 x 0.35 = 0.69 Total protein CLIA Acceptable Performance 10% Medical Decision Level g/dl CLIA Allowable Error 0.70 g/dl Medically Allowable Error 0.51 g/dl Method Evaluation

21 1) ตรวจวัดตัวอย่างศึกษา อย่างน้อย 20 วัน
NCCLS EP5-A2 Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition 1) ตรวจวัดตัวอย่างศึกษา อย่างน้อย 20 วัน 2) ใน 1 วัน ตรวจตัวอย่างศึกษา 2 ครั้ง และครั้งละ 2 ตัวอย่าง 3) ในการตรวจตัวอย่างศึกษาทุกครั้ง ต้องมีการตรวจตัวอย่างควบคุมคุณภาพการตรวจด้วย อย่างน้อย 1 ระดับความเข้มข้น 4) การศึกษา precision performance ต้องทำกับตัวอย่างศึกษา 2 ระดับความเข้มข้น เป็นอย่างน้อย ตัวอย่างศึกษา Level 1 Day# การตรวจครั้งที่ 1 การตรวจครั้งที่ 2 R1p1 R1p2 R2p1 R2p2 1 242 246 245 2 243 238 3 247 239 241 240 : 19 20 Repeatability, Method precision NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition. NCCLS document EP5-A2 (ISBN ). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania USA, 2004. Method Evaluation

22 ตัวอย่างตรวจทางเคมีคลินิกส่วนมากเป็น serum/plasma
Interference study ตัวอย่างตรวจทางเคมีคลินิกส่วนมากเป็น serum/plasma สารรบกวนการวิเคราะห์ที่มีโอกาสพบได้แก่ - hemoglobin จากการแตกของเม็ดเลือดแดง - ไขมันที่มีมากในบาง serum - บิลิรูบินที่มีมากในบาง serum - ยาบางชนิดที่อาจมีมากใน serum ตัวอย่างสำหรับศึกษา ตัวอย่างที่ไม่มีสารรบกวน ตัวอย่างที่มีสารรบกวน hemoglobin 0 mg/dl bilirubin < 1.5 mg/dl triglyceride < 150 mg/dl ความเข้มข้นที่ระดับค่าอ้างอิง ความเข้มข้นสารรบกวน ตั้งแต่ระดับต่ำไปจนถึงมากสุดที่คาดว่าจะพบได้ ในตัวอย่างของงานประจำวัน Method Evaluation

23 ตัวอย่างศึกษาผลการรบกวนของ bilirubin ต่อการตรวจวัดกลูโคส
200 mg/dl Diluents Bilirubin (mg/dl) 1.0 ml 3.0 ml 50 2.0 ml 100 150 ตัวอย่างที่ไม่มีสารรบกวน Bilirubin (mg/dl) 1.0 ml 9.0 ml 5 10 15 Diluents Bilirubin (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 99 100 101 5 103 102 = 2 10 104 105 = 4 15 112 111 110 = 11 Method Evaluation

24 ศึกษาการรบกวนของการแตกของเม็ดเลือดแดง (hemolytic serum)
Hemoglobin (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 100 300 500 700 ศึกษาการรบกวนของไขมัน (Lipimic serum) Triglyceride (mg/dl) ผลตรวจวัดกลูโคส (mg/dl) ผลรบกวน, mg/dl 1 2 3 เฉลี่ย 300 500 700 Method Evaluation

25 Recovery study การศึกษาโดยการเติมสารในปริมาณที่ทราบว่ามีความเข้มข้นเท่าใด ลงในตัวอย่างศึกษาแล้วนำมาตรวจวัดและนำมาวิเคราะห์ดูว่า ตรวจวัดได้เป็นร้อยละเท่าใดของปริมาณที่เติมเข้าไปในตัวอย่าง ตัวอย่างศึกษา Recovery ของการตรวจวัดกลูโคส ตัวอย่าง ศึกษา ผู้ป่วย สารมาตรฐานกลูโคส 1,000 mg/dl Diluents (DW) กลูโคสที่เติม (mg/dl) 1 A 2.0 ml 0.1 ml - 2 = 47.6 3 B 4 Method Evaluation

26 ตัวอย่าง ศึกษา ผลตรวจวัดกลูโคส (mg/dl) วัดกลูโคสที่เติมได้ (mg/dl) %Recovery 1 2 3 เฉลี่ย 51 53 54 52.7 - 97 100 98 98.3 = 45.6 124 120 121 121.7 4 169 166 164 166.3 = 44.6 Proportional error (PE) = | %Recovery | Average = 94.75 PE = | 100 – | = 5.25% MD Level Med.AE PE Method Evaluation

27 ตัวอย่าง ศึกษา ผลตรวจวัดกลูโคส (mg/dl) วัดกลูโคสที่เติมได้ (mg/dl) %Recovery 1 2 3 เฉลี่ย 51 53 54 52.7 - 97 100 98 98.3 = 45.6 124 120 121 121.7 4 169 166 164 166.3 = 44.6 Average = 94.75 %Expectation [1] วัดได้ 52.7 [2] เติมสาร 47.6 จึง expected จะตรวจวัดได้ ( ) แต่ตรวจวัดได้ 98.3 [3] วัดได้ [4] เติมสาร 47.6 จึง expected จะตรวจวัดได้ ( ) แต่ตรวจวัดได้ 166.3 Method Evaluation

28 Method comparison study
ใช้ตัวอย่างศึกษาอย่างน้อย 40 ตัวอย่าง y-intercept ใช้ประมาณค่า CE CE = y-intercept slope ใช้ประมาณค่า PE PE = (slope-1)x100 สัมประสิทธิ์สหสัมพันธ์ (r) และ sy/x ใช้ประเมิน RE ผลตรวจจากวิธีใหม่ (y) y = a x + b ผลตรวจจากวิธีอ้างอิง (x) หรือ วิธีที่ใช้ในปัจจุบัน ใช้ประมาณค่า systemic error (SE) SE = | Yc – Xc | Yc คำนวณจากสมการ y = a x + b โดยกำหนดค่า x = Xc %𝐷𝑖𝑓𝑓 𝑜𝑟 %𝑏𝑖𝑎𝑠= 𝑥 𝑐 − 𝑦 𝑐 𝑥 𝑐 ×100 Method Evaluation

29 ผลการศึกษาเปรียบเทียบการตรวจกลูโคส วิธีอ้างอิง (x) วิธีใหม่ (y)
y = 0.973x - 5.7, r = , n = 82, sy/x = 3.7 MD Level Med.AE PE SE Xc Yc <=0.973x <=0.973x <=0.973x ผลต่างใช้บอก SE น.ศ. ลองตอบคำถามนี้ เพื่อทบสอบความเข้าใจ ค่าที่ใช้บอก RE คือ... ค่าที่ใช้บอก CE คือ... ค่าที่ใช้บอก PE คือ... Method Evaluation

30 Method Evaluation X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2 1 5.1 8.5 26.01 72.25
X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2 1 5.1 8.5 26.01 72.25 43.35 6.53 1.97 3.88 2 5.4 2.8 29.16 7.84 15.12 6.85 -4.05 16.40 3 3.6 3.2 12.96 10.24 11.52 4.94 -1.74 3.03 4 6.8 46.24 24.48 8.34 -4.74 22.43 5 6.6 7.4 43.56 54.76 48.84 8.12 -0.72 0.52 6 6.5 7.1 42.25 50.41 46.15 8.02 -0.92 0.84 7 11.4 10.0 129.96 100.00 114.00 13.22 -3.22 10.35 8 5.3 6.2 28.09 38.44 32.86 6.74 -0.54 0.30 9 4.9 3.3 24.01 10.89 16.17 6.32 -3.02 9.12 10 9.8 8.4 96.04 70.56 82.32 -3.12 9.73 11 5.5 4.1 30.25 16.81 22.55 6.96 -2.86 8.16 12 6.3 4.6 39.69 21.16 28.98 7.80 -3.20 10.27 13 2.9 8.41 14.21 -3.42 11.69 14 3.5 2.5 12.25 6.25 8.75 4.83 -2.33 5.44 15 4.4 19.36 28.60 -3.62 13.08 16 11.1 123.21 78.81 12.90 -5.80 33.63 17 7.3 5.2 53.29 27.04 37.96 8.87 -3.67 13.44 18 6.9 47.61 42.78 7.70 -0.80 0.64 19 14.6 17.8 213.16 316.84 259.88 16.61 1.19 1.41 20 11.9 15.2 141.61 231.04 180.88 13.75 1.45 2.11 21 8.8 11.2 77.44 125.44 98.56 10.46 0.74 0.55 22 16.0 19.9 256.00 396.01 318.40 18.10 1.80 3.24 23 21.0 20.7 441.00 428.49 434.70 23.41 -2.71 7.32 24 3.4 2.4 11.56 5.76 4.73 5.42 25 8.0 64.00 49.60 9.61 -3.41 11.62 26 8.2 67.24 53.30 9.82 -3.32 11.03 27 17.1 12.4 292.41 153.76 212.04 19.27 -6.87 47.15 28 84.36 -5.82 33.84 29 11.0 11.5 121.00 132.25 126.50 12.79 -1.29 1.67 30 12.7 13.8 161.29 190.44 175.26 14.60 S 260.8 243.2 2818.3 2740.9 2699.1 310.3 -67.1 298.9 Method Evaluation

31 Evaluated method Evaluated method Reference method Reference method
MD level SE Yc =1.0612x =1.0612x SE Yc =1.005x =1.005x =1.0612x =1.005x Acceptable Performance 5% Allowable error Method Evaluation

32 2) การตรวจตัวอย่างศึกษา ต้องทำอย่างน้อย 5 วัน
NCCLS EP9-A2 Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—Second Edition 1) ใช้จำนวนตัวอย่างศึกษา อย่างน้อย 40 ตัวอย่าง ที่ความเข้มข้นครอบคลุมช่วงค่าที่วิธีตรวจนั้นตรวจได้ และควรมีค่าที่อยู่นอกช่วงค่าอ้างอิง อย่างน้อย 50% (20 ตัวอย่าง) 2) การตรวจตัวอย่างศึกษา ต้องทำอย่างน้อย 5 วัน 3) การตรวจตัวอย่างศึกษาแต่ละตัวอย่าง ต้องตรวจแบบ duplicate ทั้งวิธีที่ต้องการศึกษาและวิธที่ใช้อ้างอิง และต้องมีการตรวจตัวอย่างควบคุมคุณภาพการตรวจด้วย Sample# Test Method Comparative Method Result1 Result2 1 2 3 : 29 40 NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—Second Edition. NCCLS document EP9-A2 (ISBN ). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania USA, 2002. Method Evaluation

33 Sigma, คือ ค่าเบี่ยงเบนมาตรฐานของข้อมูล
กรณีข้อมูลมีการกระจายแบบรูประฆังคล่ำ (ปกติ) ช่วง Mean + SD ใช้ประมาณสัดส่วนจำนวนข้อมูลที่อยู่ใน ขอบเขตนั้น ดังตาราง -6s -5s -4s -3s -2s -1s 1s 2s 3s 4s 5s 6s SD Within + SD Out of range + SD (%) (Per million) 1 % 317,310.51 2 % 45,500.26 3 % 2,699.80 4 % 63.342 5 % 0.5733 6 % 0.0020 + 1SD + 2SD + 3SD + 4SD Six Sigma; 6 + 5SD + 6SD Method Evaluation

34 ความคาดเคลื่อนของกระบวนงาน
(ประสบการณ์จากบริษัท โมโตโรล่า; เกิด shift ได้ 1.5SD) Defects Per Million เป้าหมายการผลิตสินค้า ต้องการให้ผลผลิต มีจำนวนเสียหายคิดเป็น Sigma metric = 6 ภายใต้การผลิตที่ shift ไป 1.5s จำนวนสินค้าที่เสียหายต้องไม่เกิน 3.4 DPM Sigma Metric DPM without shift with 1.5s shift 1.00 317,400 697,700 2.00 45,400 308,637 2.50 12,419 158,686 3.00 2,700 66,807 3.50 465 22,750 4.00 63 6,210 4.50 6.8 1,350 5.00 0.57 233 5.50 0.038 32 6.00 0.002 3.4 -6s -5s -4s -3s -2s -1s 1s 2s 3s 4s 5s 6s 1.5 SD Accept region Method Evaluation

35 ยางรถยนต์จำนวน 6,000,000 เส้นที่ผลิตและนำไปใช้
พบว่า เป็นสาเหตุทำให้เกิดอุบัติเหตุจำนวน 2,000 ครั้ง และมีคนเสียชีวิตจำนวน 100 ครั้ง Defect of production is 2,000 6,000,000 333 1,000,000 = Sigma Metric DPM without shift with 1.5s shift 1.00 317,400 697,700 2.00 45,400 308,637 2.50 12,419 158,686 3.00 2,700 66,807 3.50 465 22,750 4.00 63 6,210 4.50 6.8 1,350 5.00 0.57 233 5.50 0.038 32 6.00 0.002 3.4 = 333 DPM Process performance is 3.5 sigma metric using the DPM without shift column. 5.0 sigma metric using the DPM with 1.5s shift column. Method Evaluation

36 Six Sigma provides a new methodology
for measuring process performance and refines earlier methodologies for making process improvements. ปัจจุบัน องค์การธุรกิจชั้นนำ ใช้ Sigma metric เป็นตัวชี้ วัดความสำเร็จ และมีเป้าหมายให้ได้ ระดับ 6 Airline baggage handling shows 4.15 Sigma Airline safty shows more than 6 Sigma Method Evaluation

37 *Conversion using table with allowance for 1.5s shift
Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124: Q-Probe QUALITY INDICATOR % ERROR DPM SIGMA* Order accuracy 1.8 % 18,000 3.60 Duplicate test orders 1.52 15,200 3.65 Wristband errors (not banded) 0.65 6,500 4.00 TDM timing errors 24.4 244,000 2.20 Hematology specimen acceptability 0.38 3,800 4.15 Chemistry specimen acceptability 0.30 3,000 4.25 Surgical pathology specimen accessioning 3.4 34,000 3.30 Cytology specimen adequacy 7.32 73,700 2.95 Laboratory proficiency testing 0.9 9,000 3.85 Surg path froz sect diagnostic discordance 1.7 17,000 PAP smear rescreening false negatives 2.4 24,000 3.45 Reporting errors 0.0477 477 4.80 *Conversion using table with allowance for 1.5s shift From.. Method Evaluation

38 Measure Outcome Measure Variation
Two Approaches for Measuring Process Performance Measure Outcome Measure Variation Inspect Outcomes and Count Defects Measure Variation of Process Calculate Defect Per Million (DPM) Calculate SD and Process Capability Convert DPM to Sigma Metric Convert Capability to Sigma Metric Method Evaluation

39 ความผิดพลาดที่ย่อมรับได้ (total allowable error), TEa
True Measured value Systemic error Bias Imprecision Random error Total Error (TE)     Method Evaluation

40 Sigma metric concept TE = Bias + Imprecision TE = Bias + z CV True Measured value Allowable total error, TEa TEa = Bias + z CV Bias Imprecision Total Error (TE) ใช้ค่า z ประเมินคุณภาพผลการตรวจของห้องวิเคราะห์ และ ติดตามการพัฒนาคุณภาพงานของห้อง ค่า Z คือค่า Sigma ในทางสถิติวิเคราะห์ Method Evaluation

41 Method Evaluation Decision (MEDx) Chart for Judging Method Performance
From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, Allowable Total Error (%): 10.00 % (at decision level) Inaccuracy (%bias): 3.00 % (Observed at decision level) Imprecision (%CV): 2.50 Region of Unacceptable Performance TE = Bias + z Imprecision (TE - Bias) Imprecision = z Poor performance Marginal performance Observed (2.5,3.0) inaccuracy and imprecision Excellent performance Good performance z = 4 z = 3 z = 2 Method Evaluation

42 Different Concepts of detection limit
Lower Limit of Detection LLD Biologic Limit of Detection BLD Functional Sensitivity FS Z is 2 or 3. Z sblk Z sspk Measurement response Zero or “Blank” “Spiked” sample “Spiked” sample LLD = meanblk + Z sblk BLD = LLD + Z sspk FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from.. Method Evaluation

43 ตัวอย่าง การศึกษา LLD และ BDL ของ PSA measurement
Blank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unit Spike sample (10 ug/L) : mean = 2000 unit SD = 200 unit LLD (ug/L) = 0 + 2 ( 100 X 10 ) = 2 ug/L ( ) BDL (ug/L) = 2 ug/L + 2 ( 200 X 10 ) = 6 ug/L ( ) SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L CV = 2 ug/L X 100 = 20 % 10 ug/L FS = 10 ug/L Method Evaluation

44 ค่าอ้างอิง (Reference Value)
เอกสารคำสอน เรื่อง ค่าอ้างอิง (Reference Value) เขียนโดย รศ.ชูชาติ อารีจิตรานุสรณ์ ประโยชน์ของค่าอ้างอิง การเก็บข้อมูลเพื่อกำหนดค่าอ้างอิง - ตัวอย่าง (เป็นตัวแทนของประชากรได้) คำนวณจำนวนตัวอย่างที่ใช้การศึกษา - วิธีตรวจ (ต้องเชื่อถือได้) วิธีกำหนดค่าอ้างอิง - กรณีข้อมูลกระจายแบบปกติ mean + 2SD - กรณีข้อมูลกระจายแบบไม่ปกติ Percentile 2.5% % Method Evaluation

45 ปฏิบัติการฝึกคำนวณ Reference Value
ให้นักศึกษา download ข้อมูลตัวอย่าง จาก ซึ่งใน Worksheet ชื่อ Data ของไฟล์ที่ download จะมีข้อมูลผลตรวจสารเคมีชนิดต่างๆ จากผู้ตรวจสุขภาพประจำปี จำนวน 852 คน กำหนดนิยม "ผู้มีสุขภาพดี" คือ มี BMI ปกติ ( Kg/m2) จงวิเคราะห์เพื่อกำหนดค่าอ้างอิงของผลตรวจสารเคมีชนิดต่างๆ กรณีกำหนดค่าอ้างอิงโดยใช้ช่วง Mean  2 SD กรณีกำหนดค่าอ้างอิงโดยใช้ค่า Percentile ที่ 2.5% ถึง percentile ที่ 97.5% Method Evaluation

46 คัดกรองเอาเฉพาะข้อมูลที่มีค่า BMI ปกติ ก่อน
ขั้นตอนการวิเคราะห์ คัดกรองเอาเฉพาะข้อมูลที่มีค่า BMI ปกติ ก่อน ใช้ Microsoft Excel function คำนวณค่า Mean [AVERAGE(…)], SD [STDEV(…)], Percentile ที่ 2.5% [PERCENTILE(…,0.025)] และ Percentile ที่ 97.5% [PERCENTILE(…,0.975)] เพื่อกำหนดค่าอ้างอิงกรณีแยกตามเพศและกรณีไม่แยกตามเพศ ทำตารางสรุปผลการวิเคราะห์ข้อมูลเพื่อกำหนดค่าอ้างอิงไว้ในอีก Worksheet ส่งไฟล์ผลงานการวิเคราะห์ให้ อ.วิสุทธิ์ กังวานตระกูล ที่ หลังการฝึกปฏิบัติเสร็จ Method Evaluation

47 Diagnostic Performance
Diagnostic sensitivity and specificity Evaluated Method Gold or Standard Method ผลตรวจบ่งชี้ พยาธิสภาพ รวม Disease Non-disease Positive True Positive a False Positive b a + b Negative False Negative c True Negative d c + d a + c b + d a+b+c+d Method Evaluation

48 Diagnostic sensitivity and specificity
ผลตรวจบ่งชี้ พยาธิสภาพ รวม Disease Non-disease Positive True Positive a False Positive b (-error) a + b Negative False Negative c (-error) True Negative d c + d a + c b + d a+b+c+d Sensitivity = Specificity = Positive predictive value = Negative predictive value = Prevalence = Efficiency = Method Evaluation

49 ก ข ค ง Sensitivity = Specificity = Cut-off level Cut-off level
ผลตรวจบ่งชี้ พยาธิสภาพ Disease Non-disease Positive True Positive a False Positive b (-error) Negative False Negative c (-error) True Negative d Sensitivity = Specificity = Cut-off level Cut-off level ไม่เป็นโรค ความไวสูง และ ความจำเพาะสูง ไม่เป็นโรค ก ข ความไวต่ำ แต่ ความจำเพาะสูง No False Positive False Negative No False Positive No False Negative ความถี่ เป็นโรค ความถี่ เป็นโรค True Negative True Positive True Negative True Positive ค่าผลตรวจ A B ค่าผลตรวจ C D Cut-off level Cut-off level ความไวสูง แต่ ความจำเพาะต่ำ ไม่เป็นโรค ไม่เป็นโรค ความไวสูง และ ความจำเพาะสูง ค No False Negative False Positive ง ความถี่ เป็นโรค ความถี่ เป็นโรค False Negative False Positive True Positive True Negative True Negative True Positive A B C D ค่าผลตรวจ A B C D ค่าผลตรวจ Method Evaluation

50 Likelihood Ratio; LR Sensitivity LR+ =
The likelihood ratio of a positive test result (LR+) is sensitivity divided by 1- specificity. LR+ = Sensitivity 1-Specificity The likelihood ratio of a negative test result (LR-) is 1- sensitivity divided by specificity. LR- = 1-Sensitivity Specificity In general, a diagnostic test with an LR of >10 or <0.10 changes pretest probability dramatically and is considered a strong diagnostic test. Method Evaluation

51 การใช้ UPCR และ UA protein วินิจฉัยภาวะ
Proteinurea (>300mg/24-h urine) Sensitivity(%) Specificity(%) PPV(%) NPV(%) UPCR > 0.15 96 53 66 91 UPCR > 0.17 58 67 88 UPCR > 0.19 89 70 74 UPCR > 0.24 73 87 84 78 UPCR > 0.28 95 93 75 UPCR > 0.39 55 100 71 UA protein > 1+ 41 65 UA protein > 2+ 23 28 UA protein > 3+ 11 From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7. Method Evaluation

52 Likelihood ratioa (95% CI) Interpretation
Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results. Test Result Likelihood ratioa (95% CI) Interpretation UPCR < 0.15 0.07 (0.02 – 0.27) Negative 0.15 – 0.27 0.73 (0.44 – 1.20) Indeterminate > 0.28 13.21 (4.3 – 40.5) Positive UA 0.59 (0.47 – 0.73) > 1+ 49.29 (3.1 – 792.8) Abbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio. a0.05 was added to empty cells to allow for the calculation of the likelihood ratios. From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7. Method Evaluation

53 Receiver Operating Characteristic curve
Method Evaluation

54 Trueness Systematic Error Bias Accuracy Total Error Uncertainty
Performance Characteristics Kind of Error Term of Expression Trueness Systematic Error Bias Accuracy Total Error Uncertainty Precision Random Error Standard Deviation Expression of analytical specific performance characteristics From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: , 1994. Method Evaluation