ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก

งานนำเสนอเรื่อง: "ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก"— ใบสำเนางานนำเสนอ:

1 ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก sungworn@hotmail.com
Meta-Analysis ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก

2 Research review, Literature review
Research review is used to described the activities of evaluating the quality of research. Literature review can focus on research outcomes, research methods, theories, and/or applications. Literature review can attempt 1) to integrate what other have done, 2) to criticize previous scholarly works, 3) to build bridges between related topics areas, and/or 4) to identify the central issues in a filed

3 Literature review = research synthesis Literature review = theoretical review
…research synthesis focuses on empirical studies and seek to summarize past research by drawing overall conclusions from many separate investigations that address related or identical hypothesis… …theoretical review contains (a) descriptions of critical experiments already conducted or suggested, (b) assessment of which theory is most powerful and consistent with known relations, and sometimes (c) recommendations and/or integrations of abstract notions from different theories… Cooper (2010)

4 แนวทางการรวมผลการวิจัยเข้าด้วยกัน
Narrative procedure critical review Vote-counting method ผลการวิจัยที่ไม่มีผลเชิงบวก เชิงลบ หรือ ไม่มีนัยสำคัญทางสถิติ Combined tests เช่น การรวม p-value จากงานวิจัยหลายๆ เรื่อง

5 Meta-Analysis “The statistical analysis of a large collection of analysis results from individual studies for the purpose of integrating the findings” Glass (1976)

6 ตัวอย่างงานวิจัย Meta-analysis
Meta-analysis of the effects of sometribove zinc suspension on the production and health of lactating dairy cows Systematic review and meta-analysis of the effectiveness of commercially available vaccines against bovine herpesvirus, bovine viral diarrhea virus, bovine respiratory syncytial virus, and parainfluenza type 3 virus for mitigation of bovine respiratory disease complex in cattle Effect of biotin on milk performance of dairy cattle: A meta-analysis

7 Definition of Meta-Analysis
Quantitative approach for systematically combining results of previous research to arrive at conclusions about the body of research.

8 Definition of Meta-Analysis
Quantitative : เชิงปริมาณ ตัวเลข Systematic : เชิงระบบ เป็นลำดับ ขั้นตอน Combining: รวมกัน Previous research: วิจัยที่ทำเสร็จแล้ว Conclusions: ความรู้ใหม่

9 Systematic review A systematic review attempts to collate empirical evidence that fits prespecified eligibility criteria to answer a specific research question (Sargeant et al., 2006) Systematic reviews need not contain a meta-analysis—there are times when it is not appropriate or possible; however, many systematic reviews contain meta-analyses

10 ความเกี่ยวข้องระหว่าง Systematic review กับ Meta-analysis
Systematic review is the entire process of collecting, reviewing and presenting all available evidence. Meta-analysis is the statistical technique involved in extracting and combining data to produce a summary result. A meta-Analysis is possible without doing a systematic review. Systematic reviews Meta-analyses

11 ลักษณะของ Systematic review
วัตถุประสงค์ที่มีเกณฑ์ในการศึกษา วิธีการศึกษา วิธีการสืบค้นงานวิจัยที่ผ่านเกณฑ์ การตรวจสอบความเหมาะสมของงานวิจัยที่นำมาศึกษา การนำเสนอและสังเคราะห์ และข้อค้นพบจากงานวิจัยอย่างเป็นระบบ วิธีที่ใช้เป็นวิธีการเชิงระบบที่ช่วยลดความลำเอียง (bias) จึงช่วยให้ได้ผลการศึกษาที่น่าเชื่อถือ และมีประโยชน์ต่อการตัดสินใจ

12 ขั้นตอนการทำ Systematic review
Phrase of the research question Define the subject in -and exclusion criteria Search for all original papers and abstract Select all relevant abstract and papers Assess the study quality and validity of the included studies Extract the relevant data from all included papers Present and interpret the data

13 Systematic Review and Meta-Analysis of Therapeutic
Hypothermia in Animal Models of Spinal Cord Injury

14 จุดมุ่งหมายหลักของ meta-analysis
เพื่อหาข้อสรุปของการโต้แย้งจากงานวิจัยที่ขัดแย้งกัน เพื่อตอบคำถามที่ยังไม่ได้ตอบ เพื่อสร้างสมมติฐานใหม่ เพื่อเพิ่มอำนาจการทดสอบ (power) เพื่อเพิ่มความแม่นยำ

15 วัตถุประสงค์ของ Meta-analysis
ประเมินขนาดของผลลัพธ์ที่ได้จากการวิจัยวิจัย ความแตกต่างของกลุ่มทดลอง-ควบคุม มาก หรือน้อย? ทางบวก หรือ ทางลบ รวบผลการวิจัยให้เป็นค่าเดียว ศึกษาความแตกต่างของผลการวิจัย อธิบายว่าทำไมผลการวิจัย จึงต่างกัน

16 ประเภทของข้อมูลที่เกี่ยวข้องกับการวิเคราะห์ meta-analysis
Dichotomous data เช่น ตาย หรือ มีชีวิต Counts of event data เช่น จำนวนของการตั้งครรค์ Ordinal data เช่น ข้อมูลจาก rating scale Continuous data เช่น ปริมาณคลอเรสเตอรอล Survival data เช่น เวลาตั้งแต่.... จนถึง......

17 วิธีการคำนวณขนาดความสัมพันธ์หรือผลจากการวิจัย
Continuous data คำนวณขนาดอิทธิพล Standardized mean difference Rate data (ความแตกต่างของเหตุการณ์ที่เกิดขึ้นระหว่างกลุ่ม ทดลองและกลุ่มควบคุม) คำนวณขนาดอิทธิพล Relative risk Odds ratio Risk difference

18 ตัวอย่างการคำนวณ Effect Size

19 Relative Risk

20 Odds Ratio

21

22 Risk difference

23 สิ่งควรพิจารณาในการทำ Meta-analysis
ต้องการเปรียบเทียบอะไร จะรวบผลการวิจัยหลายๆ เล่มอย่างไร จะตัดสินใจรวมผลการวิจัยจากงานวิจัยหลายๆ เล่มหรือไม่ ต้องการวิเคราะห์ subgroup หรือ sensitivity analysis หรือไม่

24 Stages of synthesis What data are available?
By addressing review question according to conceptual framework What are the patterns in the data? Including study, intervention, outcomes and participant characteristics What is the question? Theories and assumptions in the review question How does integrating the data answer the question? To address the question (including theory testing or development). What new research questions emerge? Can the conceptual framework be developed? What does the result mean? (conclusions) How robust is the synthesis? For quality, sensitivity, coherence & relevance. What is the result? Cooper, H.M. (1982) Scientific Guidelines for Conducting Integrative Research Reviews Review Of Educational Research 52; 291 See also: Popay et al. (2006) Guidance on the Conduct of Narrative Synthesis in Systematic Reviews. Lancaster: Institute for Health Research, Lancaster University. 24

25 ขั้นตอนการทำ Meta-analysis
ขั้นตอน 1 ดึงข้อมูลที่จำเป็นสำหรับการคำนวณขนาดอิทธิพลออกมาจากงานวิจัยแต่ละเรื่อง คำนวณผล หรือขนาดอิทธิพลจากงานวิจัยแต่ละเล่ม สร้างช่วงความเชื่อมั่น (confidence interval) ของงานวิจัยแต่ ละเล่ม ขั้นตอน 2 ประเมินว่าจะสามารถรวบผลการวิจัยหลายๆ เรื่องได้หรือไม่ ถ้าได้ ก็คำนวณและรายงานผล

26 การคำนวณขนาดอิทธิพล: เปลี่ยนค่าสถิติให้เป็น r

27 การคำนวณขนาดอิทธิพล: เปลี่ยนค่าสถิติให้เป็น d
b= r(Sy/Sx) หรือ r=b(Sx/Sy)

28 Substantive interpretation of effect size
ขนาดความสัมพันธ์ Statistical significance as “important, notable, consequential”

29 การรวม effect sizes จากงานวิจัยต่างๆ
เริ่มต้นด้วยการคำนวณน้ำหนัก (weight) ซึ่งเป็นค่าส่วนกลับของความ แปรปรวนของขนาดอิทธิพล กำหนดน้ำหนักให้กับงานวิจัยชิ้นที่มีความแปรปรวนน้อย

30 การรวมผลการวิจัยหลายเล่มเข้าด้วยกัน
การนำมาหาค่าเฉลี่ยแบบธรรมดาจะไม่ถูกต้อง เพราะงานวิจัย บางเรื่องได้ผลการวิจัยถูกต้องมากกว่าเรื่องอื่นๆ ควรใช้วิธีการถ่วงน้ำหนัก โดยงานวิจัยที่มีคุณภาพมากกว่า ควรมีน้ำหนักมากกว่า กลุ่มตัวอย่าง ความแปรปรวนต่ำ

31 Combining effect size across studies: d-index

32 Combining effect size across studies: d-index
study ni1 ni2 di wi widi Qb 1 259 265 0.02 130.98 0.052 2.619 A 2 57 62 0.07 29.68 0.145 2.078 3 43 50 0.24 22.95 1.322 5.509 4 230 228 0.11 114.32 1.383 12.576 5 296 291 0.09 146.59 1.187 13.193 B 6 129 131 0.32 64.17 6.571 20.536 7 69 74 0.17 35.58 1.028 6.048 รวม 1083 1101 1.02 544.27 11.688 62.559

33 Combining effect size across studies: r-index

34 Combining effect size across studies: r-index
study ni ri zi ni-3 (ni-3)zi Qb grouping 1 3505 0.06 3502 210.12 12.61 A 2 3606 0.12 3603 432.36 51.88 3 4157 0.22 4154 913.88 201.05 4 1021 0.08 1018 81.44 6.52 B 5 1955 0.27 0.28 1952 546.56 153.04 6 12146 0.26 12143 885.22 รวม 26390 1.01 1.03 26372

35 ดัชนีขนาดอิทธิพลอื่นๆ: Hedges’s g

36 ตัวอย่าง Effect of biotin on milk performance of dairy cattle: A meta-analysis

37

38 Effect of biotin on milk performance of dairy cattle: A meta-analysis

39 Effect of biotin on milk performance of dairy cattle: A meta-analysis

40 Homogeneity Analysis Homogeneity analysis (Rosenthal and Rubin, 1982; Hedges, 1982) เป็นการวิเคราะห์เพื่อศึกษาว่า d-indexes มีความเป็นเอกพันธ์ระดับใด การสังเคราะห์งานวิจัยต้องคำนวณสถิติ Q Q มีการแจกแจงแบบไคสแควร์ มี df =k-1 Ho: ความแปรปรวนของขนาดอิทธิพลเท่ากับศูนย์

41 Homogeneity Analysis

42 Homogeneity Analysis รวม(A) 589 605 0.44 297.93 2.902 22.782 รวม(B)
study ni1 ni2 di wi widi Qb 1 259 265 0.02 130.98 0.052 2.619 A 2 57 62 0.07 29.68 0.145 2.078 3 43 50 0.24 22.95 1.322 5.509 4 230 228 0.11 114.32 1.383 12.576 รวม(A) 589 605 0.44 297.93 2.902 22.782 5 296 291 0.09 146.59 1.187 13.193 B 6 129 131 0.32 64.17 6.571 20.536 7 69 74 0.17 35.58 1.028 6.048 รวม(B) 494 496 0.58 246.34 8.786 39.777 รวม 1083 1101 1.02 544.27 11.688 62.559

43 Homogeneity Analysis: r-index

44 I2 (Higgins, Thompson, Deeks, & Altman, 2003)
หรือ

45 การแปลผล I2

46 ตัวอย่างการรายงาน moderator analysis

47

48 วิธีการรวมงานวิจัย weighted vs. unweighted effect size
Fixed effect assumptions vs. random effect assumptions

49 Fixed effect Meta-Analysis
มีสมมติฐานว่า งานวิจัยทุกชิ้นมี true effect size เดียวกัน

50 Random effect Meta-analysis
มีสมมติฐานว่า true effect size มีการแจกแจงเป็น ปกติ

51 Random effect Meta-analysis

52 Random effect Meta-analysis
True variation () Sampling error (Vyi)

53 การคำนวณ 2 (ความแปรปรวนจริง)

54 การคำนวณค่าเฉลี่ยของของขนาดอิทธิพล

55 ความแปรปรวนของขนาดอิทธิพลเฉลี่ย

56

57

58 Publication Bias Bias arising from the studies included in the review
Bias arising from the way the review is done Publication bias is only one of the possible reasons for asymmetrical funnel plot Funnel plot should been seen as a means of examining “small study effect”

59 Missing data: trim-and-fill method
Trim-and-fill method tests whether the distribution of effect sizes used in the analysis is consistent with the distribution that would be predicted if the estimates were symmetrically distributed around the mean

60 Funnel plot for dichotomous data

61

62 Effect of biotin on milk performance of dairy cattle: A meta-analysis

63 หรือมีตัวแปรอะไรที่อธิบาย heterogeneity ของงานวิจัย
Meta-regression เพื่อประเมินว่าของขนาดอิทธิพลจากงานวิจัยเรื่องต่างๆ ที่แตกต่างกัน เป็นผลมาจากลักษณะเฉพาะของงานวิจัย หรือไม่ หรือมีตัวแปรอะไรที่อธิบาย heterogeneity ของงานวิจัย

64

65

66

67 Software Comprehensive meta-analysis Stata R
Stata R

68 สรุป ขั้นตอนการทำ Meta-analysis
Check whether or not the included studies are homogeneity enough Assemble the relevant study data Choose an effect size measures Calculate the effect size for each study/subgroup Choose a random effect or fixed effect meta-analysis model Specify subgroups if applicable Calculate the summary effect per subgroup and overall Conduct a sensitivity analysis Minimize publication bias Interpreatation

69 ข้อควรพิจารณาในการรายงานผลการวิเคราะห์
The impact of missing data on conclusions: missing data The sensitivity of your conclusions to changes in assumptions about statistical characteristics of your data: sensitivity analysis Your ability to generalize your conclusions to people and circumstances not included in the studies: generalization and specification of findings Whether conclusions are based on study-generated or synthesis-generated evidence The substantive interpretation of effect size