ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก sungworn@hotmail.com Meta-Analysis ผู้ช่วยศาสตราจารย์ ดร. สังวรณ์ งัดกระโทก sungworn@hotmail.com

Research review, Literature review Research review is used to described the activities of evaluating the quality of research. Literature review can focus on research outcomes, research methods, theories, and/or applications. Literature review can attempt 1) to integrate what other have done, 2) to criticize previous scholarly works, 3) to build bridges between related topics areas, and/or 4) to identify the central issues in a filed

Literature review = research synthesis Literature review = theoretical review …research synthesis focuses on empirical studies and seek to summarize past research by drawing overall conclusions from many separate investigations that address related or identical hypothesis… …theoretical review contains (a) descriptions of critical experiments already conducted or suggested, (b) assessment of which theory is most powerful and consistent with known relations, and sometimes (c) recommendations and/or integrations of abstract notions from different theories… Cooper (2010)

แนวทางการรวมผลการวิจัยเข้าด้วยกัน Narrative procedure critical review Vote-counting method ผลการวิจัยที่ไม่มีผลเชิงบวก เชิงลบ หรือ ไม่มีนัยสำคัญทางสถิติ Combined tests เช่น การรวม p-value จากงานวิจัยหลายๆ เรื่อง

Meta-Analysis “The statistical analysis of a large collection of analysis results from individual studies for the purpose of integrating the findings” Glass (1976)

ตัวอย่างงานวิจัย Meta-analysis Meta-analysis of the effects of sometribove zinc suspension on the production and health of lactating dairy cows Systematic review and meta-analysis of the effectiveness of commercially available vaccines against bovine herpesvirus, bovine viral diarrhea virus, bovine respiratory syncytial virus, and parainfluenza type 3 virus for mitigation of bovine respiratory disease complex in cattle Effect of biotin on milk performance of dairy cattle: A meta-analysis

Definition of Meta-Analysis Quantitative approach for systematically combining results of previous research to arrive at conclusions about the body of research.

Definition of Meta-Analysis Quantitative : เชิงปริมาณ ตัวเลข Systematic : เชิงระบบ เป็นลำดับ ขั้นตอน Combining: รวมกัน Previous research: วิจัยที่ทำเสร็จแล้ว Conclusions: ความรู้ใหม่

Systematic review A systematic review attempts to collate empirical evidence that fits prespecified eligibility criteria to answer a specific research question (Sargeant et al., 2006) Systematic reviews need not contain a meta-analysis—there are times when it is not appropriate or possible; however, many systematic reviews contain meta-analyses

ความเกี่ยวข้องระหว่าง Systematic review กับ Meta-analysis Systematic review is the entire process of collecting, reviewing and presenting all available evidence. Meta-analysis is the statistical technique involved in extracting and combining data to produce a summary result. A meta-Analysis is possible without doing a systematic review. Systematic reviews Meta-analyses

ลักษณะของ Systematic review วัตถุประสงค์ที่มีเกณฑ์ในการศึกษา วิธีการศึกษา วิธีการสืบค้นงานวิจัยที่ผ่านเกณฑ์ การตรวจสอบความเหมาะสมของงานวิจัยที่นำมาศึกษา การนำเสนอและสังเคราะห์ และข้อค้นพบจากงานวิจัยอย่างเป็นระบบ วิธีที่ใช้เป็นวิธีการเชิงระบบที่ช่วยลดความลำเอียง (bias) จึงช่วยให้ได้ผลการศึกษาที่น่าเชื่อถือ และมีประโยชน์ต่อการตัดสินใจ

ขั้นตอนการทำ Systematic review Phrase of the research question Define the subject in -and exclusion criteria Search for all original papers and abstract Select all relevant abstract and papers Assess the study quality and validity of the included studies Extract the relevant data from all included papers Present and interpret the data

Systematic Review and Meta-Analysis of Therapeutic Hypothermia in Animal Models of Spinal Cord Injury

จุดมุ่งหมายหลักของ meta-analysis เพื่อหาข้อสรุปของการโต้แย้งจากงานวิจัยที่ขัดแย้งกัน เพื่อตอบคำถามที่ยังไม่ได้ตอบ เพื่อสร้างสมมติฐานใหม่ เพื่อเพิ่มอำนาจการทดสอบ (power) เพื่อเพิ่มความแม่นยำ

วัตถุประสงค์ของ Meta-analysis ประเมินขนาดของผลลัพธ์ที่ได้จากการวิจัยวิจัย ความแตกต่างของกลุ่มทดลอง-ควบคุม มาก หรือน้อย? ทางบวก หรือ ทางลบ รวบผลการวิจัยให้เป็นค่าเดียว ศึกษาความแตกต่างของผลการวิจัย อธิบายว่าทำไมผลการวิจัย จึงต่างกัน

ประเภทของข้อมูลที่เกี่ยวข้องกับการวิเคราะห์ meta-analysis Dichotomous data เช่น ตาย หรือ มีชีวิต Counts of event data เช่น จำนวนของการตั้งครรค์ Ordinal data เช่น ข้อมูลจาก rating scale Continuous data เช่น ปริมาณคลอเรสเตอรอล Survival data เช่น เวลาตั้งแต่.... จนถึง......

วิธีการคำนวณขนาดความสัมพันธ์หรือผลจากการวิจัย Continuous data คำนวณขนาดอิทธิพล Standardized mean difference Rate data (ความแตกต่างของเหตุการณ์ที่เกิดขึ้นระหว่างกลุ่ม ทดลองและกลุ่มควบคุม) คำนวณขนาดอิทธิพล Relative risk Odds ratio Risk difference

ตัวอย่างการคำนวณ Effect Size

Relative Risk

Odds Ratio

Risk difference

สิ่งควรพิจารณาในการทำ Meta-analysis ต้องการเปรียบเทียบอะไร จะรวบผลการวิจัยหลายๆ เล่มอย่างไร จะตัดสินใจรวมผลการวิจัยจากงานวิจัยหลายๆ เล่มหรือไม่ ต้องการวิเคราะห์ subgroup หรือ sensitivity analysis หรือไม่

Stages of synthesis What data are available? By addressing review question according to conceptual framework What are the patterns in the data? Including study, intervention, outcomes and participant characteristics What is the question? Theories and assumptions in the review question How does integrating the data answer the question? To address the question (including theory testing or development). What new research questions emerge? Can the conceptual framework be developed? What does the result mean? (conclusions) How robust is the synthesis? For quality, sensitivity, coherence & relevance. What is the result? Cooper, H.M. (1982) Scientific Guidelines for Conducting Integrative Research Reviews Review Of Educational Research 52; 291 See also: Popay et al. (2006) Guidance on the Conduct of Narrative Synthesis in Systematic Reviews. Lancaster: Institute for Health Research, Lancaster University. http://www.lancs.ac.uk/fass/projects/nssr/research.htm 24

ขั้นตอนการทำ Meta-analysis ขั้นตอน 1 ดึงข้อมูลที่จำเป็นสำหรับการคำนวณขนาดอิทธิพลออกมาจากงานวิจัยแต่ละเรื่อง คำนวณผล หรือขนาดอิทธิพลจากงานวิจัยแต่ละเล่ม สร้างช่วงความเชื่อมั่น (confidence interval) ของงานวิจัยแต่ ละเล่ม ขั้นตอน 2 ประเมินว่าจะสามารถรวบผลการวิจัยหลายๆ เรื่องได้หรือไม่ ถ้าได้ ก็คำนวณและรายงานผล

การคำนวณขนาดอิทธิพล: เปลี่ยนค่าสถิติให้เป็น r

การคำนวณขนาดอิทธิพล: เปลี่ยนค่าสถิติให้เป็น d b= r(Sy/Sx) หรือ r=b(Sx/Sy)

Substantive interpretation of effect size ขนาดความสัมพันธ์ Statistical significance as “important, notable, consequential”

การรวม effect sizes จากงานวิจัยต่างๆ เริ่มต้นด้วยการคำนวณน้ำหนัก (weight) ซึ่งเป็นค่าส่วนกลับของความ แปรปรวนของขนาดอิทธิพล กำหนดน้ำหนักให้กับงานวิจัยชิ้นที่มีความแปรปรวนน้อย

การรวมผลการวิจัยหลายเล่มเข้าด้วยกัน การนำมาหาค่าเฉลี่ยแบบธรรมดาจะไม่ถูกต้อง เพราะงานวิจัย บางเรื่องได้ผลการวิจัยถูกต้องมากกว่าเรื่องอื่นๆ ควรใช้วิธีการถ่วงน้ำหนัก โดยงานวิจัยที่มีคุณภาพมากกว่า ควรมีน้ำหนักมากกว่า กลุ่มตัวอย่าง ความแปรปรวนต่ำ

Combining effect size across studies: d-index

Combining effect size across studies: d-index study ni1 ni2 di wi widi Qb 1 259 265 0.02 130.98 0.052 2.619 A 2 57 62 0.07 29.68 0.145 2.078 3 43 50 0.24 22.95 1.322 5.509 4 230 228 0.11 114.32 1.383 12.576 5 296 291 0.09 146.59 1.187 13.193 B 6 129 131 0.32 64.17 6.571 20.536 7 69 74 0.17 35.58 1.028 6.048 รวม 1083 1101 1.02 544.27 11.688 62.559

Combining effect size across studies: r-index

Combining effect size across studies: r-index study ni ri zi ni-3 (ni-3)zi Qb grouping 1 3505 0.06 3502 210.12 12.61 A 2 3606 0.12 3603 432.36 51.88 3 4157 0.22 4154 913.88 201.05 4 1021 0.08 1018 81.44 6.52 B 5 1955 0.27 0.28 1952 546.56 153.04 6 12146 0.26 12143 3278.61 885.22 รวม 26390 1.01 1.03 26372 5462.97 1310.32

ดัชนีขนาดอิทธิพลอื่นๆ: Hedges’s g

ตัวอย่าง Effect of biotin on milk performance of dairy cattle: A meta-analysis

Effect of biotin on milk performance of dairy cattle: A meta-analysis

Effect of biotin on milk performance of dairy cattle: A meta-analysis

Homogeneity Analysis Homogeneity analysis (Rosenthal and Rubin, 1982; Hedges, 1982) เป็นการวิเคราะห์เพื่อศึกษาว่า d-indexes มีความเป็นเอกพันธ์ระดับใด การสังเคราะห์งานวิจัยต้องคำนวณสถิติ Q Q มีการแจกแจงแบบไคสแควร์ มี df =k-1 Ho: ความแปรปรวนของขนาดอิทธิพลเท่ากับศูนย์

Homogeneity Analysis

Homogeneity Analysis รวม(A) 589 605 0.44 297.93 2.902 22.782 รวม(B) study ni1 ni2 di wi widi Qb 1 259 265 0.02 130.98 0.052 2.619 A 2 57 62 0.07 29.68 0.145 2.078 3 43 50 0.24 22.95 1.322 5.509 4 230 228 0.11 114.32 1.383 12.576 รวม(A) 589 605 0.44 297.93 2.902 22.782 5 296 291 0.09 146.59 1.187 13.193 B 6 129 131 0.32 64.17 6.571 20.536 7 69 74 0.17 35.58 1.028 6.048 รวม(B) 494 496 0.58 246.34 8.786 39.777 รวม 1083 1101 1.02 544.27 11.688 62.559

Homogeneity Analysis: r-index

I2 (Higgins, Thompson, Deeks, & Altman, 2003) หรือ

การแปลผล I2

ตัวอย่างการรายงาน moderator analysis

วิธีการรวมงานวิจัย weighted vs. unweighted effect size Fixed effect assumptions vs. random effect assumptions

Fixed effect Meta-Analysis มีสมมติฐานว่า งานวิจัยทุกชิ้นมี true effect size เดียวกัน

Random effect Meta-analysis มีสมมติฐานว่า true effect size มีการแจกแจงเป็น ปกติ

Random effect Meta-analysis

Random effect Meta-analysis True variation () Sampling error (Vyi)

การคำนวณ 2 (ความแปรปรวนจริง)

การคำนวณค่าเฉลี่ยของของขนาดอิทธิพล

ความแปรปรวนของขนาดอิทธิพลเฉลี่ย

Publication Bias Bias arising from the studies included in the review Bias arising from the way the review is done Publication bias is only one of the possible reasons for asymmetrical funnel plot Funnel plot should been seen as a means of examining “small study effect”

Missing data: trim-and-fill method Trim-and-fill method tests whether the distribution of effect sizes used in the analysis is consistent with the distribution that would be predicted if the estimates were symmetrically distributed around the mean

Funnel plot for dichotomous data

Effect of biotin on milk performance of dairy cattle: A meta-analysis

หรือมีตัวแปรอะไรที่อธิบาย heterogeneity ของงานวิจัย Meta-regression เพื่อประเมินว่าของขนาดอิทธิพลจากงานวิจัยเรื่องต่างๆ ที่แตกต่างกัน เป็นผลมาจากลักษณะเฉพาะของงานวิจัย หรือไม่ หรือมีตัวแปรอะไรที่อธิบาย heterogeneity ของงานวิจัย

Software Comprehensive meta-analysis Stata R http://www.meta-analysis.com Stata R

สรุป ขั้นตอนการทำ Meta-analysis Check whether or not the included studies are homogeneity enough Assemble the relevant study data Choose an effect size measures Calculate the effect size for each study/subgroup Choose a random effect or fixed effect meta-analysis model Specify subgroups if applicable Calculate the summary effect per subgroup and overall Conduct a sensitivity analysis Minimize publication bias Interpreatation

ข้อควรพิจารณาในการรายงานผลการวิเคราะห์ The impact of missing data on conclusions: missing data The sensitivity of your conclusions to changes in assumptions about statistical characteristics of your data: sensitivity analysis Your ability to generalize your conclusions to people and circumstances not included in the studies: generalization and specification of findings Whether conclusions are based on study-generated or synthesis-generated evidence The substantive interpretation of effect size