Systematic Research Design Dr.Marut Patphol for Doctoral Students Program in Curriculum and Instruction Silpakorn University 1 November 2014

Part I Research Design Marut Patphol: 2014

The Concepts of Learning 1. The definition of research design 2. Blue print for research design 3. Multi – methodology design Marut Patphol: 2014

Research question Review related literature Main concept 1Main concept 2Main concept … Analyzed and Synthesize Theoretical framework Conceptual framework Research design Marut Patphol: 2014

A research design is a systematic plan to study a scientific problem. Marut Patphol: 2014

A research design encompasses the methodology and procedures employed to conduct scientific research. The design of a study defines the study type, research question, hypothesis, independent and dependent variables, experimental design, data collection methods and statistical analysis plan. Marut Patphol: 2014

In fixed designs, the design of the study is fixed before the main stage of data collection takes place. Flexible designs allow for more freedom during the data collection process. Fixed and flexible designs Marut Patphol: 2014

Theory building and theory testing approaches to research Marut Patphol: 2014

The logic of the research process Marut Patphol: 2014

Three types of causal relationships Marut Patphol: 2014

ครู ผู้บริหาร คุณภาพผู้เรียน ภาวะผู้นำทางวิชาการ รักการสอน รักผู้เรียน มีความรู้ มีวิธีการสอน การประเมินผล ดูแลช่วยเหลือผู้เรียน อัตลักษณ์ เอกลักษณ์ มีความยุติธรรม ปัจจัยที่ส่งผลต่อคุณภาพผู้เรียน วิชัย วงษ์ใหญ่ : 2557

The research design provides the structure of the research and links all of the elements of the research together. It provides the researcher the opportunity to carefully consider the research and to plan the way in which they will approach the research. Marut Patphol: 2014

A research design will typically include 1. how data is to be collected. 2. what instruments will be employed and use. 3. means for analyzing data collected. Marut Patphol: 2014

Scope of research design 1. research methodology 2. sampling 3. tools for data collection 4. analyzing data Marut Patphol: 2014

Types of research 1. Historical research 2. Descriptive research 3. Correlational research 4. Causal research 5. Experimental research 6. Case study research 7. Ethnographic research 8. Research and development Marut Patphol: 2014

There are two major research designs 1. Qualitative research Understanding of human behavior and the reasons that govern such behavior. 2. Quantitative research Systematic empirical investigation of quantitative properties and phenomena and their relationships. Marut Patphol: 2014

In quantitative research, the data are numbers and measurements In qualitative research, the data are narrative descriptions and observation Marut Patphol: 2014

Multi - methodology, mixed methods research, or pragmatist paradigm ( ความรู้เกิดจากกระบวนการอุปนัย induction) is an approach to professional research that combines the collection and analysis of quantitative and qualitative data. Marut Patphol: 2014

Benefits of a Mixed - Method Approach to Data Collection 1. It increases the validity of your findings by allowing you to examine the same phenomenon in different ways. 2. It can result in better data collection for develop instruments or innovation. 3. It promotes greater understanding of your findings. 4. It offers something for everyone. (different stakeholders have different needs and/or interests) Marut Patphol: 2014

Types of experiment Controlled experiments A controlled experiment often compares the results obtained from experimental samples against control samples, which are practically identical to the experimental sample except for the one aspect whose effect is being tested (the independent variable). Marut Patphol: 2014

Natural experiments The term "experiment" usually implies a controlled experiment, but sometimes controlled experiments are prohibitively difficult or impossible. In this case researchers resort to natural experiments or quasi – experiments. Natural experiments rely solely on observations of the variables of the system under study, rather than manipulation of just one or a few variables as occurs in controlled experiments. Marut Patphol: 2014

Field experiments Field experiments are so named in order to draw a contrast with laboratory experiments, which enforce scientific control by testing a hypothesis in the artificial and highly controlled setting of a laboratory. Often used in the social sciences, and especially in economic analyses of education and health interventions, field experiments have the advantage that outcomes are observed in a natural setting rather than in a contrived laboratory environment. For this reason, field experiments are sometimes seen as having higher external validity than laboratory experiments. Marut Patphol: 2014

MAX MIN CON Principle MAX : (Maximization) การทำให้ความแปรปรวนของตัวแปรตามเกิดจากตัวแปรอิสระมากที่สุด MIN : (Minimization) การทำให้ความแปรปรวนอันเนื่องมาจากความคลาดเคลื่อนต่างๆ มีค่าน้อยที่สุด CON : (Control) การควบคุมความแปรปรวนอันเกิดจากตัวแปรแทรกซ้อน - การสุ่ม - การจำกัดออก - การนำเข้ามาศึกษาร่วม ( ตัวแปรร่วม covariate variable) - การควบคุมโดยใช้เทคนิคทางสถิติ Marut Patphol: 2014

Internal validity is a property of scientific studies which reflects the extent to which a causal conclusion based on a study is warranted. Marut Patphol: 2014

External validity is the validity of generalized (causal) inferences in scientific research, usually based on experiments as experimental validity. Marut Patphol: 2014

จุดมุ่งหมายของการเลือกกลุ่มตัวอย่าง ได้กลุ่มตัวอย่างที่เป็นตัวแทนที่ดีของประชากร (Representativeness) สามารถอ้างอิงข้อสรุป จากกลุ่มตัวอย่างไปสู่ประชากรได้ (Generalization) Marut Patphol: 2014

Tools for data collection 1. Interview 2. Observation 3. Questionnaire 4. Test 5. Performance assessment 6. ect. Marut Patphol: 2014

Identifies one or more specific, observable events or conditions such that any other researcher can independently measure and/or test for them. ความสามารถในการแก้ปัญหา หมายถึง ความสามารถของผู้เรียนในการทำ ความเข้าใจปัญหา วางแผน การแก้ปัญหา ดำเนินการแก้ปัญหา อธิบายวิธีการ แก้ปัญหา และแสดงผลการแก้ปัญหา ได้อย่างสอดคล้องกับสถานการณ์ ซึ่งวัดได้โดยการ สังเกตพฤติกรรม และการตรวจสอบผลงาน โดยใช้ แบบประเมินการแก้ปัญหาที่มีเกณฑ์การให้คะแนน 3 ระดับ Operational definition Marut Patphol: 2014

แบบประเมินการแก้ปัญหา วิชัย วงษ์ใหญ่ : 2557 กลุ่มที่ ………... ชื่อผู้เรียน 1. ………………. 2. ………….………… 3. ……………….. 4. …………..……….. วัน ……. เดือน ……….. ปี ………... คำชี้แจง บันทึกการปฏิบัติงานของผู้เรียนแต่ละคนในกลุ่มตามเกณฑ์ที่ระบุ โดยเขียนเลขระบุระดับคุณภาพ ให้ 3 คะแนน เมื่อปฏิบัติได้ด้วยตนเอง และสามารถให้ความช่วยเหลือเพื่อนได้ ให้ 2 คะแนน เมื่อปฏิบัติได้ด้วยตนเองภายหลังได้รับคำแนะนำ ให้ 1 คะแนน เมื่อปฏิบัติได้เมื่อศึกษาตัวอย่างประกอบ 1. แสดงความเข้าใจปัญหา 2. วางแผนและลงมือปฏิบัติ 3. ใช้ความพยายามในการแก้ปัญหา 4. อธิบายวิธีการแก้ปัญหา 5. แสดงผลการแก้ปัญหาได้อย่างชัดเจน รวมคะแนน 15 คะแนน รายการ เลขที่ผู้เรียน ( กรอกเลขที่ข้างบน ) เลขที่ 1 เลขที่ 2 เลขที่ 3 เลขที่ 4

Research design is considered as a "blueprint" for research, dealing with at least four problems: which questions to study, which data are relevant, what data to collect, and how to analyze the results. Marut Patphol: 2014

วิชัย วงษ์ใหญ่ : 2557 พิมพ์เขียวการออกแบบการวิจัย คำถามวิจัยวัตถุประสงค์การวิจัย ตัวแปรที่ศึกษาขั้นตอนการวิจัย เครื่องมือที่ใช้ในการ เก็บรวบรวมข้อมูล การวิเคราะห์ ข้อมูล

Thank you for your attention

Part II Experimental Design Marut Patphol: 2014

The Concepts of Learning 1. The Uniqueness of Experimental Research 2. Control Extraneous Variables 3. Group Design in Experimental Designs 4. Internal Validity and External Validity 5. Group Discussion and Sharing Marut Patphol: 2014

The goals of experiment 1. Valid conclusions about the effects of an independent variable to dependent variable. 2. Valid generalization to populations. Marut Patphol: 2014

The Uniqueness of Experimental Design 1. Cause – and – effect relationships 2. Manipulate the independent variable 3. Control extraneous variables Marut Patphol: 2014

Essential Characteristics of Experimental Design 1. Comparison of groups 2. Manipulation of the independent variable 3. Randomization 3.1 Random selection 3.2 Random assignment 3.3 Random treatment Marut Patphol: 2014

Characteristics of Experiment 1. Manipulation by the researcher of one or more independent variables 2. Use of controls such as random assignment subjects to the experimental conditions 3. Careful observation or measurement of one or more dependent variables Marut Patphol: 2014

Group Design in Experimental Designs 1. Pre Experimental Designs 2. True Experimental Designs 3. Quasi - Experimental Designs 4. Factorial Designs Marut Patphol: 2014

Pre Experimental Designs - “weak” for internal validity - Do not have built – in controls for threats to internal validity Marut Patphol: 2014

One - Short Case Study X O - Marut Patphol: 2014

One Group Pretest – Posttest Design X OO Marut Patphol: 2014

Static Group Comparison Design X O O Marut Patphol: 2014

Static Group Pretest - Posttest Design X O O - O O Marut Patphol: 2014

True Experimental Designs - Subjects are randomly assignment to treatment groups - Random assignment is a powerful technique for controlling the subject characteristic threat to internal validity Marut Patphol: 2014

Randomized Posttest – Only Control Group Design XO OC R R Treatment Group Control Group

Randomized Pretest - Posttest Control Group Design XO OC R R Treatment Group Control Group O O Marut Patphol: 2014

Randomized Solomon Four - Group Design XO OC R R Treatment Group Control Group O O Treatment Group Control Group XO OC R R - - Marut Patphol: 2014

Randomized Posttest - Only Control Group Design Using Matched Subjects XO OC MRMR Treatment Group Control Group MRMR Marut Patphol: 2014

Randomized Pretest - Posttest Control Group Design Using Matched Subjects XO OC Treatment Group Control Group O O MRMR MRMR Marut Patphol: 2014

Quasi – Experimental Designs - Not use random assignment - Use other techniques to control threats to internal validity Marut Patphol: 2014

Quasi – experiment are used instead of experiments when random assignment is not possible or when, for practical or ethical reason. Marut Patphol: 2014

Matching – Only Posttest – Only Control Group Design XO OC M Treatment Group Control Group M - - Marut Patphol: 2014

XO OC Treatment Group Control Group O O M M Matching – Only Pretest – Posttest Control Group Design Marut Patphol: 2014

Three Treatment Counterbalanced Design O O X1X1 X2X2 Group 1 Group 2 O O Group 3 OX3X3 O O O O X2X2 X3X3 X1X1 X3X3 X1X1 X2X2 Marut Patphol: 2014

Time - Series Design XO1O1 O2O2 O3O3 O4O4 O5O5 O6O6 X1X1 O1O1 O2O2 O3O3 X3X3 O4O4 X2X2 Marut Patphol: 2014

Factorial Design Marut Patphol: 2014

2 X 2 Factorial Design XO OC R R Treatment Group Control Group O O Treatment Group Control Group XO OC R R O O Y1Y1 Y1Y1 Y2Y2 Y2Y2 Marut Patphol: 2014

Internal Validity Is the approximate truth about inferences regarding cause - effect or causal relationships. Marut Patphol: 2014

The Concept of Internal Validity Marut Patphol: 2014

Why is Internal Validity Important? - We often conduct research in order to determine cause – and – effect relationships. - Can we conclude that changes in the independent variable caused the observed changes in the dependent variable? - Is the evidence for such a conclusion good or poor? - If a study shows a high degree of internal validity then we can conclude we have strong evidence of causality. - If a study has low internal validity, then we must conclude we have little or no evidence of causality. Marut Patphol: 2014

Internal validity occurs when a researcher controls all extraneous variables and the only variable influencing the results of a study is the one being manipulated by the researcher. Marut Patphol: 2014

The key question in internal validity is whether observed changes can be attributed to your program or intervention Marut Patphol: 2014

8 types of extraneous variables Campbell and Stanley 1. History 2. Maturation 3. Testing 4. Instrumentation 5. Statistical Regression 6. Selection bias 7. Experimental Mortality 8. Selection Interactions (Interaction with subject assignment)

Experimenter Bias Is the subjective bias towards a result expected by the experimenter. Marut Patphol: 2014

Control of Extraneous Variables 1. Randomization 2. Holding certain variables constant 3. Building the variable into the design 4. Matching 5. Using analysis of covariance Marut Patphol: 2014

Nuisance Variables Undesired source of variation in an experiment that effect the dependent variable Marut Patphol: 2014

Many source of nuisance variables 1. concentration 2. interest 3. noise 4. temperature 5. environment Marut Patphol: 2014

The effect of nuisance variables It can increase the error variance Marut Patphol: 2014

External Validity Represents the extent to which a study's results can be generalized or applied to other people or settings. Marut Patphol: 2014

Threats to External Validity 1. Interaction of testing and treatment 2. Interaction of selection and treatment 3. Interaction of history and treatment Marut Patphol: 2014

Thank you for your attention