Introduction to communication research

Chapter 1 Evaluation

Questions about the ads How do they develop these ads? Are these ads good enough to be released? When released, what effects do these ads create? Do the ads work as intended?

How to answer these questions? Opinions Facts Reality

How do you find out the answers? Research Quantitative research methods Qualitative research methods

Forms of answers Opinion polls (public responses) Consumer responses/behaviors Issues concerned the ads that appear in the media Correlations among variables that cause changes

Environment Factors that can foster or constraint the program’s implementation Resources taken in from the environment Finance Technology Equipment Facilities Personnel Clients Outputs Results of transformation Program’s achievement Environment Input Transformation Output Feedback loop Transformation Processes that a program converts inputs into outputs System view of a program

How can research facilitate program evaluation? Input – appropriateness Transformation – progress Output – effectiveness Environment – side effects, sustainability

Communication Campaign Process Formative evaluation Planning and Strategy Development Summative evaluation Desk research (ตั้งโจทย์) Overview Impact evaluation (ตรวจสอบผลกระทบ) Side effects/Sustainability Developing and Pre-testing Concepts, Messages, and Materials Outcome evaluation (ตรวจสอบผลลัพธ์) Effectiveness Assessing Effectiveness and Making Refinements Implementing the Program Process evaluation (ตรวจสอบกระบวนการ) Progress Pre-production research (ทดสอบ) Appropriateness

Class overview Research as a tool for campaign evaluation Research in a communication campaign process Research categories Research approaches Research methods Research quality Research techniques

Why research? Most research attempts to answer questions: Realizing certain facts (What?) Identify cause-effects (Why?) Solving problems (How?)

Some characteristics of research Research is systematic (เป็นระบบ) Data driven (ชี้นำด้วยข้อมูล) Sound argument (โต้แย้งด้วยเหตุผล) Replicapability (ทำซ้ำได้อีก) Partial (jigsaw puzzle) (ส่วนเล็กๆ ในภาพใหญ่) Falsifiability (มีข้อบกพร่อง ที่นำไปทำให้ดีขึ้นได้)

Research as... Arguments to be proved (ข้อโต้แย้งที่ต้องพิสูจน์) A tool for evaluation (เครื่องมือสำหรับประเมินผล)

Arguments to be proved Argumentation - A social or professional context in which people argue to make decisions or build a body of knowledge. (คนโต้แย้งกันเพื่อตัดสินใจหรือสร้างองค์ความรู้) Does speech preparation reduce stage fright?

Arguments to be proved Proved by description (meanings, supported by words) or explanation (cause-effect relationship, supported by numbers) (พิสูจน์ด้วยคำพรรณนา หรือคำอธิบาย) To what extent does our target group drink drinking yoghurt? Why does our target group drink drinking yoghurt?

A tool for evaluation (เครื่องมือสำหรับประเมินผล) Overview Appropriateness Progress Effectiveness Sustainability

Research and Evaluation Desk Research Pre-production Research Process evaluation Outcome evaluation Impact evaluation

Desk Research Provide overview information Conceptualize and develop messages and materials Methodologies Literature review Semiotic analysis

Pre-production research Look for appropriateness Pre-test messages and communication materials Methodologies Focus group interview In-depth interview Experimental

Process evaluation Monitoring progress Social context change Target group reached? Social context change Media coverage Methodologies Agenda setting - Content analysis Uses and gratification - Questionnaires

Outcome evaluation Effectiveness: whether objectives are achieved Behavioral change Attitude change Opinion change Content learned

Outcome evaluation Methodologies Questionnaires Interviews Observation Discourse analysis

Impact evaluation Look for side effects and sustainability Assess long-term results on target groups Methodologies Questionnaires Interviews Observation Discourse analysis

Research categories Pure/Basic research (วิจัยบริสุทธิ์/วิจัยพื้นฐาน) Theoretical oriented (Body of knowledge) (ต่อยอดองค์ความรู้) Cognitive science, Personality Applied research (วิจัยประยุกต์) Applications in various contexts (นำไปสู่การประยุกต์ใช้) PR, Advertising, Film, News, Interpersonal communication

Research approach Action research Case studies Experiments Surveys

Research methods Qualitative methods (การวิจัยเชิงคุณภาพ) Quantitative methods (การวิจัยเชิงปริมาณ)

Qualitative methods (การวิจัยเชิงคุณภาพ) Observations in nonnumerical terms Description and interpretation (พรรณนา และตีความ) Types of Qualitative research see page 9-10

Quantitative methods (การวิจัยเชิงปริมาณ) Observations in numerical terms Explanation and prediction (คำอธิบาย และคาดการณ์) Types of Quantitative research see page 11

Research quality Sampling methods Validity Reliability

Research techniques Documents Interviews Observation Questionnaires

Communication research examples From research topics, identify the followings: Research categories (Pure or applied research) Research approaches (Action research, case studies, experiments, or surveys) Research methods (Qualitative or quantitative) Research techniques (Documents, Interviews, Observation, Questionnaires)

Communication research examples The effects of television consumption on social perceptions: The use of priming procedures to investigate psychological processes (ผลกระทบของการรับชมรายการทีวีต่อมุมมองที่มีต่อสังคม: การใช้กระบวนการเบื้องต้นเพื่อศึกษากระบวนการทางจิตวิทยา)

Communication research examples Comparative evaluation and the relationship between quality, satisfaction, and repurchase loyalty (การศึกษาเปรียบเทียบการประเมินผลและความสัมพันธ์ระหว่าง คุณภาพ ความพึงพอใจ และความจงรักภักดีที่จะซื้อสินค้าซ้ำ)

Communication research examples What do children value in entertainment program? (สิ่งที่เด็กให้ความสำคัญในรายการบันเทิงคืออะไร?)

Communication research examples Exposure to alcohol billboards and beliefs and attitudes toward drinking among Mexican American high school students (การเปิดรับสื่อป้ายโฆษณาเครื่องดื่มแอลกอฮอล์และความเชื่อและทัศนคติเกี่ยวกับการดื่มในหมู่นักเรียนชั้นมัธยมตอนปลายเชื้อสายเม็กซิกันอเมริกัน)

Communication research examples Radio politics and trust in Afghanistan: A social history of broadcasting (การเมืองและความน่าเชื่อถือในวิทยุของอัฟกานิสถาน: ประวัติศาสตร์ทางสังคมของการกระจายเสียง)

Questions: How can research improve our communication? (แล้วงานวิจัยจะช่วยปรับปรุงการสื่อสารของเราได้อย่างไร?)

Homework What does researcher (s) attempt to evaluate? นักวิจัยประเมินอะไร? What are the key messages that indicate the type of research approach? มี Key message ตรงไหนบ้าง ที่บอกว่าเขาใช้งานวิจัยแนวไหน?

Homework Identify the methodology researcher (s) used whether it is a qualitative or quantitative. What are the indicators? (จงระบุว่าระเบียบวิธีวิจัยที่บทความนั้นใช้เป็นระเบียบวิธีวิจัยเชิงปริมาณหรือเชิงคุณภาพประเภทใด? บอกได้จากอะไร?)