1 Margherita Sini Asanee Kawtrakul APAN 2006 –Singapore 20 July 2006 Key step to Ontology and Cross language KM: AOS/CS workbench

2 Outline Background and Motivation Design Framework Current Status Next Step

3 Background: Two Requests  Agricultural Information Service Facts: Valuable Information sources are scattered, Language barriers, Digital divide Need: Information Integration  Knowledge Portal  Organizational Knowledge Management Facts:Information Overload, especially, unstructured electronic articles and reports, Need: Explicit Knowledge Collection and Sharing. Demand Driven Researches on Ontology Construction and Maintenance Applications in Knowledge Portal

4 Language Engineering and Resources Name Entities Recognition, Parser, Frame, Thesuarus, Lexicon, Grammar, Tree bank Corpus Analysis and software Tools Corpus Analysis, Word cut, Sentence Segmentation, EDU Segmentation, Knowledge and Ontology Engineering Knowledge Summarization and Tracking: Know who, Know what,,Know why Information Extraction Knowledge Extraction Ontology Maintenance Knowledge Portal and Management

5 Extraction By using resources From Knowledge Acquisition Information Extraction Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค

6 Language Engineering ไข้หวัดนกระบาด ไก่ อยุธยา มี เด็กตาย ผู้ป่วย คน ป่วย โรค

7 Template Connection Situation Event Location Time Sit_Management Situation Action Dispersion ระบาด ป่วยตาย ระบาด (Disease, Patient, Location) ป่วย (Patient, Disease) ตาย (Patient, Cause) Announcement Control Prevention … … …

8 Information Extraction Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค Avian Influenza (dispersion) Situation Time: 9 ตุลาคม 2547 Location: อยุธยา Event: ไก่ล้มตายเป็นจำนวน มาก Reaction: ประกาศเขต ควบคุมโรค

9 Warning needs Specific task-oriented Ontology Plant : ข้าว Problem : ขาดแคลนน้ำ Period: กุมภาพันธ์ Suggestion : งดทำนาปรังครั้งที่ 2 ปลูกพืชไร่ที่ใช้น้ำน้อย และพืชผักที่มีอายุสั้น

10 Knowledge Portal /Information Integration with Discourse Producer Intention Planting Method วิธีให้น้ำวิธีให้ปุ๋ย ข้อจำกัดของพืช สภาพแวดล้อมที่ เหมาะสม Season การเตรียมดิน การเตรียม เมล็ดพันธุ์ Disease Harvesting วิทยาการหลังการ เก็บเกี่ยว production วิธีกา รปลูก Pest พันธุ์ price Seed providers Plant Variety suggestion มันสำปะหลัง ถั่วเหลือง ถั่วเขียว ถั่วดำ ถั่วแดง ถั่วพุ่ม ถั่วฮามาต้า ข้าวโพดหวาน ข้าวโพดเลี้ยงสัตว์ ข้าวโพดฝักอ่อน ทานตะวัน ผักกาดขาว กะหล่ำดอก ผักคะน้า ผักกาดหัว Ontology Object list

11 Agricultural news Product processing Agricultural technology/research Watering/ Fertilizing Material supplier/ price Cultural practice Weed - name - characteristic - weed destroy Weed - name - characteristic - weed destroy Disease - characteristic/ symptom - treatment Disease - characteristic/ symptom - treatment Weather forecast/ warning Harvesting Product price Rice variety - characteristic - irresistible pest/disease - resistible pest/disease - area condition - environment resistant - growing season - watering, fertilizing - harvest time - average product Rice variety - characteristic - irresistible pest/disease - resistible pest/disease - area condition - environment resistant - growing season - watering, fertilizing - harvest time - average product Rice market/ Distributor Pest - name - characteristic - pest control Pest - name - characteristic - pest control Ric e

12 Intelligent Search Engine Knowledge Portal Processing WWW Unstructured, Semi-structured, Structured Document Meta Data Annotation tools Knowledge Structure Document warehouse External Information Domain Ontologies Ontology Task Oriented Ontologies Multilingual Dictionary MTKT System Architecture Rice Disease Rice variety Agricultural technology/ research Pest Weather forecast/ warning

13 Language Engineering Parser, Chunker Syntax Semantic interpretation Semantic edu analysis, Anahora- resolution Discourse word cut NE Recognition Morphology Semantic Analysis Pragmatic

14 Language Engineering and Resources Name Entities Recognition, Parser, Frame, Thesurus, Lexicon, Grammar, Tree bank Corpus Analysis and software Tools Corpus Analysis, Word cut, Sentence Segmentation, EDU Segmentation, Knowledge and Ontology Engineering Knowledge Summarization and Tracking: Know who, Know what,,Know why Information Extraction Knowledge Extraction Ontology Maintenance Knowledge Portal and Management

15 Motivation: Ontology as Knowledge of the world for Mutual Information Exchange + + To create an ontology by an expert is an expensive task, and its maintenance is an endless task, especially for new terms. To utilize the existing resources: Dictionaries, Thesuarus, Encyclopedia, ++

16 Design Framework

17 How we start What we want  Unified and Universal Model  user requirements: multipurposes Ex. Bird flue Information Extraction, Knowledge Management about Thai Rice, Health Application, Tourism Application as Supply chain What we have  Time and Cost Reduction  Multiple resources: reuse ++ What we do  Tools and Workbench with LE and KE  The Agriculture Ontology Service Initiative

18 Plant Tree Shrub Climber annual has_Common_Name has_Scientific_Name Cananga odorata Coccinia grandis Grape part-of leaf stem hold hand Ontological Semantic … … … concept property instance Properties Relationship Object Relationship

19 Crop husbandry Soil cultivation Irrigation Fertilizing Post harvest Ontological Semantic Processing with ordering (1) (2) (3)(4)

20 Problem Solving Root Cause Extraction Prevention Correction Best Practice Ontological Semantic Intention of Goals & Planning

21 Problems

22 Problems in Dictionaries : coverage, inconsistency etc. Plant name9563 Tour place3067 Movie star460 Singer796 Political party member315 Country name1212 Food name8959 Road name306 Animal name2141 Government agency452 Hospital name65 Company name3261 River name60 Province76 Thai Temple191 District767 Major person name688 First name8906 Last name24351 National park name214 Business793 Computer9297 Electrical5156 Agriculture727 Energy1368 Musical instrument329 Broadcasting324 Mathematics217 Real estate124 Furniture187 Clothing236 Common word27815 Total

23 Lexicon Growth Text size Words appeared in Dictionaries (with out repeat) Words not appeared in Dictionaries (with out repeat)  100,  200,  300,  400,  500,  600,  700,  800,

24

25 What we are doing and Some Results

26 Ontology Construction 3 Sources  Raw Text: Technical paper, Published document  Dictionary  Thesaurus Raw TextDictionaryThesaurus StructuredNoYes Terms Relation Organization NoYes Expert ValidationNoYes Up-to-date DataYesNo Amount of DataLargeSmall

27 Ontology Learning System: Lexico-Syntactic Patterns Structured CorpusUnstructured Corpus Raw Text Dictionary Morphological Analysis Term Extraction Structure Analysis Relation Analysis Organizing System Verification System Identification of Semantic Relation OCR Heuristic Rules Correction of Concepts & Relations Grammatical Rules Features of the Dictionary Ontology Thesaurus Define Explicit Rules Semantic Relationship Recycling & Refinement Learning Annotatation WordNetRules WordNet AGROVOC Thesaurus CerealsBTPlant Product NTOats Rice Maize RT Cereal crops Plant Product Cereals Oats Maize Rice IS-A Cereal crops Production_of Thai Plant Name Dictionary Chirita GESNERIACEAE fulva Barnett H ดาดหอย Dathoi (Nakhon Si Thammarat). involucrata Craib H น้ำดับไฟ Nam dap fai (Surat Thani); มะและ Malae (Pattani). micromusa B. L. Burtt H คำหยาด Kham yat (Nakhon Ratchasima). Chisocheton MELIACEAE ceramicus (Miq.) CDC. T ยมใหญ่ Yomyai (General). cumingianus (CDC.) Harms subsp. balansar (C.DC.) Mabb.T ยม มะกอก Yom makok (Chiang Mai). Family/Subfamily Genus Specific epithet Local Name Habit Formal Name Author Name GESNERIACEAE Chirita fulva ดาดหอย Is-A Synonym ฟักทอง ฟักทอง เป็นพืชผักที่จัดอยู่ในกลุ่มพืชตระกูลแตง ซึ่ง ได้แก่ ฟักทอง แตงกวา แตงร้าน ฟักแฟง มะระ บวบ แตงโม แคนตาลูป ฯลฯ เป็นพืชผักที่มีราคาถูก มี วิตามินเอสูง ช่วยบำรุงผิวพรรณและถนอมสายตา นำมาทำอาหารได้หลายชนิด เช่น แกงเลียง แกงส้ม เป็นต้น หรือ นำมาทำเป็นอาหารแปรรูป เช่น ข้าว เกรียบฟักทอง Raw Text Example แกง เลียง ฟัก แฟง พืช ผัก แตง กวา IS- A ฟักท อง ข้าวเกรียบ ฟักทอง อาห าร อาหาร แปรรูป พืช ตระกูล แตง Made- of

28 Organizing System Use the thesaurus Ontology as the core tree Merge forest ontology extracted from the dictionary and the texts to the core ontology by using NLP techniques  Phrasal Analysis Plant Crops Oil Crops Oil Palms Plant Crops Oil Crops Oil Palms + Plant Products Fruit Watermelons Fruit Tamarind Plant Products Fruit Watermelons Tamarind +  Term Matching

29 Organizing System Plant Products Fruit Watermelons a) Add Fruit Tamarind Plant Products Fruit Watermelons Tamarind + Crops Oil Crops Oil Palms Crops Oil Palms + b) Delete Fruit Durian Tropical Fruit Durian + c) Insert Fruit Tropical Fruit Durian Crops Oil Crops Oil Palms Operation

30 More problems

31 Corpus based Ontology Construction: Need Language Engineering Problems in this process:  Many Candidate Terms Ex1. Many herbs can be used as medicine and some of them are manufactured in the industry level, such as garlic, ginkgo biloba. Candidate Terms => herbs, medicine, industry NP1... NP2... NP3... such as NP, NP,... Ex2. Sun flower is rather enduring with dry season while comparing to other field crops such as corn, soy bean and green bean. Candidate Terms => Sun flower, field crop NP1... NP2... NP3... such as NP, NP,...

32 Agricultural NE recognition Plant name dictionary  Gather from “ ชื่อพรรณไม้แห่งประเทศไทย ” by “ เต็ม สมิตินันท์ ” and name that usually occur in corpus.  Size : names Animal name dictionary  Gather from internet and name that usually occur in corpus  3374 names Pathogen name dictionary  Gather from name that usually occur in corpus  8 names Disease name dictionary  Gather from internet and name that usually occur in corpus  237 names Chemical name dictionary  Gather from internet and name that usually occur in corpus  224 names

33 System Overview Examples Rules Define Explicit Rules Using Training statistics-based Rules Verification Learning WordNet Alignment Noun Phrase Analysis AGROVOC Annotation NP Rules Detection and Suggestion Module Rules Acquisition Module Verification Module Using Expert-Defined Rules Rules WordNet

34 Next Step

35 Benefits

36 Intelligent Search Engine: K - Services Know-who (tracking for help) Know-what (structural knowledge, patterns) Know-why (deeper knowing) Know-how (skill, procedure) Know-when (timing) Know – where (place, context and tracking) Adapted from Skyrme, D. (1999) Knowledge networking: creating the collaborative enterprise. Butterworth- Heinemann, Oxford, p. 46.

37 User Interface Ranked result List of all Input properties Symbolic Property Numeric Property Green stink bug 50% Corn arphids 50% Hexagon spider 50% Long-legged spider 5%

38 Question & Answer User’s question: What causes the rice leaf to be yellow and dry? Keyword: Yellow and dry leaf Answer: If Brown Leap Hopper damage rice field, the leaf will be yellow and dry.

39 Acknowledgement NECTEC, KURDI FAO