Identifying reduplicative words for Vietnamese word segmentation

Title: Identifying reduplicative words for Vietnamese word segmentation
Authors: Tran, Ngoc Anh
Dao, Thanh Tinh
Nguyen, Phuong-Thai
Nguyen, Hong Quan
Keywords: Vietnamese word segmentation;reduplicative word;reduplicative rules;Word formations;
Computational linguistics;Computer programming
Issue Date: 2015
Publisher: Institute of Electrical and Electronics Engineers Inc.
Citation: Scopus
URI: http://ieeexplore.ieee.org/document/7049878/
http://repository.vnu.edu.vn/handle/VNU_123/34125
This paper proposes a method based on linguistic word-formation rules and dictionaries for determining reduplicative words in Vietnamese. The key idea for identifying whether adjacent syllables in a text can form a reduplicative word based on its formation rules. For 2-syllable reduplicative words, this paper uses rules that describe the repeating and the opposing between pairs of initial consonants, rhymes and tones. Then the method is expanded to identify reduplicative words that have 3 or 4 syllables from 2-syllable ones for the Vietnamese word segmentation task. Experimental results showed that the F1-score was improved to 98.61% and that word segmentation errors were reduced significantly, 1.26%

Nhận xét

Đăng nhận xét

Bài đăng phổ biến từ blog này

The relationship between student motivation and learning achievements from a sociocultural perspective: A case study of the Police University = mối quan hệ giữa động cơ và kết quả học tập của sinh viên dựa trên quan điểm lý thuyết văn hóa xã hội qua kết

Title:  The relationship between student motivation and learning achievements from a sociocultural perspective: A case study of the Police University = mối quan hệ giữa động cơ và kết quả học tập của sinh viên dựa trên quan điểm lý thuyết văn hóa xã hội qua kết  Authors:  Vũ Thị Phương Anh, supervisor Lê Hùng Tiến, supervisor Lê, Hương Hoa Issue Date:  2015 Publisher:  University of Languages and International Studies Abstract:  155 tr. + CD-ROM+ Tóm tắt Doctor thesis. English teaching methodology -- University of languages and international studies. Vietnam National University, Hanoi, 2015 URI:  http://repository.vnu.edu.vn/handle/VNU_123/39812 Appears in Collections: ULIS - Dissertations
Đọc thêm

Thuật toán khai phá mẫu dãy thường xuyên trọng số chuẩn hóa với khoảng cách thời gian

In this paper, we propose a method for mining normalized weighted frequent sequential patterns with time intervals, we are not only interested in the number of occurrences of the sequence (the support), but also concerned about their levels of importance (weighted). We use the binding between the support and weight of the set range to candidates in mining normalized weighted frequent sequential patterns with time intervals while maintaining the downward closure property nature which allows a balance between support and the weight of a sequence... Title:  Thuật toán khai phá mẫu dãy thường xuyên trọng số chuẩn hóa với khoảng cách thời gian Other Titles:  Mining normalized weighted frequent sequential patterns with Time intervals algorithm Authors:  Trần Huy Dương, Vũ Đức Thi Keywords:  Data mining, frequent sequential patterns, time intervals, weighted, sequential patterns. Issue Date:  2015-12 Publisher:  ĐHQGHN URI:  http://repository.vnu.ed...
Đọc thêm

Nghiên cứu các tập rút gọn trong bảng quyết đinh

Title:  Nghiên cứu các tập rút gọn trong bảng quyết đinh : Luận văn ThS. Công nghệ thông tin: 60 48 05 Authors:  Vũ, Đức Thi , người hướng dẫn Lê, Thị Hân, 1982- Keywords:  Hệ thống thông tin;Tập rút gọn;Thuật toán;Bảng quyết định Issue Date:  2013 Publisher:  ĐHCN Abstract:  Luận văn ThS. Hệ thống thông tin -- Trường Đại học Công nghệ. Đại học Quốc gia Hà Nội, 2013 Electronic Resources URI:  http://repository.vnu.edu.vn/handle/VNU_123/43532 Appears in Collections: UET - Master Theses
Đọc thêm