Přejít na obsah

Publikace

Detail publikace

Citace

Skorkovská, L. : Application of Lemmatization and Summarization Methods in Topic Identification Module for Large Scale Language Modeling Data Filtering . Text, Speech and Dialogue, Lecture Notes in Computer Science, vol. 7499, p. 191-198, Springer, Heidelberg, 2012.

PDF ke stažení

PDF

Další informace


Springerlink

Abstrakt

The paper presents experiments with the topic identification module which is a part of a complex system for acquisition and storing large volumes of text data. The topic identification module processes each acquired data item and assigns it topics from a defined topic hierarchy. The topic hierarchy is quite extensive – it contains about 450 topics and topic categories. It can easily happen that for some narrowly focused topic there is not enough data for the topic identification training. Lemmatization is shown to improve the results when dealing with sparse data in the area of information retrieval, therefore the effects of lemmatization on topic identification results is studied in the paper. On the other hand, since the system is used for processing large amounts of data, a summarization method was implemented and the effect of using only the summary of an article on the topic identification accuracy is studied.

Abstrakt v češtině

Příspěvek prezentuje pokusy s modulem identifikace tématu, který je součástí komplexního systému pro získávání a ukládání velkých objemů textových dat. Modul identifikace tématu zpracovává získaná data a přiřadí jim téma z definované hierarchie témat . Hierarchie témat je poměrně rozsáhlá - obsahuje asi 450 témat a kategorií témat. Může se snadno stát, že pro některé úzce zaměřené téma není dostatek dat pro trénování identifikace tématu. Bylo ukázáno, že lemmatizace zlepšuje výsledky při práci s řídkými daty v oblasti vyhledávání informací. Proto je v článku studován vliv lemmatizace na výsledky identifikace tématu. Na druhé straně, protože se systém používá pro zpracování velkého množství dat, byla implementována metoda sumarizace a vliv použití pouze shrnutí článku na přesnost identifikace tématu je studován.

Detail publikace

Název: Application of Lemmatization and Summarization Methods in Topic Identification Module for Large Scale Language Modeling Data Filtering
Autor: Skorkovská, L.
Název - česky: Použití lemmatizačních a summarizačních metod v modulu identifikace tématu pro filtraci rozsáhlých dat pro jazykové modelování
Jazyk publikace: anglicky
Datum vydání: 3.9.2012
Rok vydání: 2012
Typ publikace: Článek z časopisu
Název časopisu / knihy: Text, Speech and Dialogue
Svazek: Lecture Notes in Computer Science
Číslo vydání: 7499
Strana: 191 - 198
DOI: 10.1007/978-3-642-32790-2_23
ISBN: 978-3-642-32789-6
ISSN: 0302-9743
Nakladatel: Springer
Místo vydání: Heidelberg
Datum: 3.9.2012 - 7.9.2012
/ 2013-09-10 15:01:40 /

Klíčová slova

topic identification, lemmatization, summarization, language modeling

Klíčová slova v češtině

identifikace tématu, lemmatizace, summarizace, jazykové modelování

BibTeX

@ARTICLE{SkorkovskaL_2012_Applicationof,
 author = {Skorkovsk\'{a}, L.},
 title = {Application of Lemmatization and Summarization Methods in Topic Identification Module for Large Scale Language Modeling Data Filtering},
 year = {2012},
 publisher = {Springer},
 journal = {Text, Speech and Dialogue},
 address = {Heidelberg},
 volume = {7499},
 pages = {191-198},
 series = {Lecture Notes in Computer Science},
 ISBN = {978-3-642-32789-6},
 ISSN = {0302-9743},
 doi = {10.1007/978-3-642-32790-2_23},
 url = {http://www.kky.zcu.cz/en/publications/SkorkovskaL_2012_Applicationof},
}