Přejít na obsah

Publikace

Detail publikace

Citace

Švec Jan and Lehečka Jan and Ircing Pavel and Skorkovská Lucie and Pražák Aleš and Vavruška Jan and Stanislav Petr and Hoidekr Jan : General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes . Language Resources and Evaluation, p. 227-248, 2014.

Abstrakt

The paper describes a general framework for mining large amounts of text data from a defined set of Web pages. The acquired data are meant to constitute a corpus for training robust and reliable language models and thus the framework needs to also incorporate algorithms for appropriate text processing and duplicity detection in order to secure quality and consistency of the data. As we expect the resulting corpus to be very large, we have also implemented topic detection algorithms that allow us to automatically select subcorpora for domain-specific language models. The description of the framework architecture and the implemented algorithms is complemented with a detailed evaluation section. It analyses the basic properties of the gathered Czech corpus containing more than one billion text tokens collected using the described framework, shows the results of the topic detection methods and finally also describes the design and outcomes of the automatic speech recognition experiments with domain-specific language models estimated from the collected data.

Abstrakt v češtině

Článek popisuje obecný rámec pro "dolování" velkého množství textových dat z definované sady webových stránek. Získaná data jsou určena k vytvoření korpusu pro trénování robustních a spolehlivých jazykových modelů a proto tento rámec musí také obsahovat algoritmy pro vhodné zpracování textu a detekce duplicit s cílem zajistit kvalitu a konzistenci údajů. Jelikož očekáváme, že výsledné korpusy budou obrovské, jsou také implementovány algoritmy pro detekci tématu, které nám umožňují automaticky vybrat dílčí korpusy pro domény specifických jazykových modelů. Popis rámcové architektury a implementovaných algoritmů je doplněn o podrobnou experimentální část. Ta analyzuje základní vlastnosti získaných českých korpusů obsahujících více než jednu miliardu slov, ukazuje výsledky metod detekce tématu a konečně také popisuje návrh a výsledky automatických pokusů rozpoznávání řeči s konkrétními jazykovými modely natrénovanými ze shromážděných dat.

Detail publikace

Název: General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes
Autor: Švec Jan ; Lehečka Jan ; Ircing Pavel ; Skorkovská Lucie ; Pražák Aleš ; Vavruška Jan ; Stanislav Petr ; Hoidekr Jan
Název - česky: Obecný rámec pro dolování, zpracování a ukládání velkého množství elektronického textu pro účely jazykového modelování
Jazyk publikace: anglicky
Rok vydání: 2014
Typ publikace: Článek z časopisu
Název časopisu / knihy: Language Resources and Evaluation
Strana: 227 - 248
DOI: 10.1007/s10579-013-9246-z
ISSN: 1574-020X
/ 2014-11-13 11:53:41 /

Klíčová slova

text data mining, language modeling, topic identification, duplicity detection

Klíčová slova v češtině

dolování textových dat, jazykové modelování, detekce tématu, detekce duplicit

BibTeX

@ARTICLE{SvecJan_2014_Generalframeworkfor,
 author = {\v{S}vec Jan and Lehe\v{c}ka Jan and Ircing Pavel and Skorkovsk\'{a} Lucie and Pra\v{z}\'{a}k Ale\v{s} and Vavru\v{s}ka Jan and Stanislav Petr and Hoidekr Jan},
 title = {General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes},
 year = {2014},
 journal = {Language Resources and Evaluation},
 pages = {227-248},
 ISSN = {1574-020X},
 doi = {10.1007/s10579-013-9246-z},
 url = {http://www.kky.zcu.cz/en/publications/SvecJan_2014_Generalframeworkfor},
}