Přejít na obsah

Publikace

Detail publikace

Citace

Soutner, D. and Müller, L. : Application of LSTM Neural Networks in Language Modelling . Lecture Notes in Computer Science, p. 105-112, 2013.

PDF ke stažení

PDF

Abstrakt

Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN) can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline.

Abstrakt v češtině

Umělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání.

Detail publikace

Název: Application of LSTM Neural Networks in Language Modelling
Autor: Soutner, D. ; Müller, L.
Název - česky: Aplikace LSTM neuronových sítí v jazykovém modelování
Jazyk publikace: anglicky
Datum vydání: 1.9.2013
Rok vydání: 2013
Typ publikace: Stať ve sborníku
Svazek: Lecture Notes in Computer Science
Strana: 105 - 112
DOI: 10.1007/978-3-642-40585-3_14
/ 2016-06-22 10:58:09 /

Klíčová slova

language modelling, recurrent neural networks, LSTM neural networks

BibTeX

@ARTICLE{SoutnerD_2013_ApplicationofLSTM,
 author = {Soutner, D. and M\"{u}ller, L.},
 title = {Application of LSTM Neural Networks in Language Modelling},
 year = {2013},
 pages = {105-112},
 series = {Lecture Notes in Computer Science},
 doi = {10.1007/978-3-642-40585-3_14},
 url = {http://www.kky.zcu.cz/en/publications/SoutnerD_2013_ApplicationofLSTM},
}