Přejít na obsah

Publikace

Detail publikace

Citace

Karpov Alexey and Ronzhin Andrey and Markov Konstantin and Železný Miloš : Viseme-Dependent Weight Optimization for CHMM-Based Audio-Visual Speech Recognition . Interspeech 2010, vol. 2010, p. 2678-2681, Curran Associates, Makuhari, Chiba, Japan, 2010.

Abstrakt

The aim of the present study is to investigate some key challenges of the audio-visual speech recognition technology, such as asynchrony modeling of multimodal speech, estimation of auditory and visual speech significance, as well as stream weight optimization. Our research shows that the usage of viseme-dependent stream weights improves the performance of state asynchronous CHMM-based speech recognizer. In addition, for a state synchronous MSHMM-based recognizer, fewer errors can be achieved using stationary time delays of visual data with respect to the corresponding audio signal. Evaluation experiments showed that individual audio-visual stream weights for each viseme-phoneme pair lead to relative reduction of WER by 20%.

Abstrakt v češtině

Cílem této studie je prozkoumat uurčité klíčové problémy technologie audiovizuálního rozpoznávání řeči, jako je modelování asynchronie multimodální řeči, odhad výzhnamnosti akustické a vizuální složky, stejně jako optimizace vah datových proudů. Náš výzkum ukazuje, že použití vizémově závislých vah proudů zlepšuje úspěšnost klasifikátorů řeči založených na stavově asynchronních CHMM. Navíc, pro klasifikátor založený na zastavově synchronních MSHMM snížení chybovosti je dosaženo použitím statického časového posunu vizuální oproti skustické složce. Experimenty ukazují, že individuální nastavení vah akustického vs. vizuálního proudu vede ke snížení chybovosti na slovní úrovni o 20%.

Detail publikace

Název: Viseme-Dependent Weight Optimization for CHMM-Based Audio-Visual Speech Recognition
Autor: Karpov Alexey ; Ronzhin Andrey ; Markov Konstantin ; Železný Miloš
Název - česky: Vizémově závislá optimizace vah pro audiovizuální rozpoznávání řeči založené na CHMM
Jazyk publikace: anglicky
Rok vydání: 2010
Typ publikace: Stať ve sborníku
Název časopisu / knihy: Interspeech 2010
Číslo vydání: 2010
Strana: 2678 - 2681
ISBN: 978-1-61782-123-3
Nakladatel: Curran Associates
Místo vydání: Makuhari, Chiba, Japan
Datum: 30.9.2010
2011-03-15 16:21:56 / 2011-03-15 16:21:56 / 1

Klíčová slova

multimodal speech, audio-visual processing, phoneme, viseme, Hidden Markov Models, asynchrony, significance weights

Klíčová slova v češtině

multimodální řeč, audiovizuální zpracování, foném, vizém, skrytý Markovův model, asynchronie, váhy významnosti

BibTeX

@INPROCEEDINGS{KarpovAlexey_2010_Viseme-Dependent,
 author = {Karpov Alexey and Ronzhin Andrey and Markov Konstantin and \v{Z}elezn\'{y} Milo\v{s}},
 title = {Viseme-Dependent Weight Optimization for CHMM-Based Audio-Visual Speech Recognition},
 year = {2010},
 publisher = {Curran Associates},
 journal = {Interspeech 2010},
 address = {Makuhari, Chiba, Japan},
 volume = {2010},
 pages = {2678-2681},
 ISBN = {978-1-61782-123-3},
 url = {http://www.kky.zcu.cz/en/publications/KarpovAlexey_2010_Viseme-Dependent},
}