Přejít na obsah

Publikace

Detail publikace

Citace

Císař, P. and Železný, M. and Zelinka, J. and Trojanová, J. : Development and Testing of New Combined Visual Speech Parameterization . Proceedings of the workshop on Audio-visual speech processing, p. 97-100, 2007.

Abstrakt

Audio-visual speech recognition is used to make speech recognition more robust in case when the acoustic speech signal is affected by increased environmental noise. Since visual speech expression is not affected by the acoustic noise, it is used as supplemental information for the recognition. Usually, the shape of lips of a speaker is described by either pixel-based or shape-based features. After experiments with various parameterizations we decided to use expert knowledge about human lip-reading for development of a new parameterization. Based on this information we designed a combined parameterization for description of visual speech part. The designed parameterization combines both basic approaches and uses shape-based description for outer lip contour and pixel-based description for description of inner part of a mouth. Results obtained in experiments with this parameterization showed that it outperforms the traditionally used parameterizations.

Abstrakt v češtině

Audiovizuální rozpoznávání řeči je používáno pro zvýšení robustnosti rozpoznávání řeči v případě, kdy je akustický řečový signál zatížen zvýšeným šumem prostředí. Protože vizuální složka řeči není zatížena akustickým šumem, je použita jako dodatečná informace pro rozpoznávání. Obvykle je tvar rtů řečníka popsán buď obrazově založenými nebo tvarově založenými metodami. Po experimentech s různými parametrizacei jsme se rozhodli použít znalosti o odezírání ze rtů lidí pro vývoj nové parametrizace. Na základě této informace jsme vyvinuli kombinovanou parametrizaci pro popis vizuální složky řeči. Navržená parametrizace kombinuje oba základní přístupy a používá tvarově tzaloženou parametrizaci pro popis vnější kontury rtů a obrazově založenou parametrizaci pro popis vnitřku úst. Výsledky získané v experimentech s touto parametrizací ukázaly, že tato parametrizace dosahuje lepších výsledků než tradičně používané parametrizace.

Detail publikace

Název: Development and Testing of New Combined Visual Speech Parameterization
Autor: Císař, P. ; Železný, M. ; Zelinka, J. ; Trojanová, J.
Název - česky: Vývoj a testování nové kombinované vizuální parametrizace řeči
Jazyk publikace: anglicky
Datum vydání: 1.1.2007
Rok vydání: 2007
Typ publikace: Článek z časopisu
Název časopisu / knihy: Proceedings of the workshop on Audio-visual speech processing
Strana: 97 - 100
/ /

Klíčová slova

audio-visual speech recognition, lip-reading, multimodal speech processing, visual speech parameterization

Klíčová slova v češtině

audiovizuální rozpoznávání řeči, odezírání ze rtů, multimodální zpracování řeči, vizuální řečová parametrizace

BibTeX

@ARTICLE{CisarP_2007_Developmentand,
 author = {C\'{i}sa\v{r}, P. and \v{Z}elezn\'{y}, M. and Zelinka, J. and Trojanov\'{a}, J.},
 title = {Development and Testing of New Combined Visual Speech Parameterization},
 year = {2007},
 journal = {Proceedings of the workshop on Audio-visual speech processing},
 pages = {97-100},
 url = {http://www.kky.zcu.cz/en/publications/CisarP_2007_Developmentand},
}