Přejít na obsah

Publikace

Detail publikace

Citace

Krňoul, Z. and Císař, P. and Železný, M. and Holas, J. : Viseme analysis for speech-driven facial animation for Czech audio-visual speech synthesis . SPECOM 2005 proceedings, p. 227-230, Moscow State Linguistic University, Moscow , 2005.

Abstrakt

In this paper we present recent advances in the audio-visual speech synthesis for the Czech language. Based on our previous work, we decided to apply the audio-visual speech synthesis also in the mode when the input is not a textual information but a speech signal. At the same time, we decided to carry out more thorough viseme analysis. For both of these purposes, we collected a new audiovisual speech corpus. To be able to parameterize the lip shape with higher precision, we decided to use reflexive markers for interest points and infrared illumination. This approach made the visual data segmentation and the detection of interest points much more robust and thus more precise. Based on this corpus, we performed the viseme analysis for the Czech language and modified the existing facial animation application. Also, we solved the case, when the input for audio-visual speech synthesis is a speech signal and not a text.

Abstrakt v češtině

Tento článek prezentuje nedávné kroky učiněné ve vývoji audio-vizuální syntézy češtiny. Rozhodli jsme se rozšířit naší audio-vizuální syntézu o nový mód zpracování. Vedle stávajícího vstupu, jímž je textová informace, navrhujeme syntézu přímo z řečového signálu. Současně s tímto prezentujeme důkladnou analýzu vizémů. Pro oba případy jsme vytvořili nový audio-vizuální korpus s více preciznějším popisem tvaru rtů pomocí výrazových bodů. Pro tento účel využíváme reflexní materiál a osvětlení infračerveným zdrojem světla. Dále je popsán robustní a precizní postup zpracování obrazových dat korpusu a 3D rekonstrukce tvaru rtů v čase. Analýza vizémů pro český jazyk je provedena na těmito daty a přizpůsobení stávající animačního procesu.

Detail publikace

Název: Viseme analysis for speech-driven facial animation for Czech audio-visual speech synthesis
Autor: Krňoul, Z. ; Císař, P. ; Železný, M. ; Holas, J.
Název - česky: Analýza vizémů pro řečí řízenou animaci tváře pro audio-vizuální syntézu češtiny
Jazyk publikace: anglicky
Datum vydání: 17.10.2005
Rok vydání: 2005
Typ publikace: Stať ve sborníku
Název časopisu / knihy: SPECOM 2005 proceedings
Strana: 227 - 230
ISBN: 5-7452-0110-X
Nakladatel: Moscow State Linguistic University
Místo vydání: Moscow
Datum: 17.10.2005 - 19.10.2005
/ 2008-06-06 13:44:22 /

Klíčová slova

audio-visual speech synthesis, viseme, artificial neural network, face animation

Klíčová slova v češtině

audio-vizuální syntéza, vizémy, umělá neuronová síť, animace tváře

BibTeX

@INPROCEEDINGS{KrnoulZ_2005_Visemeanalysisfor,
 author = {Kr\v{n}oul, Z. and C\'{i}sa\v{r}, P. and \v{Z}elezn\'{y}, M. and Holas, J.},
 title = {Viseme analysis for speech-driven facial animation for Czech audio-visual speech synthesis},
 year = {2005},
 publisher = {Moscow State Linguistic University},
 journal = {SPECOM 2005 proceedings},
 address = {Moscow },
 pages = {227-230},
 ISBN = {5-7452-0110-X},
 url = {http://www.kky.zcu.cz/en/publications/KrnoulZ_2005_Visemeanalysisfor},
}