Přejít na obsah

Publikace

Detail publikace

Citace

Železný, M. and Krňoul, Z. and Císař, P. and Matoušek, J. : Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis . Signal Processing, 86, vol. 12, p. 3657-3673, 2006.

Další informace


download pdf

Abstrakt

This paper presents the whole process of design, implementation and evaluation of the audio-visual speech synthesis system. Such system consists of the acoustic synthesis emulating human speech and the facial animation emulating the human lip articulation. The acoustic speech synthesis is based on concatenation of speech units. The visual subsystem is designed as a realistic, fully three-dimensional parametrically controllable facial animation model. The design, acquisition and processing of audio-visual speech corpus for such purpose is presented. Also, solution to the problem of mapping visual parameters from speech signal either directly or through recognized text is presented. Furthermore, the 3D scanning algorithm is presented. In the end of this paper, evaluation of intelligibility of the presented audio-visual speech synthesis and its possible applications are presented.

Abstrakt v češtině

Článek prezentuje celý proces návrhu, implementace a vyhodnocení systému audiovizuální syntézy řeči. Takový systém sestává z akustické syntézy emulující lidskou řeč a animace tváře emulující lidskou artikulaci rtů. Akustická syntéza řeči je založena na řetězení řečových jednotek. Vizuální subsystém je navržen jako realistická, plně trojdimenzionální parametricky ovládatelný model animace tváře. Návrh, získávání a zpracování audiovizuální řečové databáze pro tyto účely je prezentováno. Také je prezentováno řešení problému mapování vizuálních parametrů přímo z řečového signálu nebo z rozpoznaného textu. Dále je prezentován systém trojrozměrného scanování. V závěru článku je uvedeno vyhodnocení srozumitelnosti představeného systému audiovizuální syntézy češtiny a jeho možné aplikace.

Detail publikace

Název: Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis
Autor: Železný, M. ; Krňoul, Z. ; Císař, P. ; Matoušek, J.
Název - česky: Návrh, implementace a vyhodnocení české realistické audiovizuální syntézy řeči
Jazyk publikace: anglicky
Datum vydání: 1.12.2006
Rok vydání: 2006
Typ publikace: Článek z časopisu
Název časopisu / knihy: Signal Processing
Svazek: 86
Číslo vydání: 12
Strana: 3657 - 3673
ISSN: 0165-1684
/ 2013-03-21 09:05:15 /

Klíčová slova

Audio-visual speech processing, Talking-head, Facial animation

Klíčová slova v češtině

Audiovizuální zpracování řeči, Mluvící hlava, Animace tváře

BibTeX

@ARTICLE{ZeleznyM_2006_Design,
 author = {\v{Z}elezn\'{y}, M. and Kr\v{n}oul, Z. and C\'{i}sa\v{r}, P. and Matou\v{s}ek, J.},
 title = {Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis},
 year = {2006},
 journal = {Signal Processing},
 volume = {12},
 pages = {3657-3673},
 series = {86},
 ISSN = {0165-1684},
 url = {http://www.kky.zcu.cz/en/publications/ZeleznyM_2006_Design},
}