Přejít na obsah

Publikace

Detail publikace

Citace

Tihelka Daniel and Martin Grůber and Zdeněk Hanzlíček : Robust methodology for TTS enhancement evaluation . Text, Speech, and Dialogue, Lecture Notes in Computer Science, vol. 8082, p. 442-449, Springer Berlin Heidelberg, 2013.

PDF ke stažení

PDF

Abstrakt

The paper points to problematic and usually neglected aspects of using listening tests for TTS evaluation. It shows that simple random selection of phrases to be listened to may not cover those cases which are relevant to the evaluated TTS system. Also, it shows that a reliable phrase set cannot be chosen without a deeper knowledge of the distribution of differences in synthetic speech, which are obtained by comparing the output generated by an evaluated TTS system to what stands as a baseline system. Having such knowledge, the method able to evaluate the reliability of listening tests, as related to the estimation of possible invalidity of listening results-derived conclusion, is proposed here and demonstrated on real examples.

Abstrakt v češtině

Článek ukazuje na problematické a obvykle zanedbávané aspekty evaluace TTS systémů poslechovými testy. Je ukázáno, že obyčejný náhodný výběr frází k poslechu nemusí pokrýt případy, které jsou relevantní vzhledem k hodnocenému systému TTS. Je také ukázáno, že bez hlubší znalosti distribuce rozdílů v syntetické řeči, získaných porovnáním výstupů základního a hodnoceného systému, nelze vybrat spolehlivou množina frází k evaluaci. Předkládáme tedy, a na skutečných případech ukazujeme metodu, která v případě, že známe distribuci rozdílů, je schopna vyčíslit míru spolehlivosti poslechového testu stejně jako odhadnou pravděpodobnost neplatnosti závěrů získaných z výsledků poslechového testu

Detail publikace

Název: Robust methodology for TTS enhancement evaluation
Autor: Tihelka Daniel ; Martin Grůber ; Zdeněk Hanzlíček
Název - česky: Robustní metodologie hodnocení vylepšení systému TTS
Jazyk publikace: česky
Rok vydání: 2013
Typ publikace: Stať ve sborníku
Název knihy: Text, Speech, and Dialogue
Svazek: Lecture Notes in Computer Science
Číslo vydání: 8082
Strana: 442 - 449
DOI: 10.1007/978-3-642-40585-3_56
ISBN: 978-3-642-40584-6
ISSN: 0302-9743
Nakladatel: Springer Berlin Heidelberg
Datum: 1.9.2013 - 5.9.2013
/ 2015-09-25 12:06:37 /

Klíčová slova

speech synthesis, TTS evaluation, listening tests, statistical reliability

Klíčová slova v češtině

syntéza řeči z textu, hodnocení systému TTS, poslechové testy, statistická významnost

BibTeX

@INPROCEEDINGS{TihelkaDaniel_2013_Robustmethodology,
 author = {Tihelka Daniel and Martin Gr\r{u}ber and Zden\v{e}k Hanzl\'{i}\v{c}ek},
 title = {Robust methodology for TTS enhancement evaluation},
 year = {2013},
 publisher = {Springer Berlin Heidelberg},
 volume = {8082},
 pages = {442-449},
 booktitle = {Text, Speech, and Dialogue},
 series = {Lecture Notes in Computer Science},
 ISBN = {978-3-642-40584-6},
 ISSN = {0302-9743},
 doi = {10.1007/978-3-642-40585-3_56},
 url = {http://www.kky.zcu.cz/en/publications/TihelkaDaniel_2013_Robustmethodology},
}