Přejít na obsah

Publikace

Detail publikace

Citace

Hrúz M. and Campr P. and Karpov A. and Santemiz P. and Aran O. and Železný M. : Input and output modalities used in a sign-language-enabled information kiosk . proceedings of SPECOM'2009, p. 113-116, SPIIRAS, 2009.

Abstrakt

This paper presents description and evaluation of input and output modalities used in a sign-language-enabled information kiosk. The kiosk was developed for experiments on interaction between computers and deaf users. The input modalities used are automatic computer-vision-based sign language recognition, automatic speech recognition (ASR) and a touchscreen. The output modalities are presented on a screen displaying 3D signing avatar, and on a touchscreen showing special graphical user interface for the Deaf. The kiosk was tested on a dialogue providing information about train connections, but the scenario can be easily changed to e.g. SL tutoring tool, SL dictionary or SL game. This scenario expects that both deaf and hearing people can use the kiosk. This is why both automatic speech recognition and automatic sign language recognition are used as input modalities, and signing avatar and written text as output modalities (in several languages). The human-computer interaction is controlled by a computer-driven dialogue system.

Abstrakt v češtině

Článek prezentuje popis a vyhodnocení vstupních a výstupních modalit použitých v informačním kiosku založeném na znakové řeči. Kiosek byl vyvinut pro experimenty v oblasti komunikace neslyšících uživatelů s počítačem. Vstupní modality jsou automatické rozpoznávání znakové řeči využívající metody počítačového vidění, automatické rozpoznávání řeči a dotyková obrazovka. Výstupní modality jsou prezentovány na obrazovce zobrazující 3D znakujícího avatara a na dotykové obrazovce zobrazující speciální grafické rozhraní pro neslyšící uživatele. Kiosek byl testován na dialogu poskytujícím informaci o vlakových spojeních, ale scénář může být snadno změněn například na výukový nástroj, slovník, nebo hru ve znakové řeči. Scénář uvažuje jak slyšící tak neslyšící uživatele. Proto byly jako vstupní modality použity jak rozpoznávání mluvené řeči, tak i rozpoznávání znakové řeči, a jako výstupní modality znakující avatar a textový výstup. Systém je schopný pracovat v různých jazycích. Interakce uživatele s počítačem je řízena počítačovým dialogovým systémem.

Detail publikace

Název: Input and output modalities used in a sign-language-enabled information kiosk
Autor: Hrúz M. ; Campr P. ; Karpov A. ; Santemiz P. ; Aran O. ; Železný M.
Název - česky: Vstupní a výstupní modality použité v informačním kiosku založeném na znakové řeči
Jazyk publikace: anglicky
Rok vydání: 2009
Typ publikace: Stať ve sborníku
Název časopisu / knihy: proceedings of SPECOM'2009
Strana: 113 - 116
ISBN: 978-5-8088-0442-5
Editor: SPIIRAS
/ 2012-06-21 13:56:15 /

Klíčová slova

information kiosk, sign language, multimodal human-computer interfaces

BibTeX

@INPROCEEDINGS{HruzM_2009_Inputandoutput,
 author = {Hr\'{u}z M. and Campr P. and Karpov A. and Santemiz P. and Aran O. and \v{Z}elezn\'{y} M.},
 title = {Input and output modalities used in a sign-language-enabled information kiosk},
 year = {2009},
 journal = {proceedings of SPECOM'2009},
 pages = {113-116},
 editor = {SPIIRAS},
 ISBN = {978-5-8088-0442-5},
 url = {http://www.kky.zcu.cz/en/publications/HruzM_2009_Inputandoutput},
}