Přejít na obsah

Publikace

Detail publikace

Citace

Ronzhin Andrey and Karpov Alexey and Kipyatkova Irina and Železný Miloš : Client And Speech Detection System for Intelligent Infokiosk . Lecture Notes in Artificial Intelligence, vol. 2010, p. 560-567, Springer, Heidelberg, 2010.

Další informace


Dostupnost

Abstrakt

Timely attraction of a client and detection of his/her speech message in real noisy conditions are main difficulties at deployment of speech and multimodal interfaces in information kiosks. Combination of sound source localization, voice activity and face detection technologies allowed to determine client mouth coordinates and extract boundaries of speech signal appeared in the kiosk dialogue area. Talking head model based on audio-visual speech synthesis immediately greets the client, when her face is captured in the video-monitoring area, in order to attract him/her to the information service before leaving the interaction area. Client?s face tracking is also used for turning the talking head in direction to the client that significantly improves the naturalness of interaction. The developed infokiosk set in the institute hall provides information about structure and staff of laboratories. Statistics of human-kiosk interaction is accumulated within last six months in 2009.

Abstrakt v češtině

Mezi hlavní problémy při implementaci řečových a multimodálních rozhraní v informačních kioscích patří časově náročné udržování pozornosti uživatele a detekce jeho aktivit. Kombinace metod lokalizace zdroje zvuku, detekce hlasové aktivity a rozpoznávání obličeje umožnily určit pozici úst řečníka a získat hranice řečového signálu. Mluvící hlava okamžitě pozdraví uživatele jakmile ten se objeví v zorném poli kamer s cílem získat jeho pozornost pro informační službu před tím, než by opustil oblast interakce. Sledování obličeje také slouží pro ovládání otáčení mluvící hlavy směrem k uživateli, což významně zvyšuje přirozenost interakce. Vyvinutý informační kiosek umístěný v hale ústavu poskytuje informace o struktuře a personálu ústavu. Statistiky interakce uživatelů s kioskem jsou akumulované za posledních 6 měsíců roku 2009.

Detail publikace

Název: Client And Speech Detection System for Intelligent Infokiosk
Autor: Ronzhin Andrey ; Karpov Alexey ; Kipyatkova Irina ; Železný Miloš
Název - česky: Systém pro detekci uživatele a řeči pro inteligentní infokiosek
Jazyk publikace: anglicky
Rok vydání: 2010
Typ publikace: Článek z časopisu
Název časopisu / knihy: Lecture Notes in Artificial Intelligence
Číslo vydání: 2010
Strana: 560 - 567
ISSN: 0302-9743
Nakladatel: Springer
Místo vydání: Heidelberg
2011-03-15 16:21:57 / 2011-03-15 16:21:57 / 1

Klíčová slova

multimodal interfaces, information kiosk, sound source localization, face tracking, talking head, voice activity detection

Klíčová slova v češtině

multimodální rozhraní, informační kiosek, lokalizace zdroje zvuku, sledování obličeje, mluvící hlava, detekce hlasové aktivity

BibTeX

@ARTICLE{RonzhinAndrey_2010_ClientAndSpeech,
 author = {Ronzhin Andrey and Karpov Alexey and Kipyatkova Irina and \v{Z}elezn\'{y} Milo\v{s}},
 title = {Client And Speech Detection System for Intelligent Infokiosk},
 year = {2010},
 publisher = {Springer},
 journal = {Lecture Notes in Artificial Intelligence},
 address = {Heidelberg},
 volume = {2010},
 pages = {560-567},
 ISSN = {0302-9743},
 url = {http://www.kky.zcu.cz/en/publications/RonzhinAndrey_2010_ClientAndSpeech},
}