show English version

Identifikace výsledku:
ZCU/KKY/2024/029

autorizovaný software (R)

Rok vydání: 2024
Autor: Bulín M., Neduchal P.

Rozhranní pro multimodální komunikaci v systému ROS pro robotické platformy

Software je rozhranním implementovaným v prostředí Robot Operating System (ROS) určený ke zpracování dat a spouštění akcí za účelem multimodální komunikace člověk-stroj. Díky použití ROS je systém implementován modulárně a následně jednoduše rozšiřován o nové moduly.

Současná verze obsahuje moduly se službami automatického rozpoznávání řeči (ASR) a syntézy řeči (TTS) využívající naší knihovnu Speechcloud. Tyto služby lze využít pro přirozenou komunikaci s robotickými entitami přes hlasové rozhraní. Podle potřeb konkrétní aplikace je lze dále kombinovat s pokročilejšími metodami a dalšími moduly, jako je například klasifikace záměru uživatele či řízení dialogu.

Systém je vyvíjen s ohledem na multiplatformnost s možností spustit ho jak na platformách x86 (klasické PC) tak na platformě ARM. To zmanená na řadě zařízení menších rozměrů s možností integrace do fyzického zařízení. Systém byl vyvíjen zejména pro kompatibitu se systémem NVIDIA Jetson, ale funguje též na platformě Raspberry Pi.

Tato práce vznikla za podpory projektu "VaV technologií pro pokročilou digitalizaci v plzeňské metropolitní oblasti (DigiTech)“ reg. č.: CZ.02.01.01/00/23_021/0008436 spolufinancovaného z EU.

Kontaktní formulář

Tento výsledek je chráněn licencí, pro jeho stažení, kontrolu RIV, či získání informací o něm, prosím, vyplňte tento formulář: