Interfaces multimodales

Las interfaces multimodales permiten que los usuarios puedan interactuar con el computador o máquina mediante diversas formas al mismo tiempo como por ejemplo, mediante voz, gestos o tocando algún botón o teclas y recibir de la misma forma una respuesta que emplee diversos métodos visuales, auditivos y/o hápticos.

Esta se puede entender como un proceso de interacción con el entorno virtual y físico a través de diversos modos naturales de comunicación. Esto implica que la interacción multimodal permite una comunicación más libre y natural (usando la voz, movimientos y acciones táctiles), conectando a los usuarios con sistemas automatizados de entrada y salida.

Los sistemas multimodales pueden ofrecer un entorno flexible, eficiente y utilizable que permite a los usuarios interactuar a través de modalidades de entrada, como voz, escritura a mano, gestos y miradas, y recibir información del sistema a través de modalidades de salida, como síntesis de voz, gráficos inteligentes. y otras modalidades, oportunamente combinadas. Luego, un sistema multimodal tiene que reconocer las entradas de las diferentes modalidades combinándolas de acuerdo con restricciones temporales y contextuales para permitir su interpretación. Este proceso se conoce como fusión multimodal, y es objeto de varios trabajos de investigación desde los noventa hasta la actualidad.