Project EXPLainable Artificial INtelligence systems for health and well-beING (EXPLAINING) (PID2019-104829RA-I00/AEI/10.13039/501100011033)

IP’s UIB: Dr. Antoni Jaume-i-Capó, Dra. Cristina Manresa-Yee

Membres: Dr. F. J. Perales, Dra. M. Miro, Dra. A. Paniza, Dr. R. Mas, Dr. M. Mascaró O. Dra. F. Roig, Dr. J. M. Buades, Dr. J. Varona, Dr. G. Moyà, Dra. P. Martinez, Dra. E. Amengual, Dr. P. Ponsa

Resum:

La inteligencia artificial (IA) está obteniendo resultados excelentes, pero con frecuencia, estos resultados son difíciles de entender por los humanos. Para confiar en el comportamiento de los sistemas inteligentes, especialmente en salud y bienestar, éstos deben de ser capaces de explicar sus decisiones y acciones a los humanos a través de una interfaz. Gracias a la extensa experiencia del grupo de investigación en salud y bienestar (en diseño, desarrollo y evaluación de algoritmos de IA, de sistemas interactivos multimodales e interfaces gráficas 3D inteligentes), el objetivo de este proyecto es desarrollar, dentro del marco de la salud y el bienestar, métodos para desarrollar sistemas de IA explicables y soluciones de IA centradas en el usuario. Los resultados del proyecto contribuirán a los retos 1 y 7 del Plan estatal de investigación científica y técnica y de innovación 2017-2020. Los objetivos también están alineados con las prioridades 2 y 6 del documento Estrategia española de I+D+i en inteligencia artificial, y con el objetivo 3 de la Agenda 2030 de las Naciones Unidas: Objetivos de desarrollo sostenible. Concretamente se quiere, en contextos de salud y bienestar: (1) resumir las evidencias existentes de sistemas inteligentes explicables, (2) diseñar y desarrollar métodos para la explicabilidad del análisis de imágenes médicas, (3) diseñar y desarrollar métodos para la explicabilidad del reconocimiento de actividades humanas y gestos utilizando robots sociales, (4) definir una metodología para el diseño de sistemas de IA explicables y (5) diseñar y desarrollar soluciones inteligentes comprensibles y explicables e interfaces inteligentes útiles y usables. Además de Ingeniería Informática, el proyecto presenta un carácter multidisciplinar gracias a la participación de entidades, empresas e investigadores de las áreas de derecho, biomedicina, fisioterapia y neurorrehabilitación. El impacto científico-técnico esperado se materializará en la generación de numerosas publicaciones con indicadores de calidad relevante dada la propuesta innovadora y en la aplicación directa de los resultados. Además, los demostradores son susceptibles de patentes o de otro tipo de protecciones. El proyecto permitirá que el equipo de investigación se posicione y consolide en los límites de conocimiento en métodos para la explicabilidad de los sistemas de inteligencia artificial y las soluciones de IA centradas en el ser humano para la salud y el bienestar.

PERGAMEX, Design of pervasive gaming experiences for intergenerational social and emotional well-being, RTI2018-096986-B-C31

IP’s: Dra. Eva Cerezo (UINZAR), Francisco Luis Gutierrez (Univ. Granada)

Membres UIB: Dr. Francisco J. Perales (CU)

Resum:

The proposed project is a disruptive vision of the intergenerational relations in the actual society. We have the previous positive results of the project TIN2015-67149-C3 (JUGUEMOS).

Childrens with special and non-special needs share interactives scenarios in a natural way. So we are doing a “natural” social integration using pervasive games for all children independently of their characteristics. We can extrapolate these results to all members of a family or a society? Older people represent a growing proportion of the world population. Digital entertainment is a motivation and remove physical and social frontiers. With this objective in mind, this project focuses in the design of pervasive gaming experiences for all. The inclusion of older and young people users opens the door to the consideration of questions such as technology acceptance and personalization to take into account their diverse cognitive and physical abilities or even the way they interact each other. Gender and ethical considerations become very relevant. Usability evaluation with the older adults, focusing on affective evaluation, and the application of co-creation techniques with such diverse collectives with so different abilities and motivations arises as well as important issues to study.

Mes Informació: https://i3a.unizar.es/en/projects/pergamex

Projectes Antics

TIN2015-67149-C3-2-R

TITULO:JUeGos híbridos basados en interfaces mUltimodales EMOcionales y agentes Sociales (JUGUEMOS)

IP UIB: Dr. Francisco J. Perales López

Otros Miembros Proyecto:  Universidad de Zaragoza, Universidad de Granada.

Resumen: Hoy en día coexisten un conjunto de paradigmas de interacción persona-ordenador, tales como, interfaces multimodales, afectivas, ubicuas, tangibles, realidad aumentada y mixta, basadas en agentes conversacionales, etc. que van más allá del paradigma tradicional WIMP. El punto en común en todas ellas es la búsqueda de una interacción natural y multimodal (a través de los diversos canales de comunicación humana) embebida en el propio entorno físico del usuario (mediante la sensorización y actuación sobre el mismo). En realidad, lo que se está produciendo actualmente es una convergencia de paradigmas en los que el foco se pone en la experiencia de usuario seleccionando los modos de interacción y visualización más adecuados en cada caso. Sin embargo, el avance en estos paradigmas emergentes se está frenando debido a la complejidad del prototipado de aplicaciones que los soporten. La creación de aplicaciones informáticas que adopten estos paradigmas de interacción supone la integración de elementos físicos, virtuales e incluso sociales (estado de ánimo de los usuarios, comportamientos grupales…), introduciendo así una nueva dimensión de complejidad al desarrollo de aplicaciones informáticas de la entrante era post-WIMP y retardando su avance.Los nuevos paradigmas de interacción tienen un ámbito de aplicación perfecto en los videojuegos. La reciente línea de investigación en juegos pervasivos busca eliminar la brecha entre el juego tradicional y el videojuego creando un “continuo” entre la experiencia de juego, y la plataforma en la que se desarrolla el juego. Los juegos pervasivos están demostrando una gran potencialidad tanto en su vertiente lúdica como educativa (juegos serios). Adicionalmente, son sus características de especialidad (mezcla de la información digital con la física de forma natural), sociabilidad (fomentando las actividades grupales) y de personalización (adaptándose a las características de los usuarios o a su contexto), las que abren la posibilidad de su uso a colectivos de niños con dificultades con otros modelos de interacción más tradicional (a través de periféricos o en entornos reglados). El objetivo del proyecto coordinado es definir un marco conceptual, una metodología de diseño y un conjunto de herramientas software que soporten el diseño y desarrollo de juegos pervasivos multimodales. Los sistemas multimodales a integrar serán:

–           Dispositivos Tangibles, tanto tabletops (mesas interactivas) tangibles como Smart-Objects

–           Sistemas de Captura: conjunto de dispositivos encargados de capturar información del contexto del usuario, tanto del entorno que le rodea, como del propio usuario (poses, gestos, informaciones biométricas…)

–           Agentes Sociales capaces de interaccionar de forma natural con el usuario, a través de un interfaz de humano virtual, o de un dispositivo robot con capacidades sociales y afectivas

–           Plataformas móviles: dispositivos smartphones, tabletas y vestibles integrados en un mismo dispositivo.

El objetivo es hacer más sencillo el prototipado de juegos pervasivos que integren los últimos paradigmas de interacción persona-ordenador y permitan estudiar el potencial terapéutico y educativo de los juegos pervasivos en diferentes ámbitos relacionados con la infancia y, en particular, en niños con necesidades especiales.

Abstract:

Nowadays, different human-computer interaction paradigms (such as multimodal, affective, ubiquitous and tangible interfaces, augmented and mixed reality, embodied conversational agents,…) that overcome the traditional WIMP paradigm, coexist. The common point between all them is the search of natural and multimodal interaction (through several human communication channels) embedded in the user’s physical environment (by sensors and actuators in it). In fact, there is a convergence of paradigms in which the attention is focused in user experience. The most suitable way of interaction and/or visualization are selected for each case. However, the progress in those emerging paradigms is slowing down because of the complexity of prototyping the corresponding applications. The development of informatics applications that adopt these interaction paradigms implies the integration of physical and virtual elements. Moreover, social elements like user’s mood or group behavior, must be considered, including a new dimension of complexity to post-WIMP computer applications, and so that, slowing their advances. The new interaction paradigms have a clear application field in the videogames. The recent research line of pervasive games aims to eliminate the gap between the traditional game and the videogame building a “continuous” between the game experience and the platform in which the game is developed. Pervasive games show great possibilities either in their ludic and their educational (serious games) aspects. Additionally, their features of spatiality (natural mix between digital and physical information), sociability (encouraging group activities) and customization (adapting to the users characteristics and context), open the opportunity of using them with children with special needs that have limited interaction with more traditional methods.

The aim of this coordinated Project is to define a conceptual framework, a methodology of design, and a set of software tools that give support to the design and development of multimodal pervasive games. The multimodal systems to integrate are:

–           Tangible devices, either tangible tabletops (interactive tables) or Smart-Objects

–           Capture Systems: set of devices for getting information of the user context, either of the immediate environment, as information about the user (postures, gestures, biometrical signals, …)

–           Social Agents able to interact with the user in a natural way, through a virtual human interface, or through a robotic device with social and affective abilities.

–           Mobile platforms: smartphones, tablets and wearables devices.

The final objective consists in making easier to prototype pervasive games that integrate the latest human-computer interaction paradigms and that allow to study the therapeutic and educational potential of pervasive games in different fields related with childhood and, in particular, in children with special needs.

English Version:  Juguemos

Red Temática de Investigación en Neurologías para la Asistencia y la Rehabilitación

Plazo de ejecución: del 01/12/2015 al 30/11/2017.

Entidad financiadora: Ministerio de Economía y Competitividad. Referencia: DPI2015-69098-REDT

http://neurotec.umh.es/

El ictus y la lesión medular son dos de los principales trastornos motores a consecuencia de daños en el sistema nervioso humano que conllevan un deterioro físico en la sociedad occidental. Estas lesiones suelen interrumpir vías sensoriales y motoras, lo que conduce a problemas motores que provocan una pérdida de la independencia del individuo en el desarrollo de sus actividades cotidianas. En los últimos años, ha habido un esfuerzo a nivel científico en desarrollar neurotecnologías que permitan mejorar la calidad de vida de personas con estos trastornos motores, tales como interfaces cerebro-computador o exoesqueletos robóticos. El objetivo de estas neurotecnologías es, por una parte, potenciar las terapias de rehabilitación en aquellos pacientes que pueden recuperar o mejorar la movilidad perdida, y por otra, proporcionarles herramientas asistenciales cuando el problema motor es permanente.

El objetivo general de esta red es establecer un amplio foro de trabajo para posibilitar y facilitar la cooperación y el intercambio de conocimiento entre actores implicados en España que trabajan en el desarrollo de neurotecnologías para la rehabilitación y asistencia de pacientes con daño neurológico. Las principales aportaciones que se esperan de la actividad de la Red son generar avances en el conocimiento sobre las neurotecnologías que den lugar al desarrollo de productos innovadores en el ámbito de las tecnologías asistenciales y de rehabilitación que mejoren la calidad de vida de los pacientes con daño neurológico, favorecer la integración de resultados para generar iniciativas ambiciosas que serían inabordables por separado, establecer acciones de cooperación y coordinación con redes y asociaciones internacionales afines, que den lugar a la formación de consorcios para participar en futuras convocatorias del Programa H2020, y posibilitar la transferencia de los logros y avances obtenidos a otros campos de la salud, de la ciencia y de la sociedad en general.

Experiencias de diseño y desarrollo de Interfaces Naturales en industria, educación y rehabilitación

Referència TIN2012-35427
Fecha final 31/12/2015
Duración 3 años

La interacción basada en visión proporciona una gama más amplia y más expresiva de las capacidades de entrada de interfaces avanzadas mediante el uso de técnicas de visión por computador con el fin de estimar de forma fiable información sobre el usuario y el contexto de la aplicación. Dicha información visual tiene el potencial de incrementar de forma substancial la variedad de interacciones posibles del usuario. El planteamiento del proyecto es contribuir mediante investigación original a alcanzar un profundo conocimiento de cómo la información visual puede ser mejor utilizada con propósitos de interacción. En la actualidad, hay un progreso sólido en métodos robustos para la estimación, el modelado y el reconocimiento de personas y sus actividades, y la primera generación de nuevos dispositivos de adquisición en RGB-D están disponibles. Sin embargo, la interacción basada en visión aún necesita mejores aproximaciones para modelar e implementar interacciones naturales con el usuario, incluyendo ejemplos en aplicaciones reales.

Este proyecto pretende ir más allá del estado actual de la investigación en interacción basada en visión, incluyendo la comprensión de cómo las interfaces naturales pueden incorporarse en las actividades del usuario en diferentes contextos. En este sentido, estamos interesados en aplicaciones de interacción basada en visión donde su función puede ser evaluada en términos de los objetivos del usuario, la eficiencia del sistema, y su integración para alcanzar una forma natural de interacción entre las personas y las máquinas. Específicamente, se planearán experiencias de usuario en la industria, la educación y la rehabilitación, para poder analizar los retos de diseño y formalizar el espacio de diseño de las interacciones basadas en visión. Nuestra experiencia en proyectos previos y las tendencias actuales de la comunidad de investigadores basan nuestra hipótesis inicial.

Por último, este proyecto también busca la introducción de innovadores interfaces, que pueden ser de interés para nuevos socios tecnológicos. En la propuesta ya se incluyen distintas entidades interesadas en este proyecto, que en la actualidad ya colaboran con nuestro grupo en diferentes aplicaciones de interacción basada en visión con el fin de lograr la transferencia tecnológica de los resultados obtenidos en el proyecto.

Footmorphing

Personalització de calçat: Comparança dempeus i forma. DPI2009-14738-C02-01 (subprograma DPI), INESCOP, MICIIN.

Retos

més informació

POTUGAME. La Unitat de Gràfics i Visió per Ordinador i Intel · ligència Artificial (UGIVIA) de la Universitat de les Illes Balears desenvolupa un videojoc educatiu que transmeti la imatge corporativa de la UIB. Cerca aproximar-se als joves estudiants a través d’un entorn tecnològic que coneixen i dominen. Introdueix un element innovador, ja que mai abans s’ha plantejat un acostament als estudiants a través d’un videojoc d’aquestes característiques i estableix un nou marc de comunicació entre els estudiants i els professors i investigadors de la UIB.

més informació

• SINA III. Sistema d’Interacció Natural Avançat. Finançat per: Govern Balear. Durada: 2009-2010.
• TIN2007-67896. Prototipos de Interacción Natural (PINes). Finançat per: MICIIN. Durada: 2007-2010.
• Telerehabilitación para persones amb discapacitat física. Accés a tractaments rehabilitadores basats en les noves tecnologies en les Illes Balears. Finançat per: Govern Balear. Durada: 2009-2010.
• ICAR. Intel·ligència Artificial i Visió Artificial per a cotxes. Participants: UIB, Sa Nostra, Llompart, Toyota Mediauto S.A, Palma. Durada: 2007-2010. (Financiable)
• TIN2007-67993. Interfícies Tangibles Avançades en Domòtica Assistencial (ITADA). Durada: 2007 – 2010.
• AFE: Affective Facial Expressions. Creació d’Expressions Facials per a simular emocions i trets de personalitat.
• CAAPO: Comunicación Aumentada y Alternativa Por Ordenador. Participants: UIB – ASPACE Baleares. Durada: 2010.
• Acción complementària sobre interfícies naturals basades en visió per a dispositius mòbils. PNCI – Programa Nacional de Cooperación Internacional en Ciencia y Tecnología. Finançat per: AECI – Agencia Española de Cooperación Internacional. Durada: 2009-2010.
• Trobades sobre e-inclusió i rehabilitació usant interfícies d’usuari basades en visió. PNCI – Programa Nacional de Cooperación Internacional en Ciencia y Tecnología. Finançat per: AECI – Agencia Española de Cooperación Internacional. Durada: 2009-2010.