SEMIoTICS: Inteligencia Artificial en el borde: soluciones embebidas de bajo consumo de potencia

Este proyecto tiene como objetivo la implementación de inteligencia artificial para visión por computador en el borde del paradigma de Internet de las Cosas (IoT). El proyecto contempla cuatro retos principales, en concreto; detección y seguimiento visual de objetos en dispositivos empotrados, diseño de señal mixta de computación hiperdimensional, sensores de tiempo de vuelo y de cámaras de eventos, y finalmente estrategias de bajo consumo de potencia. La detección y seguimiento visual de objetos estudia la implementación de modelos estado del arte de redes neuronales profundas sobre FPGAs en el rango de 5Ws de consumo de potencia. Uno de nuestros objetivos principales es la construcción de un nodo o dispositivo en el borde conformado por sensores CMOS de visión diseñados en el proyecto unidos a las mencionadas FPGAs que realizarán inferencia de detección y seguimiento visual de objetos. El diseño de chips CMOS de señal mixta para la implementación de detección de objetos mediante el paradigma de computación hiperdimensional como alternativa a las redes neuronales profundas es otro objetivo del proyecto. La naturaleza robusta de la computación hiperdimensional frente a errores hacen de ésta una alternativa muy atractiva para su diseño a nivel de circuito integrado. En esta línea nos marcamos como objetivo el procesamiento de vídeo con un consumo de potencia alrededor de 100 mW.

En el campo de sensores abordamos el diseño de sensores CMOS de tiempo de vuelo y también de cámaras de eventos. Las cámaras de eventos se enfocan hacia plataformas móviles, usando la metodología sensores síncronos como punto de partida. Los sensores de tiempo de vuelo utilizarán múltiples frecuencias para resolver el problema de la ambigüedad en el cálculo de distancias, o el problema de las múltiples interferencias. El sensor CMOS de cámaras de eventos se conectará a las mencionadas FPGAs para ejecutar algoritmos de detección y seguimiento visual de objetos. Finalmente, mencionamos que todos los diseños abordados a lo largo del proyecto son diseños orientados hacia el bajo consumo de potencia, desde el alto nivel de abstracción hasta el más bajo.

Objetivos

Detección y seguimiento visual de objetos sobre dispositivos empotrados
Computación hiperdimensional on-chip de señal mixta
Chips de visión para generación de eventos y cámaras de tiempo de vuelo
Estrategias para el diseño de circuitos de bajo consumo de potencia

Este proyecto tiene como objetivo la implementación de inteligencia artificial para visión por computador en el borde del paradigma de Internet de las Cosas (IoT). El proyecto contempla cuatro retos principales, en concreto; detección y seguimiento visual de objetos en dispositivos empotrados, diseño de señal mixta de computación hiperdimensional, sensores de tiempo de vuelo y de cámaras de eventos, y finalmente estrategias de bajo consumo de potencia. La detección y seguimiento visual de objetos estudia la implementación de modelos estado del arte de redes neuronales profundas sobre FPGAs en el rango de 5Ws de consumo de potencia. Uno de nuestros objetivos principales es la construcción de un nodo o dispositivo en el borde conformado por sensores CMOS de visión diseñados en el proyecto unidos a las mencionadas FPGAs que realizarán inferencia de detección y seguimiento visual de objetos. El diseño de chips CMOS de señal mixta para la implementación de detección de objetos mediante el paradigma de computación hiperdimensional como alternativa a las redes neuronales profundas es otro objetivo del proyecto. La naturaleza robusta de la computación hiperdimensional frente a errores hacen de ésta una alternativa muy atractiva para su diseño a nivel de circuito integrado. En esta línea nos marcamos como objetivo el procesamiento de vídeo con un consumo de potencia alrededor de 100 mW.En el campo de sensores abordamos el diseño de sensores CMOS de tiempo de vuelo y también de cámaras de eventos. Las cámaras de eventos se enfocan hacia plataformas móviles, usando la metodología sensores síncronos como punto de partida. Los sensores de tiempo de vuelo utilizarán múltiples frecuencias para resolver el problema de la ambigüedad en el cálculo de distancias, o el problema de las múltiples interferencias. El sensor CMOS de cámaras de eventos se conectará a las mencionadas FPGAs para ejecutar algoritmos de detección y seguimiento visual de objetos. Finalmente, mencionamos que todos los diseños abordados a lo largo del proyecto son diseños orientados hacia el bajo consumo de potencia, desde el alto nivel de abstracción hasta el más bajo. <ul><li>Detección y seguimiento visual de objetos sobre dispositivos empotrados</li><li>Computación hiperdimensional on-chip de señal mixta</li><li>Chips de visión para generación de eventos y cámaras de tiempo de vuelo</li><li>Estrategias para el diseño de circuitos de bajo consumo de potencia</li></ul> - Víctor Manuel Brea Sánchez, Paula López Martínez - Fernando Rafael Pardo Seco, Diego Cabello Ferrer, Daniel García Lesta, Óscar Pereira Rial