SEMIoTICS: Intelixencia Artificial no borde: solucións embebidas de baixo consumo de potencia

Este proxecto ten como obxectivo a implantación da intelixencia artificial para a visión por computador ao bordo do paradigma da Internet das Cousas (IoT). O proxecto contempla catro retos principais, concretamente; detección e seguimento de obxectos visuais en dispositivos integrados, deseño de sinais mixtos de computación hiperdimensional, sensores de tempo de voo e cámaras de eventos e, finalmente, estratexias de baixo consumo de enerxía. A detección e seguimento visual de obxectos estuda a implementación de modelos de última xeración de redes neuronais profundas en FPGAs no rango de 5Ws de consumo de enerxía. Un dos nosos principais obxectivos é a construción dun nodo ou dispositivo no bordo composto por sensores de visión CMOS deseñados no proxecto xunto cos mencionados FPGA que realizarán a inferencia de detección e o seguimento visual de obxectos. O deseño de chips CMOS de sinal mixto para a implementación de detección de obxectos utilizando o paradigma de computación hiperdimensional como alternativa ás redes neuronais profundas é outro dos obxectivos do proxecto. A natureza robusta de erros da computación hiperdimensional fai que sexa unha alternativa moi atractiva para o deseño a nivel de chip. Nesta liña, propuxémonos como obxectivo o procesamento de vídeo cun consumo de enerxía duns 100 mW.

No ámbito dos sensores, abordamos o deseño de sensores de tempo de voo CMOS e tamén de cámaras de eventos. As cámaras de eventos están enfocadas a plataformas móbiles, utilizando como punto de partida a metodoloxía do sensor síncrono. Os sensores de tempo de voo usarán varias frecuencias para resolver o problema de ambigüidade de alcance ou o problema de interferencia múltiple. O sensor CMOS das cámaras de eventos conectarase ás mencionadas FPGA para executar algoritmos de detección e seguimento visual de obxectos. Por último, mencionamos que todos os deseños abordados ao longo do proxecto son deseños orientados a un baixo consumo de enerxía, dende o maior nivel de abstracción ata o máis baixo.

Obxectivos

Detección e seguemento visual de obxectos sobre dispositivos empotrados
Computación hiperdimensional on-chip de sinal mixta
Chips de visión para a xeración de eventos e cámaras de tiempo de vóo
Estratexias para o deseño de circuitos de baixo consumo de potencia

Este proxecto ten como obxectivo a implantación da intelixencia artificial para a visión por computador ao bordo do paradigma da Internet das Cousas (IoT). O proxecto contempla catro retos principais, concretamente; detección e seguimento de obxectos visuais en dispositivos integrados, deseño de sinais mixtos de computación hiperdimensional, sensores de tempo de voo e cámaras de eventos e, finalmente, estratexias de baixo consumo de enerxía. A detección e seguimento visual de obxectos estuda a implementación de modelos de última xeración de redes neuronais profundas en FPGAs no rango de 5Ws de consumo de enerxía. Un dos nosos principais obxectivos é a construción dun nodo ou dispositivo no bordo composto por sensores de visión CMOS deseñados no proxecto xunto cos mencionados FPGA que realizarán a inferencia de detección e o seguimento visual de obxectos. O deseño de chips CMOS de sinal mixto para a implementación de detección de obxectos utilizando o paradigma de computación hiperdimensional como alternativa ás redes neuronais profundas é outro dos obxectivos do proxecto. A natureza robusta de erros da computación hiperdimensional fai que sexa unha alternativa moi atractiva para o deseño a nivel de chip. Nesta liña, propuxémonos como obxectivo o procesamento de vídeo cun consumo de enerxía duns 100 mW. No ámbito dos sensores, abordamos o deseño de sensores de tempo de voo CMOS e tamén de cámaras de eventos. As cámaras de eventos están enfocadas a plataformas móbiles, utilizando como punto de partida a metodoloxía do sensor síncrono. Os sensores de tempo de voo usarán varias frecuencias para resolver o problema de ambigüidade de alcance ou o problema de interferencia múltiple. O sensor CMOS das cámaras de eventos conectarase ás mencionadas FPGA para executar algoritmos de detección e seguimento visual de obxectos. Por último, mencionamos que todos os deseños abordados ao longo do proxecto son deseños orientados a un baixo consumo de enerxía, dende o maior nivel de abstracción ata o máis baixo.<ul><li>Detección e seguemento visual de obxectos sobre dispositivos empotrados</li><li>Computación hiperdimensional on-chip de sinal mixta</li><li>Chips de visión para a xeración de eventos e cámaras de tiempo de vóo</li><li>Estratexias para o deseño de circuitos de baixo consumo de potencia</li></ul> - Víctor Manuel Brea Sánchez, Paula López Martínez - Fernando Rafael Pardo Seco, Diego Cabello Ferrer, Daniel García Lesta, Óscar Pereira Rial