Interpreteerbare en Verklaarbare Deep Learning voor Video Verwerking

Projectdetails

!!Description

Diepe neurale netwerken halen indrukwekkende resultaten in signaalverwerking. Echter worden deze netwerken vaak ontworpen als een black box. Hierdoor is er een groeiende vraag naar zowel interpreteerbare modellen als methodes die modelkeuzes verklaren. Dit was succesvol voor tekst- en beeldverwerking maar videoapplicaties zijn gering. Met dit project presenteren we een framework voor zowel interpreteerbare als verklaarbare deep learning voor video’s. Eerst bestuderen we de laag-complexe data structuur van video’s in het spatiale en temporele domein om video voorstellingen te leren. Onze aanpak is gebaseerd op het ‘deep unfolding’ framework dat door ontwerp interpreteerbaarheid brengt. Bestudeerde applicaties omvatten inverse problemen, voorgrond isolatie en frame voorspelling. Ten tweede presenteren we een nieuw recurrent model, gebaseerd op state-space model assumpties en deep Kalman filtering, zodat interpreteerbare video dynamiek en semantiek worden geleerd. Applicaties zijn inverse problemen en object tracking. Ten derde stellen we betrouwbare post-hoc methodes om model beslissingen te verklaren voor. Input saliency technieken zullen worden gebruikt om ontwarde visuele en temporele verklaringen te genereren. We gebruiken de door de netwerken verkregen structuren en dynamieken om interpreteerbaarheid en verklaarbaarheid te verbinden, via de interpreteerbare latent space. We verwachten voor de voorgestelde applicaties state-of-the-art resultaten te behalen.
AcroniemFWOSB97
StatusGeëindigd
Effectieve start/einddatum1/11/2031/10/24

Keywords

  • Verklaarbaar
  • AI interpreteerbaar
  • AI Diep leren
  • Videoverwerking

Flemish discipline codes in use since 2023

  • Pattern recognition and neural networks
  • Computer vision
  • Signal processing
  • Image and language processing
  • Multimedia processing not elsewhere classified

Vingerafdruk

Verken de onderzoeksgebieden die bij dit project aan de orde zijn gekomen. Deze labels worden gegenereerd op basis van de onderliggende prijzen/beurzen. Samen vormen ze een unieke vingerafdruk.