DUST: Het ontwerpen van interpreteerbare en efficiënte Deep Unfolding Sparse Transformers voor multimodale beeldverwerking en beeldgeneratie

Deep learning behaalt geweldige resultaten in een waaier aan taken
in signaal- en beeldverwerking. Door recente ontwikkelingen in
autonome wagens, robotica en andere slimme apparatuur is er een
groeiende vraag naar compacte en efficiënte deep learning modellen
die ook interpreteerbaar zijn en waarvan de beslissingen duidelijk
kunnen worden uitgelegd aan mensen. De Transformer architectuur
wint de laatste tijd aan populariteit in het computer vision domein,
met verbetering van de state-of-the-art in vele taken. Ondertussen
vereisen deze modellen nog altijd zeer veel rekenkracht om te
trainen en te gebruiken, wat hun adoptie in minder krachtige
apparaten zoals robots en slimme camera's verhindert. Deze kosten
groeien verder explosief voor multimodale data. Het DUST project
stelt daarom de ontwikkeling voor van een nieuwe klasse van
efficiënte en interpreteerbare Transformers, gebaseerd op sparsity en
het deep unfolding framework. Deze modellen zullen state-of-the-art
prestaties leveren voor multimodale visuele toepassingen,
bijvoorbeeld het detecteren van objecten of anomalieën. Ten tweede
zullen de modellen uitgebreid worden tot GANs voor geleide superresolutie en beeldfusie van bv. RGB en diepte of infrarood. Verder zal
DUST nieuwe uitleg- en interpretatiemethoden ontwikkelen voor deze
Transformers, en ook inzicht zoeken in de generatieve processen
van Transformer GANs, wat nog niet uitgebreid is bestudeerd