Large-scale pattern recognition: Dynamic load balancing using code mobility

Scriptie/masterproef: Master's Thesis

Uittreksel

Toepassingen zoals systemen voor verkeersmonitoring, crowd control of gebarenherkenning, herkennen patronen in gegevensstromen die worden geregistreerd door hun sensors, en reageren hierop. Grootschalige patroonherkenning is de herkenning van complexe patronen in deze grote gegevensstromen. Het programmeren van deze systemen is moeilijk, en daarom wordt een aanpak gekozen gebaseerd op regels: een declaratieve taal laat de programmeur toe regels te definiëren die patronen beschrijven, en hoe erop te reageren.

Naarmate zowel de sensorhardware verbetert, bvb. doordat meer camera's worden gebruikt of deze hogere resoluties ondersteunen, en meer complexe patronen moeten herkend worden, zal de hoeveelheid data en het aantal regels en hun complexiteit stijgen. Dit stelt een probleem: hoe schalen we een systeem zodat het met deze stijgende complexiteit om kan gaan? Bestaande oplossingen beperken zich tot één enkele machine of vragen handmatig werk om te kunnen schalen.

Deze thesis stelt voor om het werk te verdelen over meerdere machines. Gebaseerd op PARTE (Parallel Actor-based ReTe Engine), dat het Rete-algoritme parallelliseert door middel van actors, wordt een systeem ontworpen waarin deze actors verdeeld worden over de beschikbare machines: DPARTE (Distributed PARTE).

Het systeem maakt gebruik van dynamische load balancing om het werk te herverdelen tijdens de uitvoering van het programma. Dit wordt gerealiseerd door "mobiele code" toe te voegen aan het systeem: de actors worden mobiel, wat wil zeggen dat ze kunnen verplaatst worden tijdens de uitvoering van het programma.

Gebaseerd op een experimentele evaluatie staven we de beweringen dat het verdelen van werk over meerdere machines leidt tot een schaalbaar en elastisch systeem, en dat dynamische load balancing een voordeel biedt door ervoor te zorgen dat het werk gelijk verdeeld is over de machines.

Voor zover wij weten is DPARTE het eerste regelgebaseerde systeem gebruikmakend van Rete met een verenigde feitendatabank dat automatische distributie en dynamische load balancing ondersteunt.
Datum Prijsjun 2013
TaalEnglish
BegeleiderWolfgang De Meuter (Promotor), Thierry Renaux (Advisor), Lode Hoste (Advisor) & Stefan Marr (Advisor)

Citeer dit

'