Defensie gebruikt digital twins van missiegebieden als virtueel militair oefenterrein. Met AI kunnen deze veel sneller worden gegenereerd, zodat er meer tijd voor training is. Dirk-Jan van Zuidam, burgerambtenaar bij Defensie, onderzocht of met Machine Learning sneller een digitaal model van het terrein (DTM) kan worden gebouwd.

Nederlandse militairen leveren regelmatig een bijdrage aan internationale vredesmissies. Om deze militairen goed voor te bereiden is het belangrijk vooraf te kunnen oefenen in een digital twin van het conflictgebied. Deze gebieden ontberen echter de digitale ruimtelijke informatie zoals die in Nederland voorhanden is. Het nabootsen van zo’n gebied in 3D is dan ook een arbeidsintensief proces van handmatig kaarten, luchtfoto’s en hoogtebestanden digitaliseren en omzetten naar 3D data. Automatisering van dat proces met hulp van AI kan een belangrijke innovatie zijn, zeker gegeven de vaak korte voorbereidingstijd voor een missie. Als eerste stap heeft Dirk-Jan van Zuidam van Defensie gekeken of met Machine Learning sneller een digitaal model van het terrein (DTM) kan worden gebouwd.

De uitdaging


Dirk-Jan van Zuidam werkt als burgerambtenaar bij het Ministerie van Defensie. Vanuit zijn verleden als officier bij de Koninklijke Landmacht is hij geïnteresseerd in de meerwaarde van geografische informatie bij de ondersteuning van Defensie operaties. Vanuit deze gedachte heeft hij in het kader van mijn UNIGIS afstudeeronderzoek bij TNO onderzocht hoe het toepassen van Machine Learning op GIS kan bijdragen aan bestaande initiatieven om militaire missies te ondersteunen.

In de huidige praktijk wordt geografisch materiaal van missiegebieden, zoals kaarten, luchtfoto’s en hoogtebestanden, gedigitaliseerd en omgezet naar 3D data. De 3D data worden door troepen gebruikt in simulaties om zich voor te bereiden op hun inzet (figuur 1 en 2).

militair

Figuur 1: VN Militair in Mali © Maxppp - Kristin Palitza | Figuur 2: Militair in simulatieomgeving © TNO


Dit proces kent drie uitdagingen:

  1. Beperkte kwaliteit van beschikbare data. Veel inzet vindt plaats in gebieden waar de kwaliteit van de beschikbare geografische informatie veel beperkter is dan in de westerse wereld.
  2. De beperkte tijd. Hoe meer tijd gebruikt wordt voor voorbereiding, des te langer het duurt om de inzet te plegen in een situatie die over het algemeen een tijdige militaire inzet vraagt.
  3. De beperkte beschikbaarheid van gekwalificeerd GIS-personeel. Veel gespecialiseerde GIS-kennis is nodig om de data te produceren. Het gaat hierbij vooral om het “tweaken” van regels, net zolang tot de regels optimaal zijn ingesteld voor het betreffende terrein. Deze kennis is niet uitgebreid aanwezig binnen Defensie.

De aanpak

Een eerste stap in het produceren van een digital twin voor simulaties is het in kaart brengen van het kale terrein; een Digital Terrain Model (DTM). Dat gebeurt vaak op basis van een Digital Surface Model (DSM): een ingewonnen hoogtebestand, inclusief de objecten die zich erop bevinden, zoals vegetatie, bebouwing of voertuigen (Figuur 1a). Door per rasterpunt de DTM-waarde (Figuur 1b) af te trekken van de DSM-waarde, ben je in staat losse objecten te duiden die zich op de grond bevinden, zoals huizen, bomen en voertuigen (Figuur 1c). In volgende stappen (buiten de scope van dit onderzoek) kunnen deze objecten verder geïdentificeerd worden. Zo wordt een steeds meer waarheidsgetrouwe weergave van de werkelijkheid mogelijk in een 3D model. Maar zeker wanneer het terrein niet vlak is, is het lastig om objecten en terrein goed te kunnen onderscheiden.


voorbeeld digital surface model en digital terrain model


Figuur 3: Digital Surface Model en Digital Terrain Model; a. DSM (rood); b. DSM (rood) en DTM (groen); c. DTM (groen) en geïdentificeerde objecten (zwart)


In veel onderzoek naar de extractie van DTMs uit DSMs ligt de nadruk op een deterministische aanpak: wetmatigheden waaraan de ‘grond’ pixels in een DSM te herkennen zijn voor extractie. Uitgebreide GIS-kennis is hierbij nodig om met behulp van veel ‘trial and error’ de juiste parameter instellingen te vinden. Met behulp van Machine Learning is geprobeerd om door de computer het “denkwerk” te laten doen; kortom, met minder GIS-kennis en in minder tijd toch een betere kwaliteit DTM produceren.

De methode is erop gericht, de computer te laten ‘leren’ op basis van een trainingsset in de vorm van een representatief stuk terrein. Deze bestaat uit data over dat terrein, en handmatig door een operator geclassificeerde terreindelen. Op basis van deze trainingsdata is de computer met Machine Learning in staat om het ‘geleerde’ in een model te vast te leggen, wat de computer vervolgens kan toepassen op vergelijkbare gebieden. Dus in plaats van dat de operator zijn kennis inzet om een model te tweaken, leert de computer zelf.

De resultaten

Deze met machine learning ondersteunde werkwijze is toegepast op drie verschillende datasets.

  • Een dataset met een hoge resolutie (7 cm) in Nederland (omgeving Amersfoort, Figuur 4).
  • Een ISPRS-dataset met een hoge resolutie (9 cm) in Duitsland (omgeving Vaihingen) om de resultaten te kunnen vergelijken met andere studies op het gebied van DTM-extractie.
  • Een voor inzet tijdens missies representatieve dataset in Mali (40 cm).


De verschillende datasets zijn onderworpen aan de bestaande op regels gebaseerde methode en een methode gebaseerd op machine learning. De resultaten zijn gemeten en vergeleken op het gebied van nauwkeurigheid, snelheid en gebruiksgemak.

Nauwkeurigheid: Figuur 4 toont de resultaten voor het gebied Amersfoort. De belangrijkste maat voor nauwkeurigheid voor een DTM is het aantal als grond geclassificeerde niet-grond pixels (false positives). Hoe lager dit aantal, des te hoger de nauwkeurigheid. Dit wordt beschreven door de term precision (met een waarde tussen 0 en 1). De voorgestelde methode levert betere resultaten op dan de bestaande methode (gemiddeld 0,97 versus 0,94) en ook betere dan vergelijkbare onderzoeken (de hoogste gerealiseerde precision waarde op de ISPRS dataset is 0,92). De hoeveelheid rode of foute pixels in Figuur 4 (e. en f.) illustreert dit.

Snelheid: Uit het onderzoek blijkt, dat hoe lager de resolutie is, des te groter de tijdwinst. In de Amersfoort omgeving is de voorgestelde methode drie keer sneller dan de bestaande methode. In de Mali omgeving zelfs 11 keer sneller.

Gebruiksgemak: Gebruiksgemak is gemeten in het aantal in te stellen parameters en de complexiteit van de door de operator uit te voeren handelingen. In de bestaande methode moeten er tenminste 9 verschillende parameters worden ingesteld op basis van trial and error, wat ook resulteerde in 3 volledig verschillende instellingen voor de drie gebieden. De voorgestelde methode maakt gebruik van vier parameters, die voor alle drie de gebieden dezelfde instellingen kent. Daarbij zijn de handelingen die de operator moet uitvoeren in de voorgestelde methode relatief eenvoudig en is de uitgebreide GIS-kennis die voor de bestaande methode noodzakelijk is, niet nodig.

De inzet van AI en Machine Learning blijkt dus een belangrijke winst op te leveren voor het sneller realiseren van een digital twin als oefenterrein voor militairen. Om GIS en Machine Learning te combineren biedt Python als programmeer platform een hele goede basis. Niet alleen de GIS-kracht van ArcGIS (van Esri), maar ook van het opensource alternatief QGIS is heel goed met behulp van standalone Python scripts te gebruiken. Dat geldt ook voor de uitgebreide mogelijkheden die de Python modules van Scikit-Learn bieden op het gebied van Machine Learning.

satellietbeelden en luchtfotos

voorbeeld van afbeelding methode machine learning
Figuur 4: Amersfoort dataset (7cm)
a. Luchtfoto; b. DSM; c. DTM mask bestaande methode (groen: als grond geclassificeerde pixels); d. DTM mask methode met Machine Learning (groen: als grond geclassificeerde pixels); e. resultaat bestaande methode (groen: juist geclassificeerd, blauw: niet als grond geidentificeerde grond pixel, rood: als grond geidentificeerde niet-grond pixel); f. resultaat methode met machine learning (groen: juist geclassificeerd, blauw: niet als grond geidentificeerde grond pixel, rood: als grond geidentificeerde niet-grond pixel)


Bronnen

Tags: AI, Onderzoek, Toepassing