Young Mavericks’ architectuur helpt Caeli satellietdata efficiënt verwerken

Luchtkwaliteit meten met satellietbeelden

De Nederlandse startup Caeli brengt luchtkwaliteit op unieke wijze in kaart – met een blik van bovenaf. De satellieten die in een baan om onze planeet cirkelen voorzien Caeli’s eindgebruikers van chronologische, (bijna) real-time informatie. Om de moleculaire samenstelling van de atmosfeer te meten is satellietdata niet alleen nauwkeuriger, maar ook vaak gemakkelijker en goedkoper dan remote sensing (teledetectie). Het monitoren van de luchtsamenstelling en fijnstoffen zoals stikstofdioxide (NO2), ammoniak (NH3), methaan (CH4) en ozon (O3) helpt niet alleen de overheid en bedrijven, maar ook individuen begrijpen hoe veranderingen in de atmosfeer het klimaat en onze gezondheid beïnvloeden.

Een schaalbare architectuur met tijd- en locatiefilter

Stap één was het ontwerpen van een architectuur die grote hoeveelheden data in snel tempo kan verwerken en opslaan. Schaalbaarheid was hierbij van groot belang gezien de onvermijdelijke toename van gegevens voor verwerking en opslag. De voor de hand liggende keuze voor schaalbaarheid waren digital clouds. Voor dit project bood het Amazon Web Services (AWS) cloudplatform de beste opties voor dataopslag. We creëerden een AWS-database en een datapijplijn om Caeli’s gegevens te verzamelen en pasten deze data toe op het NO2-gas dat nitraatdeeltjes kan vormen.

Vereenvoudigd ziet Caeli’s data er als volgt uit.

Wanneer Caeli informatie uit haar eigen database ophaalt, wil het bedrijf deze kunnen filteren op tijd en plaats: bijvoorbeeld gegevens uit Amsterdam gedurende de maand januari 2021. Filteren op tijd is geen probleem, omdat de gegevens chronologisch (oplopend) worden opgeslagen; het databasesysteem ‘weet’ in grote lijnen in welke rijen de gegevens van januari 2021 te vinden zijn.

Het wordt echter ingewikkelder wanneer de gegevens ook op locatie gefilterd moeten zijn. De visuele gegevens zijn niet gegeorefereerd – verbonden met coördinaten op de wereldbol – in X- en Y-coördinaten, en slechts één op een miljoen gegevens in de database komt daadwerkelijk overeen met coördinaten in Amsterdam. Eén voor één alle data controleren zou een waanzinnig tijdrovend proces zijn, dus de uitdaging was om een architectuur te ontwerpen die op efficiënte wijze meerdere dimensies kan filteren.

Rob: over het toepassen van mijn kennis en skills bij Caeli

Tijdens mijn opdracht voor Caeli heb ik intensief gebruik gemaakt van de vele tools en technieken die ik tijdens het Young Mavericks-traineeship heb leren kennen. Zowel Amazon Web Services als het Hadoop ecosysteem – die samen de kern van mijn opdracht vormden – kwamen tijdens het traineeship uitgebreid aan bod.  

Young Mavericks’ training hielp mij de beste oplossing te bieden voor het datamanagement van Caeli. Hierdoor heb ik Caeli een werkend eindproduct kunnen bieden dat past bij de noodzakelijke precisie en toegankelijkheid van informatie. Gegevens over stikstofdioxide (NO2) worden nu automatisch verzameld en opgeslagen in een schaalbare database waarin de data efficiënt kan worden gefilterd op zowel tijd als locatie. Bovendien is Caeli dankzij duidelijke documentatie van processen en uitgebreide overdrachtsprotocollen nu zelf in staat het product te beheren en toe te passen op andere fijnstoffen.

“Het project heeft ons toen geholpen om van een on premise omgeving naar de cloud omgeving te gaan migrereren. YM heeft ons met Rob op het juiste spoor gezet, zodat we in staat waren om onze omgeving naar een AWS omgeving te gaan migreren. Onze NO2 data is daardoor beschikbaar gekomen en hebben we een stap kunnen maken om op te gaan schalen naar andere producten en klaar te zijn voor andere landen.” – Tim en Martin van Caeli

Onze zoektocht naar zonnepanelen


Datatechnologie inzetten voor duurzaamheid: Toen eerder dit jaar nieuwe, geavanceerde satellietfoto’s werden vrijgegeven, waren we er klaar voor. De ruime ervaring in het verbeteren en organiseren van remote sensing data door middel van engineering en machine learning had Young Mavericks klaargestoomd voor onze volgende missie: de Basisregistratie Grootschalige Topografische (BGT) kaarten van Nederland met niet-geregistreerde objecten te verbeteren om inzicht te krijgen in – en het stimuleren van – het gebruik van zonnepanelen. 

Lees meer

In gesprek met Sylvia: samen ontdekken we jouw groeipotentieel

Hetgeen waar wij naar streven bij Young Mavericks, is dat mensen goed op hun plek zitten tijdens een opdracht en dat ze de ruimte hebben om hetgeen te doen wat zij nodig vinden. Daarbij ontwikkelen we in trainingen nog meer vaardigheden die bijdragen aan een goede verwachtingsmanagement en werkrelaties. Dat draagt bij aan de professionaliteit van consultants en dus goede projecten en – hopelijk – blije opdrachtgevers.

Lees meer