Veel organisaties hebben moeite om data op een dynamische, veilige en toegankelijke manier aan te bieden voor iedereen binnen de organisatie. Ons platform helpt om data van verschillende bronnen inzichtelijk te maken op 1 locatie, en gebruikt slimme technische innovaties om deze data automatisch te valideren, combineren en de resultaten overzichtelijk te tonen.
Voor het beschikbaar maken van data zijn naast technische uitdagingen ook verschillende organisatorische uitdagingen. Aan de IT-experts de uitdaging om de techniek zo in te richten dat deze drempels zo laag mogelijk worden, zonder verlies van betrouwbaarheid en binnen budget.
Op het gebied van de data voorziening zijn de grootste organisatorische uitdagingen:
Veel huidige technische oplossingen maken goede antwoorden op deze vragen moeilijk of zelfs onmogelijk. Beschikbare data zou direct vindbaar en toegankelijk moeten zijn. Dit is niet alleen data uit bijvoorbeeld de bijstand database, maar ook excel bestanden, exports van systemen en de zee aan open data die tegenwoordig beschikbaar is. Dynamische koppelingen tussen deze data vragen om de juiste techniek, die je helpt om met de data aan de slag te gaan.
Ontwikkeling van een datawarehouse lost een deel van deze problemen op, en is een juiste oplossing: o.a. voor gestructureerde interne data, voor een niet-veranderend dashboard en monitoring informatie, of voor een verzameling en collectie van meerdere gegevens.
Helaas zijn er ook een aantal fundamentele problemen met de ontwikkeling van een data warehouse. Data wordt ingested en opgeslagen in het warehouse via ETL processen, waardoor de directe link met de originele bron verloren gaat. Dit kan zorgen voor (interne) discussies over eigenaarschap van data, nieuwe problemen met het up-to-date houden van de data, en maakt het lastig om op een laag niveau toegangsbeheer uit te voeren.
Ook is een datawarehouse niet voor iedereen toegankelijk, omdat het technische kennis vereist om interactie met deze data in te voeren.
Het Data-Kompas platform is ontwikkeld om deze problemen op te lossen. Het combineert het kunnen gebruiken van de structuur van een data met een dynamische methode van opslag en analyse.
Ons platform kan gedistribueerd “data packages” opslaan en met verschillende instanties delen. De focus ligt op metadata, in plaats van de data. Metadata wordt gedeeld, originele data blijft in beheer van de auteur. Door slimme technische innovaties en AI methoden wordt data automatisch on-demand opgehaald, geanalyseerd en gecombineerd, zodat deze makkelijk verder gebruikt kan worden.
| Data warehouse | Data lake | Data-Kompas | |
|---|---|---|---|
| Structuur | Vast | Vrij | Dynamisch vast |
| Toegankelijk voor niet-technici | Via dashboards | Nee | Interactief met de applicatie |
| Kwaliteitsmanagement | Tijdens import, embedded in structuur |
Nee | Geautomatiseerde meldingen en analyse |
| Data combineren | Via vaste relaties, of handmatig door technici | Handmatig | Geautomatiseerd, handmatig ook mogelijk |
Data-Kompas werkt met het concept van repositories en metamodeling. Wanneer er data geïmporteerd wordt in het systeem, wordt er een model van de metadata gemaakt. In deze modellen is omschreven hoe de data opgehaald kan worden. Deze modellen worden opgeslagen, en vormen de basis voor de verdere implementaties en data retrieval.
De data kan opgehaald worden ofwel door gebruik van de Data-Kompas query language, welke getranspiled wordt naar de juiste queries voor de juiste database, of door handmatig uitvoeren van een eigen query, code snippet of functie op de opgegeven data bron.
Doordat elke dataset op metaniveau gemodelleerd wordt is er tal van informatie beschikbaar over de data. Daar waar een tabel in een database vaak alleen kolomnaam en type bevat, omvat het metamodel o.a. beschrijving van de dataset, informatie over de verschillende kolommen, data typen, semantiek, beschrijving, dimensie informatie en originele bron.
Deze modellen worden beschikbaar gemaakt in repositories. Elke organisatie, elke afdeling of elk team kan zijn eigen repository beheren, waardoor zij het eigenaarschap over deze data houden. Doordat alleen de modellen gedeeld worden, en niet de data zelf houdt de beheerder (of beheerders) controle over hun eigen data.
Omdat de datasets dynamisch zijn is het van belang om de juiste tooling te gebruiken die gebruikers in kunnen zetten om deze te gebruiken.
De Data-Kompas applicatie is volledig gebaseerd op de modellen en kan de data automatisch ophalen, en kan met deze modellen de gebruikers helpen de juiste analyses uit te voeren. Vervolgens kunnen deze gebruikt worden om visualisaties te maken, of om de nieuwe data resultaten (inclusief metadata) te downloaden.
Niet-technische gebruikers kunnen onze applicatie gebruiken om te bladeren en te zoeken naar de juiste data. Data-Kompas haalt automatisch de juiste data op, en toont de juiste notities en aantekeningen die bij de data en de visualisatie horen. Iedere gebruiker kan zo makkelijk trend grafieken tonen, benchmarks grafieken genereren en naar verbanden zoeken met de correlatieanalyse (en deze natuurlijk goed interpreteren met onze beleidsmethode).
Op een laag niveau kan een geavanceerde gebruiker kan met deze data aan de slag door zelf queries te schrijven, en de analyse methode gebruiken om queries te kunnen genereren, aan te passen en uit te voeren
Data-Kompas kan voor u zowel in de cloud, als intern gehost worden als service, afhankelijk van uw voorkeuren.
Met de cloud versie van Data-Kompas is de beschikbare open data direct toegankelijk en up-to-date. Dit zijn data van o.a. het CBS, Eurostat en Nationaal Georegister. Deze data worden automatisch in de cloud-repository van Data-Kompas opgeslagen en zijn ook via dit platform toegankelijk.
Via onze onderliggende database is het ook mogelijk om losse datasets in deze versie te importeren en op deze manier een aantal datasets in de cloud versie in te laden.
Om wettelijke (AVG) en veiligheidsredenen kan het voordeliger zijn om Data-Kompas binnen het interne netwerk te draaien. Hiervoor bieden wij aparte service hardware, waarop Data-Kompas beschikbaar is voor uw organisatie.
Wij werken samen met uw IT afdeling om deze op de juiste manier binnen uw netwerk te plaatsen, beveiligen en te monitoren. Deze vorm maakt het dan ook mogelijk om directe koppelingen met uw interne database systemen aan te leggen, of verschillende organisaties en teams hun eigen repository te laten beheren. Zo worden de mogelijkheden om de data te combineren nog uitgebreider en kan iedereen met de services aan de slag.
