For our international users, please scroll down to the English section.

Database aanpassingen?! Is dit nodig? 🤷‍♂️
Jazeker! De database van Enelogic heeft zo op zijn tijd onderhoud en verbeteringen nodig. Normaliter merk je hier niet zo heel veel van omdat het allemaal op de achtergrond gebeurd, echter is dit een verandering welke een grotere impact heeft. Middels dit bericht willen wij jou dan ook informeren over de ins en outs van deze veranderingen.

Waarom we deze database veranderingen doorvoeren 🧭
Privacy, eenvoud, optimale gebruikerservaring en kosten.
Doordat we zoveel data (25,5 miljard meterstanden) hebben, liepen onze servers tegen hun limieten aan. Dit is niet goed voor onze interne processen en uiteindelijk ook niet voor jouw ervaring op ons platform. Als echte techneuten, willen we zaken zo goed mogelijk optimaliseren. Hierdoor schoten we direct in actie! Daardoor kunnen we jou immers een optimale gebruikerservaring op ons platform blijven bieden!

Daarbij wordt het door de nieuwe data structuur een stuk eenvoudiger. Hierdoor kunnen we onze dataopslag beter en logischer indelen. Vervolgens willen we de gegevens die je als gebruiker niet ziet, ook gewoon graag verwijderen. Zo is jouw privacy gegarandeerd want de gegevens hebben we gewoonweg niet meer. Een bijkomend voordeel van het verwijderen hiervan is dat we voor deze gegevens geen opslagkosten meer moeten betalen. Een echte win-winsituatie dus!

Ook zijn deze veranderingen essentieel voor onze vervolgstappen richting het vernieuwen van het huidige Enelogic platform. Het is dus een begin van veel moois dat nog volgen zal 🔮.

Doel van de database veranderingen 🚩
Door het grote aantal meterstanden, liepen we steeds meer tegen problemen aan met onze servers en de inrichting hiervan. Op zich ook niet gek met zo'n 25,5 miljard meterstanden. Hoog tijd voor verandering dus, maar wat er precies zou moeten veranderen was (ook voor ons) eerst nog onduidelijk.

Tijd voor een intern onderzoek. Want wat is er beter dan aan de hand van kloppende data gecalculeerde beslissingen te kunnen maken?!

Na alles zorgvuldig uit te hebben geplozen, bleek dan ook dat de meeste meetpunten uit minuut / 5 minuut data (ook wel interval data genoemd) bestaan. In zijn totaliteit een indrukwekkende 80% van alle 25,5 miljard meterstanden.

Deze interval data (minuut- / 5 minuut data) slaan wij al op vanaf het moment dat we voor het eerst een live uitlezer aanboden, eind 2013 dus. Ondertussen zijn er steeds meer gebruikers in het algemeen bijgekomen, maar toch zeker ook een groot aantal daarvan met live uitlezers. Hierdoor kunnen we stellen dat deze interval data (minuut- / 5 minuut data) alleen maar harder gaat groeien.

Dit is ook absoluut niet erg maar het zorgt wel voor heel wat knelpunten. Een van deze knelpunten is onder andere het verwerken en blijvend opslaan van de interval data (minuut- / 5 minuut data). Hierdoor zijn we genoodzaakt om de dataopslag en daarmee onze servers, anders in te richten. Na heel wat brainstormen, was er een masterplan 😎. Echter vroegen we ons wel af hoeveel mensen er nu wat van de aanpassingen uit ons plan zouden gaan merken?!

Na weer heel wat speurwerk in onze database, kwamen we erachter dat zo'n 3% (afgerond naar boven en het totaal van alle jaren) van onze gebruikers zijn historische interval data (minuut- / 5 minuut data) bekijkt van voor 2019 op het energieplatform. Het verloop hiervan is in te zien in grafiek 1. Om die reden is het voor ons des te interessanter om hierin het een en ander te wijzigen.

Grafiek 1 - Dit betreft enkel de historische aanvragen voor interval data (minuut- / 5 minuut data) ouder dan 5 jaar bekeken.

Wat betekent dit voor jou? 🔎
Gezien uit ons onderzoek bleek dat maar 3% van onze gebruikers (over alle 3 de jaren voor 2019, afgerond naar boven) gebruikmaakt van historische interval data (minuut- / 5 minuut data), is de kans heel erg groot dat je van deze veranderingen niks gaat merken.

Concreet zullen de onderstaande aanpassingen worden doorgevoerd:

1. Limiet op interval data (minuut- / 5 minuut data)
Interval data wordt na 3 maanden omgezet naar kwartier data.
Uit het onderzoek bleek dat interval data de grootste invloed heeft op de totale omvang van de dataopslag. Hierdoor was het al snel duidelijk dat we hier een limiet aan moesten stellen zodat we onze servers kunnen ontlasten. Interval data (minuut- / 5 minuut data) sloegen wij namelijk voor een onbeperkt aantal jaar op.

De interval data (minuut- / 5 minuut data) zal volgens de nieuwe datastructuur voor 3 maanden beschikbaar blijven op het platform, hierna zal deze data automatisch worden omgezet naar kwartier data. Hierdoor zal de werklast van onze servers aanzienlijk worden verkleind.

2. Limiet op historische data (kwartier data)
Kwartier data ouder dan 5 jaar zal niet meer beschikbaar zijn.
Na het uitvoeren van het interne onderzoek betreffende het optimaliseren van onze database, hebben we besloten om alle historische kwartier data na 5 jaar automatisch te gaan verwijderen.

Met 5 jaar aan kwartier data is er namelijk een goed inzicht in het verloop van je verbruik en de doorgevoerde energie bespaar maatregelen. Hierdoor blijft het mogelijk om trends te herkennen en je voortgang goed te monitoren.

De structuur van de nieuwe database is te zien in grafiek 2.

Grafiek 2 - Nieuw datamodel Enelogic

Je interval data (minuut- / 5 minuut data) blijft dus voor een periode van 3 maanden vanaf de huidige dag op zijn oorspronkelijke niveau beschikbaar. Na deze 3 maanden zet het systeem dit automatisch om naar kwartierdata. Na 5 jaar zal het systeem automatisch deze kwartier data verwijderen.

Planning 📅
De database aanpassingen zullen eind deze week volledig worden doorgevoerd. Deze nieuwsbrief kan dan ook worden gezien als een vooraankondiging van de database aanpassingen.

Wanneer deze veranderingen officieel in werking zijn, zal je van ons nog een interne notificatie ontvangen.

A message for our international users 🌎
In this newsletter we will inform you about our upcoming database adjustments 🛠 and what these exactly will entail 🔎.

Database adjustments, are they necessary?! 🤷‍♂️
Absolutely! So now and then our database needs some maintenance and adjustments in order to keep everything in order. Normally, you will probably not even be aware of this since it is part of our internal processes. But since this concerns major adjustments, we will devote this newsletter to informing you about the upcoming database changes.

Importance database changes 🧭
Privacy, simplicity, optimal customer experience and costs.
Since we have a tremendous amount of data (25.5 billion meter readings), our servers are reaching their limits. Besides the fact that this is not optimal for our internal processes, it is also not desirable for your experience on our platform. Due to our technical mindset, we always strive to optimize every process. So in this case, we needed to intervene! By doing so, we can keep offering you an optimal experience on our platform.

Due to the new data structure, it will also be simpler. As a result, we will be able to structure our database more conveniently. Additionally we can guarantee your privacy since we will delete all stored data which is not visible for our users. Another advantage of the new data structure is that we no longer have storage costs for storing this data. So if you ask us, it is a clear win-win situation!

Finally implementing these changes on our database, is also essential for renewing the Enelogic platform. Therefore this is just the start of many more great developments which will take our platform to the next level!

Our goal 🚩
By implementing these database adjustments, we strive to prevent the database issues that we are currently facing. But before we could draft our masterplan, it was crucial to first investigate the status quo. Because what beats making calculated decisions on actual correct data!?

Our internal research pointed out that most of the measuring points consisted out of interval data (minute- / 5 minute data) namely 80% of all the 25,5 billion meter readings. Since 2013, we collect interval data (minute- / 5 minute data) from live meters for an unlimited amount of time. And besides this, the amount of users has grown tremendously and quite often our users have a live readout meter. Due to these trends, the amount of interval data (minute- / 5 minute data) will increase even more within the future. Obviously this is incredible but it does mean that we need to solve this matter so that we can prevent (new) issues with our database.

Our internal research indicated that only 3% (this percentage is rounded off to a whole figure and is a total of all the years) of our users consults their historical interval data (minute- / 5 minute data) from before 2019. The course of this, is shown in graph 1. This makes it even more interesting to make certain changes in how this interval data (minute- / 5 minute data) is stored.

What does this mean for you?🔎
Since only 3% of our users uses this historical interval data (minute- / 5 minute data), chances are pretty high that you will probably not even notice that these adjustments are implemented on our database.

But to be more specific, the following actions will be carried out:

1. Limit interval data (minute- / 5 minute data)
Interval data will be transitioned to quarter data after 3 months.
Our research indicated that interval data (minute- / 5 minute data) has the biggest impact on the total amount of data storage since this is currently stored for an unlimited amount of time. Therefore it became apparent that this needed to change by setting a limit of 3 months on the interval data (minute- / 5 minute data) after which it will be transferred to quarter data. Accordingly, it will be feasible to minimize the workload of our servers tremendously!

2. Limit historical data (quarter data)
Data older than 5 years will not be available anymore.
After performing our internal research, we decided to delete the historical quarter data after 5 years automatically. With 5 years of quarter data, it will be feasible to uncover certain trends in your energy consumption and see what the results are from implementing your energy saving measurements.
In graph 2, a clear overview is presented in which you can see what type of data is stored for what period of time.

Your interval data (minute- / 5 minute data) will remain available for the upcoming 3 months. After these 3 months, the interval data will be transitioned to quarter data. After 5 years, the system will automatically delete the quarter data.

Planning 📅
The database adjustments will be completed by the end of this week. Therefore this newsletter can be seen as an announcement for the upcoming database changes.

When these adjustments are officially implemented on our platform, you will receive an internal notification.