Willkommen zur ersten Ausgabe unserer neuen Blog-Serie “Von der CSV-Datei zur Chart mit MongoDB Atlas”. In dieser Serie werden wir einen detaillierten Einblick in den Prozess bieten, wie man Daten aus einer einfachen CSV-Datei extrahieren, transformieren und in aussagekräftige visuelle Darstellungen umwandeln kann - und zwar mithilfe von MongoDB Atlas und verwandten Technologien.

Das Beispiel

In dieser Serie werden wir uns auf ein konkretes Beispiel konzentrieren: Daten einer Photovoltaik-Anlage. Diese Daten, die in CSV-Dateien vorliegen, umfassen Durchschnitte über Energieerzeugung, Verbrauch und andere relevante Metriken in einer Auflösung von 5 Minuten. Die Spalten in der CSV-Datei umfassen u.a. folgende Werte:

• Den Zeitstempel des 5-Minuten-Intervalls
• Erzeugte Leistung der PV-Anlage (in Watt)
• Verbrauch des Haushalts (in Watt)
• Ladung der Batterie oder Entnahme aus dieser (in Watt)
• Einspeisung in oder Entnahme von Leistung des öffentlichen Netzes (in Watt)

Wir werden Schritt für Schritt durchgehen, wie wir diese Daten nutzen können, um aussagekräftige Dashboards und Diagramme zu erstellen, die uns Einblicke in die Leistung und das Verhalten der PV-Anlage bieten.

Eingesetzte Komponenten

Die zentralen Komponenten, die wir in dieser Serie einsetzen werden, sind MongoDB Atlas, ein vollständig verwalteter Cloud-Datenbankdienst für MongoDB, sowie die Funktionen Trigger und Charts, die auf MongoDB Atlas zur Verfügung stehen. Diese Werkzeuge ermöglichen es uns, Daten zu speichern, automatisierte Aktionen auszulösen und visuelle Analysen durchzuführen, alles nahtlos integriert und ohne komplexe Infrastrukturverwaltung.

Falls Sie ein ähnliches Szenario aufsetzen wollen und direkt starten wollen: je nach Umfang der Daten ist ein Cluster der Größe M0 ausreichend, um die Daten abzulegen, aufzubereiten und die Charts anzuzeigen. Alle eingesetzten Komponenten sind ohne weitere Kosten einsetzbar, so dass Sie direkt loslegen können.

Ein Hinweis vorab noch zu den Datenzentren, in denen MongoDB Atlas läuft: während man für das Cluster an sich das Data center und die Region aus einer großen Menge an Möglichkeiten wählen kann, werden die App Services für die Trigger und die Charts aktuell im AWS-Data center us-east-1 gehostet, so dass man den Einsatz aus datenschutzrechtlicher Sicht prüfen sollte. Im Fall der App Services für die Trigger kann dies so angepasst werden, dass ein Datenzentrum in Europa verwendet wird. Genauere Details sind in der Dokumentation zu finden.

Überblick über die Serie

Im ersten Schritt importieren wir die Dateien aus der CSV-Datei in eine Collection im Cluster und führen eine grundlegende Aufbereitung durch. Das Vorgehen hierbei beschreibt der Artikel zum Datenimport.

Anschließend erfolgt täglich eine weitere Aufbereitung, um tagesaktuelle Kennzahlen zu ermitteln, beispielsweise der 7- und 30-Tagesdurchschnitt der Werte. Details dazu enthält unser Artikel zur Datenaufbereitung.

Auf diese Daten greifen wir aus einem Dashboard zu, das mit MongoDB Atlas Charts erzeugt wird. Die Erstellung des Dashboards beleuchten wir im letzten Artikel der Serie.