Rohdatenimport#

Bevor eine detaillierte inhaltliche Auseinandersetzung mit den Daten stattfindet, müssen diese zunächst ins Simplex4TwIS geladen werden bzw. diesem bekannt gemacht werden.

Ziel des Rohdatenimport ist es, Rohdaten in die Datenhaltung des DataWarehouse zu überführen und Informationen zu ihnen zu dokumentieren. Dieser Prozess ist abgeschlossen, wenn die Rohdaten in Quelltabellen in der Datenbank vorliegen. Das veranschaulicht die folgende Abbildung.

Mit Rohdaten sind die Daten in ihrem Ausgangszustand gemeint, die in das Simplex importiert werden sollen. Sie sind selten „roh“ im Sinne von unbehandelten oder unsortierten Messdaten direkt vom Messgerät, i.d.R. stammen sie aus einem Fachsystem oder einer Open-Data-Quelle und sind wohlformatiert und qualitätsgesichert.

Rohdatenimport - Schritte und Begriffe

Bild generiert mit Symbolen von iconmonstr

  1. EXTRACT: Zunächst werden die Daten in den Container bzw. auf den Server geladen. Dabei werden sie teilweise im Dateisystem des Servers abgelegt.

  2. LOAD: Dann werden die als relevant identifizierten Informationen aus den Formaten der Rohdaten herausgelöst und in Quelltabellen geladen.

  3. TRANSFORM: Nach einem erfolgreichen Laden liegen die Daten in einer oder mehreren Quelltabellen in der Datenbank des Simplex4TwIS vor. Nun können die Daten in das envVisio Datenmodell überführt werden. Das geschieht im Konverter.

Die Schritte (1) und (2) können, je nach Format und Datenzugang unterschiedlich komplex sein, denn von ihnen hängt ab, wie gut automatisierbar die beiden Schritte sind. In allen Schritten können und sollen nützliche Hinweise und Fachwissen dokumentiert werden.