SWOT ETL

SWOT ETL Icon

Die Abkürzung ETL steht für:

• Extract (Extraktion)

• Transform (Transformation)

• Load (Laden)

Der ETL-Prozess beginnt mit der Extraktion der relevanten Daten aus verschiedenen Quellen. Anschließend erfolgt eine Transformation der Daten in das Schema und Format der Zieldatenbank. Abschließend werden die Daten in die Zieldatenbank geladen.

Ziel eines ETL-Prozesses ist es, Daten aus unterschiedlichen Systemen zu integrieren, aufzubereiten und für Analyse-, Reporting- oder Planungszwecke bereitzustellen. In SWOT erfolgt dies typischerweise mit Microsoft SQL Server als technischer Grundlage für das SWOT Data Warehouse.

Es geht hierbei darum, beliebige Daten zunächst in eine Staging-Datenbank zu überführen (Extraktion), um sie für die weitere Verarbeitung und Transformation vorzubereiten. Diese Staging-Daten können unabhängig von den Quelldaten frei modifiziert, bereinigt und strukturiert werden.

In der Transformationsphase werden die Daten beispielsweise:

• bereinigt und validiert

• in einheitliche Datenformate gebracht

• zusammengeführt oder aufgesplittet

• mit zusätzlichen Berechnungen oder Zuordnungen angereichert

Nach der Transformation werden die Daten schließlich in das Zielsystem geladen. In SWOT geschieht dies in die entsprechenden Empfängertabellen des SWOT Data Warehouses. Je nach Anwendungsfall können unterschiedliche Aktualisierungsmodi verwendet werden, beispielsweise:

• vollständiges Neuladen von Daten

• inkrementelle Aktualisierung

• Aktualisierung einzelner Datensätze

Das Ziel ist eine konsistente, zentral verfügbare Datenbasis für Analyse- und Planungsmodule wie SWOT Cube oder SWOT Personal.

Datenquellen im SWOT ETL

Die Quellen für das ETL-Modul umfassen verschiedene Formate von Dateien, Datenbanken und Verbindungsarten:

SWOT ETL Datenquellen

Typische unterstützte Datenquellen sind:

• OLE DB – Verbindung zu Datenbanken über OLE DB Provider

• ODBC – universelle Datenbankverbindung über ODBC-Treiber

• Datei als Pfad – Einlesen von Dateien aus lokalen oder Netzlaufwerken

• Datei als URL (Text) – Einlesen von Textdateien über eine URL

• Datei als URL (Excel) – Einlesen von Excel-Dateien über eine URL

• Eigener Mandant – Zugriff auf Daten innerhalb desselben SWOT-Mandanten

• Eigene ETL-Datenbank – Zugriff auf bereits vorhandene ETL-Staging-Datenbanken

• Web API – Integration externer Systeme über REST- oder HTTP-Schnittstellen

• Skript – PowerShell – Erweiterte Integrationen und automatisierte Datenabfragen über PowerShell-Skripte

Durch diese flexible Architektur lassen sich Daten aus ERP-Systemen, Datenbanken, Excel-Dateien, Webdiensten oder individuellen Schnittstellen integrieren.

Zielsystem: SWOT Data Warehouse

Das Ziel für das ETL-Modul ist das SWOT Data Warehouse, welches vorkonfigurierte Strukturen für Stamm- und Bewegungsdaten bereitstellt. Besonders relevant ist dies für die Module:

• SWOT Cube – Planung und mehrdimensionalen Analyse von Unternehmensdaten

• SWOT Personal – multivariante Personalplanung und Analyse von Personalkosten

Die ETL-Prozesse sorgen dafür, dass Daten aus unterschiedlichen Quellen in ein einheitliches Datenmodell überführt werden, sodass sie konsistent verarbeitet und ausgewertet werden können.

ETL-Jobs und Projektstruktur

Eine Kombination aus Extrakt-, Transform- und Lade-Aktivitäten bildet einen ETL-Job. Ein ETL-Job kann dabei auch Teil eines anderen ETL-Jobs sein, wodurch komplexe Datenverarbeitungsschritte modular aufgebaut werden können.

Alle ETL-Aktivitäten und Jobs werden in ETL-Projekten organisiert.

ETL-Projekte bieten folgende Vorteile:

• Strukturierung komplexer Datenintegrationsprozesse

• Wiederverwendbarkeit von ETL-Logik

• Austausch zwischen Mandanten oder Szenarien

• einfache Wartung und Erweiterbarkeit

ETL-Projekte können über Export- und Import-Funktionen zwischen Mandanten bzw. Szenarien mit ähnlichen Geschäftsprozessen ausgetauscht werden. Dadurch lassen sich komplexe Vorgänge zum Einlesen, Transformieren und Laden ähnlicher Daten mit minimaler Anpassung wiederverwenden.

Integration in den SWOT Job Editor

ETL-Projekte aus dem SWOT ETL können im SWOT Job Editor als Teil eines übergeordneten Master-Jobs verwendet werden. Dadurch lassen sich Datenprozesse automatisieren und regelmäßig ausführen, beispielsweise über die Windows-Aufgabenplanung.

SWOT Job Editor - neue Aufgabe

Im Job Editor stehen verschiedene Aufgabentypen zur Verfügung, beispielsweise:

• Belege einlesen

• Offene Posten einlesen

• Werte berechnen

• Belege löschen

• ETL-Job ausführen

• SSRS-Berichte bereitstellen

• Personalwerte berechnen

• Mandanten exportieren

• Benutzer entsperren

• 1-Klick-Wartung

• SWOT Datenbank sichern

• Export SWOT zu QVANTUM

• Prozess beenden

Diese Job-Arten können in bestimmter Reihenfolge und zeitgesteuert ausgeführt werden. Dadurch lassen sich Daten innerhalb eines Mandanten oder auch zwischen verschiedenen Szenarien automatisiert verwalten und aktualisieren.

Typische Einsatzszenarien sind beispielsweise:

• tägliches Laden von Verkaufs- oder Buchhaltungsdaten

• regelmäßige Aktualisierung von Reporting-Daten

• automatisierte Berechnung von Kennzahlen

• periodische Datensicherung und Wartung

Damit bildet das SWOT ETL-Modul die zentrale Infrastruktur für eine automatisierte, konsistente und skalierbare Datenintegration innerhalb der SWOT-Software.