ETL-Frameworks für Microsoft Integration Services

Die Erstellung operationale Prozesse zur Befüllung eines Data Warehouse oder Data Marts ist eine arbeitsintensive Tätigkeit bei denen Aufgaben der Extraktion, Transformation, Integration, Prüfung, Validierung, Bereinigung und Transport von Daten adressiert werden. Häufig treten hierbei Prozesse mit ähnlichen Aufgabenstellungen auf, deren programmtechnische Umsetzung durch Adaption von Musterlösungen (Patterns) möglich ist.

Bei Microsoft Integration Services handelt es sich um ein Werkzeug das die Programmierung  solcher Prozessen auf vorwiegend graphischen Weg erlaubt und dabei einen Baukasten von Workflow- und Transformationskomponenten bereitstellt. Dabei handelt es sich um konfigurierbare, generische Bausteine deren effektiver Einsatz auf Erfahrung beruht. Außer funktionalen Anforderungen sind hier auch Datenvolumen und damit Performanceaspekte zu berücksichtigen. Es ist sinnvoll, hier eine Sammlung von Patterns und „Best Practice“- Vorgehensweisen aufzubauen.Bei der Erstellung dieser Extraktions-, Transformations- und Ladeprozesse (ETL) sind auch Aspekte der Bereitstellung (Deployment) und des Betriebs zu berücksichtigen.

Dazu gehören folgende Themen:

• Aufbau eines Repositorys zur Verwaltung von Metadaten sowie Konfigurations- und Logginginformationen.
• Effektive Behandlung von Ablaufstörungen ein damit verbundenes Reporting sowohl für Administratoren des Data Warehouse / Data Mart.
• Effektive Behandlung und Protokollierung erkannter Dateninkonsistenzen  samt Reporting für die Anwender des Data Warehouse / Data Mart.
• Aufbau eines Loggings das ein Monitoring von Durchsatz und Performance auf fachlicher Ebene erlaubt. Dabei werden Verlaufsinformationen auf Ebene der fachlichen Datenentitäten und Transformationsprozesse geschrieben anstelle technische Zähler auf Ausführungsebene.
• Standardisierte Verfahren zum Schützen von ETL-Modulen und der darin enthaltenen sicherheitsrelevanten Informationen.
• Standardisierte Verfahren zur Parametrisierung (externen Steuerung) von ETL-Modulen.
• Erstellung von Steuermodulen zur zentralen Ausführung der ETL-Module eines Paketes.

Mit diesen Anforderungen ist man bei jedem ETL-Projekt konfrontiert. Um eine redundante, isolierte Lösungssuche in den einzelnen Projektteams zu vermeiden und eine standardisierte Vorgehensweise zu erreichen macht es Sinn, hier einen Rahmen in Form von vorgefertigten Modulen, Modulvorlagen und Arbeitanweisungen bereitzustellen, auf den die ETL-Entwickler aufsetzen können.

Durch diese standardisierten Vorgehensweisen kann auch die Bereitstellung und der Betrieb von ETL-Lösungen deutlich vereinfacht werden. Zwar sind die einzelnen Module für den Administrator  „Black Boxes“, dennoch kann er mit einem vorgegebenen Installations- und Monitoringverfahren rechnen.