• Welches Vorgehen wird zur Qualitätssicherung bei DWH Änderungen empfohlen.
• Wie und ggf. welche Tests wird die Qualität von DWHs sichergestellt/gemessen?
• Welche verfahren werden in der Praxis eingesetzte?

Die gefunden Lösungen sind übersichtlich aufzuführen und miteinander zu vergleichen.

Quellen:

• Stauffer, H. (2011). Testing von Business Intelligence Systemen und analytischen Applikationen. Presentation slides of the 11th European TDWI Conference with BARC@TDWI-Track.
• Ralph Kimball et al. 1998. „The Data Warehouse Lifecycle Toolkit“
• Bauner A., Günzel H. 2009. „Data Warehouse Systeme“

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

Bei der Überführung von unterschiedlich strukturierten Daten in eine gemeinsam strukturierte (konsistente) Form können Ausnahmen (i.S.v. Fehlern bzw. nicht standardisiert verarbeitbaren Besonderheiten) auftreten. Beispiele für Ausnahmen sind: das Quellsystem ist zeitweise nicht verfügbar; die Konvertierung eines Wertes in einen Datentyp mit eingeschränkter Ausdrucksstärke (bspw. von Zeichenkette zu Ganzzahl) ist nicht möglich; Private-Key-Lookup liefert NULL. Die Grenze zwischen einem echten Fehler (der das System zum Anhalten bringt; i.S.e. unbehandelten Ausnahme) und einer behandelten (d.h. abgefangenen) Ausnahme (nach dessen Behandlung das System weiterlaufen kann) ist fließend. Die Spezifizierung der Ausnahmebehandlung sollte also bereits in der Designphase des ETL-Prozesses beachtet und modelliert werden, um möglichst viele Ausnahmen abfangen zu können.

Folgende Fragen sollen beantwortet werden:

• Welche Arten von Fehlern gibt es? Welche Klassifikationen werden in der Literatur beschrieben?
• Welche konkreten Instanzen einer Fehlerart können auftreten?
• Welche Möglichkeiten gibt es für jede Fehlerart, sie abzufangen bzw. sie sicher zu verarbeiten?
• Welche Methoden zur Spezifizierung gibt es? Wie kann das Ganze modelliert werden?

Zielartefakte sind:

• Klassifikation von Fehlerarten unter Einbeziehung existierender Klassifikationen. (Was wird behandelt?)
• Konzeptionelles Modell zur Fehlerbehandlungsbeschreibung unter Einbeziehung existierender und thematisch benachbarter Modelle. (Wie wird es behandelt, in welcher Form?)

Quellen:

• Alkis Simitsis, Kevin Wilkinson, Malu Castellanos, and Umeshwar Dayal. 2009. QoX-driven ETL design: reducing the cost of ETL consulting engagements. In Proceedings of the 35th SIGMOD international conference on Management of data (SIGMOD ’09), Carsten Binnig and Benoit Dageville (Eds.). ACM, New York, NY, USA, 953-960. DOI=10.1145/1559845.1559954 http://doi.acm.org/10.1145/1559845.1559954
• Simitsis, A.; Wilkinson, K.; Dayal, U.; Castellanos, M.; Optimizing ETL workflows for fault-tolerance.Data Engineering (ICDE), 2010 IEEE 26th International Conference on. HP Labs., Palo Alto, CA, USA. 2010. DOI=10.1109/ICDE.2010.5447816
• Jie Liu, Senlin Liang, Dan Ye, Jun Wei und Tao Huang. ETL Workflow Analysis and Verification U-sing Backwards Constraint Propagation. Advanced Information Systems Engineering. Lecture Notes in Computer Science, 2009, Volume 5565/2009, 455-469, DOI: 10.1007/978-3-642-02144-2_36
• Gorawski, M.; Marks, P.; Fault-Tolerant Distributed Stream Processing System.Database and Expert Systems Applications, 2006. DEXA ’06. 17th International Workshop on. Inst. of Comput. Sci., Silesian Univ. of Technol., Gliwice. 2006. DOI=10.1109/DEXA.2006.61
• Zineb El Akkaoui and Esteban Zimanyi. 2009. Defining ETL worfklows using BPMN and BPEL. In Proceeding of the ACM twelfth international workshop on Data warehousing and OLAP (DOLAP ’09). ACM, New York, NY, USA, 41-48. DOI=10.1145/1651291.1651299 http://doi.acm.org/10.1145/1651291.1651299
• ETL Exception Handling (DWHInfo.com) http://dwhinfo.com/Technical/DataWareHousingETLExceptionHandling.html
• Data Cleansing http://en.wikipedia.org/wiki/Data_cleansing

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

Die Überführung von Daten aus Quellsystemen in ein Zielsystem erfordert unweigerlich den Einsatz von Ressourcen (Zeit und Arbeitsspeicher). Der Einsatz dieser Ressourcen wird üblicherweise sorgsam geplant, um das Kosten-Nutzen-Verhältnis zu optimieren. In diesem Zusammenhang werden die Anforderungen an ETL-Prozesse dermaßen gestellt, dass die gewünschten Ergebnisse (Bsp: minimales bzw. maximales Alter von aggregierten Daten im DWH) mit einem bestimmten, begrenzten Einsatz von Ressourcen (Bsp: minimaler Arbeitsspeicherbedarf; minimale Zeit von gesperrten Datenbanken beim Einsatz von pessimistischem Locking; minimale Behinderung der Arbeit mit einem System durch Ausführung der ETL-Prozesse während arbeitsfreier Nachtstunden) erreicht werden.

Folgende Fragen sollen beantwortet werden:

• Welche Arten von Anforderungen gibt es? Was wird durch sie beabsichtigt? Welche Klassifikati-onen werden in der Literatur beschrieben?
• Welche konkreten Instanzen von Anforderungen können gestellt werden?
• Welche Möglichkeiten gibt es für jede Anforderung, ihr gerecht zu werden? Wie wird eine Ab-weichung ggf. behandelt?
• Welche Methoden zur Spezifizierung gibt es? Wie kann das Ganze modelliert werden? (Beziehen Sie dabei auch Service Level Agreements mit ein, vgl. auch ITIL.)

Zielartefakte sind:

• Klassifikation von Performancekriterien unter Einbeziehung existierender Klassifikationen. (Was wird gefordert?)
• Konzeptionelles Modell zur Anforderungsbeschreibung/-erhebung unter Einbeziehung existie-render und thematisch benachbarter Modelle. (Wie wird es gefordert, in welcher Form?)

Quellen:

• Alkis Simitsis, Kevin Wilkinson, Malu Castellanos, and Umeshwar Dayal. 2009. QoX-driven ETL design: reducing the cost of ETL consulting engagements. In Proceedings of the 35th SIGMOD international conference on Management of data (SIGMOD ’09), Carsten Binnig and Benoit Dageville (Eds.). ACM, New York, NY, USA, 953-960. DOI=10.1145/1559845.1559954 http://doi.acm.org/10.1145/1559845.1559954
• Simitsis, A.; Wilkinson, K.; Dayal, U.; Castellanos, M.; Optimizing ETL workflows for fault-tolerance.Data Engineering (ICDE), 2010 IEEE 26th International Conference on. HP Labs., Palo Alto, CA, USA. 2010. DOI=10.1109/ICDE.2010.5447816
• Len Wyatt, Brian Caufield und Daniel Pol. Principles for an ETL Benchmark. Performance Evalua-tion and Benchmarking. Lecture Notes in Computer Science, 2009, Volume 5895/2009, 183-198, DOI: 10.1007/978-3-642-10424-4_14
• Alkis Simitsis, Panos Vassiliadis, Umeshwar Dayal, Anastasios Karagiannis und Vasiliki Tziovara. Benchmarking ETL Workflows. Performance Evaluation and Benchmarking. Lecture Notes in Computer Science, 2009, Volume 5895/2009, 199-220, DOI: 10.1007/978-3-642-10424-4_15
• SETLabs Briefings VOL7 NO1 2009: Performance Engineering and Enhancement, Infosys Technologies Ltd.
• Service Level Agreement Metriken http://en.wikipedia.org/wiki/Service_level_agreement#Common_metrics
• ITIL http://en.wikipedia.org/wiki/Information_Technology_Infrastructure_Library#Service_Design
• Capacity Management http://en.wikipedia.org/wiki/Capacity_management
• Application Performance Management http://en.wikipedia.org/wiki/Application_Performance_Management
• Performance Analysis (Profiling) http://en.wikipedia.org/wiki/Performance_analysis

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

• Welche Aspekte von ETL-Prozessen dokumentiert werden?
• An wenn sich die Dokumentation richtet (Entwickler, Fachanwender, Beide, Weitere, …)
• Ob sich die Dokumentation vorab konfigurieren lässt?
• Die Benutzungsfreundlichkeit der Dokumentationserstellung.

Dabei ist zuerst zu untersuchen, ob die ETL-Prozessmodellierungstools über eine integrierte Dokumentationsfunktion verfügen und/oder ob es Dritt-Anbieter Tools gibt, die diese Funktion erfüllen.

Folgende ETL-Prozessmodellierungstools sind bei der Analyse zu berücksichtigen:

• Microsoft SSIS
• IBM DataStage
• Pentaho Data Integrator
• Talend

Zusätzlich ist zu überprüfen, ob Dritt-Anbieter Werkzeuge existieren, die herstellerunabhängig ETL-Prozesse dokumentieren können (Ein Bsp. könnte „Ascential MetaStage“ von IBM sein).

Quellen:

• Gluchowski, P., Kurze, C., and Wunderlich, M. 2010. “Modellierung und Dokumentation von BI-Systemen,” CONTROLLING – Zeitschrift für erfolgsorientierte Unternehmensplanung (22), pp. 676-682.
• Gluchowski, P., Hofmann, M., Kurze, C. and Jacobi, F. 2011. “Computer-Aided Warehouse Engi-neering: Dokumentation und Modellierung komplexer Data-Warehouse-Systeme”, 11th. TDWI Conference, München, 2011-06-07, in print.
• Inmon, B. 1997. “The data warehouse budget,” DM Review Magazine, January.
• Laudon, K. C., and Laudon, J. P. 2010. “MANAGEMENT INFORMATION SYSTEMS: MANAGING THE DIGITAL FIRM,” Upper Saddle River, New Jersey: Pearson.

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

• Was wurde aktuell, ausgehend vom Jahre 2008, im Bereich von Agile BI in einschlägigen Journalen publiziert.
• Es sind Begriffsdefinitionen, offene Forschungsfragen, Forschungsergebnisse und Diskussionspunkte zu identifizieren und übersichtlich zu präsentieren.

Quellen:

• Auf Anfrage.

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!