Eine qualitativhochwertige und stets aktuelle Dokumentation der Datenintegrationsprozesse von Unternehmen bietet jedoch folgende Vorteile:

• Steigerung der Akzeptanz der BI-Lösung, durch stärkere Transparenz bezüglich der Datenqualität, d.h. der Herkunft, Verarbeitung und Aktualität der durch das System bereitgestellten Informationen, seitens der Fachanwender.
• Entwickler erhalten Unterstützung bei der Entwicklung neuer bzw. bei der Wartung bestehender ETL-Prozesse. Dies reduziert Entwicklungszeit und –kosten.

Mit dem Ziel den Aufwand für die Erstellung von hochqualitativen ETL-Prozessdokumentationen zu verringern, entwickelte die Nachwuchsforschergruppe CAWE ein ETL-Dokumentationsframework, welches ETL-Prozesse plattformunabhängig, vollkommen automatisierte und konfigurierbare erstellt. Eine qualitativhochwertige Dokumentation zeichnet sich durch acht Attribute aus: Änderbarkeit, Aktualität, Eindeutigkeit, Identifizierbarkeit, Normkonformität, Verständlichkeit, Vollständigkeit und Widerspruchsfreiheit. Der Nachweis, dass mit Hilfe des von der CAWE Nachwuchsforschergruppe entwickelte ETL-Dokumentationsframework normkonforme Dokumentation erstellt werden können, steht noch aus. Ziel dieser Seminararbeit ist es daher:

• alle inhaltlichen Anforderungen, welche im Rahmen der ISO 26514 an eine Softwaredokumentation gestellt werden zusammenzufassen sowie
• zu überprüfen, in wie weit das präsentierte Framework diese bisher umsetzt bzw. bisher nicht berücksichtigte Anforderungen umsetzen kann.

Quellen:

• Krawatzeck, R., Jacobi, F., Müller, A. & Hofmann, M. (2011). Konzeption eines Frameworks zur automatisierten Erstellung nutzerspezifischer IT-Systemdokumentationen. In H. Baars (Ed.), Workshop Business Intelligence 2011 (WSBI’11) der GI-Fachgruppe Business Intelligence, Business Intelligence – Impulse für die Forschung oder Impulse durch die Forschung (pp. 15-26). Stuttgart: CEUR Workshop Proceedings. Retrieved from http://ceur-ws.org/Vol-831/
• Jacobi, F., Krawatzeck, R. & Hofmann, M. (2012). Meeting the Need for ETL Documentation: A Model-driven Framework for Customizable Documentation Generation. Proceedings of the 18th Americas Conference on Information Systems (AMCIS’12) (in print). Seattle, USA.
• Wallmüller, E. (2001). Die Rolle der Dokumentation in Software-Projekten. Software-Qualitätsmanagement in der Praxis: Software-Qualität durch Führung und Verbesserung von Software-Prozessen (2nd ed., pp. 149-156). Hanser Fachbuch.
• Reiss, G. & Reiss, M. (2010). Praxisbuch IT-Dokumentation: Betriebshandbuch, Projektdokumentation und Notfallhandbuch im Griff. (2nd ed.). Addison-Wesley.
• International Organisation for Standardization. (2008). Systems and software engineering — Requirements for designers and developers of user documentation (ISO-IEC 26514).

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

DSLs sind jedoch nicht nur aus Endanwendersicht, sondern auch aus Entwicklersicht interessant. Im Bereich der modellgetriebenen Softwareentwicklung (Model-driven Development; MDD) stellt die Entwicklung von textuellen DSLs einen eleganten Weg dar, um die zur Serialisierung und Deserialisierung von Modellinstanzen benötigten Serialisierer, Parser und formalen Modelle zu erhalten. Die Definition einer DSL – bestehend aus der Beschreibung der abstrakten Syntax („Metamodell“), der konkreten Syntax sowie der Semantik – beinhaltet die vollständige Beschreibung eines für das MDD benötigten formalen Modells (bestehend aus der abstrakten Syntax sowie der statischen Semantik („Constraints“)).

Moderne DSL-Modellierungsframeworks wie Xtext machen die Erstellung von formalen Modellen über die – im Vergleich umfangreichere – Definition einer DSL attraktiv, da sie ausgehend von der Definition einer Grammatik (textuelle konkrete Syntax) das dazu passende Metamodell (abstrakte Syntax, jedoch ohne statische Semantik), den dazu passenden Serialisierer sowie Parser automatisch generieren.

Damit der Vorteil des MDD flexibel auf neue Änderungen reagieren zu können durch die Verwendung von DSLs nicht verloren geht, muss sichergestellt werden, dass die zur Erzeugung von formalen Modellen definierten Grammatiken ebenfalls flexibel angepasst werden können. Dazu ist es notwendig, spezifizierte Grammatiken automatisiert zu testen. Ziel dieser Seminararbeit ist es daher:

• zu untersuchen, welche Ansätze derzeit existieren, um Grammatik-Definitionen zu testen,
• die zu testenden Module einer in Xtext erstellten textuellen konkreten Syntax zu identifizieren,
• zu untersuchen, ob Unit Testing Frameworks für das Testen von in Xtext erstellten Grammatiken existieren und ob diese ggf. den benötigten Funktionsumfang abdecken sowie
• das Aufstellen eines Best-Practices-Katalog für das Unit Testing von in Xtext erstellten Grammatiken.

Quellen:

• Stahl, T., Völter, M., Efftinge, S., & Haase, A. (2007). Modellgetriebene Softwareentwicklung. Techniken, Engineering, Management (2nd ed.). Heidelberg: Dpunkt Verlag.
• Westphal, F. (2005). Testgetriebene Entwicklung mit JUnit & FIT. dpunkt.verlag.
• Fowler, M. (2010). Domain-Specific Languages. Addison-Wesley Professional.
• Gronback, R. C. (2009). Eclipse Modeling Project: A Domain-Specific Language (DSL) Toolkit. Addison Wesley Longman.
• Thoms, K. (2011). Language Workbench Competition 2011: Xtext Submission. (Version 1.2 Final).
• Voelter, M. (2012). Testing DSLs: How to test DSLs, their IDEs and Programs. http://www.voelter.de/data/presentations/oop2012-dslTesting-slides.pdf

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

• Welches Vorgehen wird zur Qualitätssicherung bei DWH Änderungen empfohlen.
• Wie und ggf. welche Tests wird die Qualität von DWHs sichergestellt/gemessen?
• Welche verfahren werden in der Praxis eingesetzte?

Die gefunden Lösungen sind übersichtlich aufzuführen und miteinander zu vergleichen.

Quellen:

• Stauffer, H. (2011). Testing von Business Intelligence Systemen und analytischen Applikationen. Presentation slides of the 11th European TDWI Conference with BARC@TDWI-Track.
• Ralph Kimball et al. 1998. „The Data Warehouse Lifecycle Toolkit“
• Bauner A., Günzel H. 2009. „Data Warehouse Systeme“

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

Bei der Überführung von unterschiedlich strukturierten Daten in eine gemeinsam strukturierte (konsistente) Form können Ausnahmen (i.S.v. Fehlern bzw. nicht standardisiert verarbeitbaren Besonderheiten) auftreten. Beispiele für Ausnahmen sind: das Quellsystem ist zeitweise nicht verfügbar; die Konvertierung eines Wertes in einen Datentyp mit eingeschränkter Ausdrucksstärke (bspw. von Zeichenkette zu Ganzzahl) ist nicht möglich; Private-Key-Lookup liefert NULL. Die Grenze zwischen einem echten Fehler (der das System zum Anhalten bringt; i.S.e. unbehandelten Ausnahme) und einer behandelten (d.h. abgefangenen) Ausnahme (nach dessen Behandlung das System weiterlaufen kann) ist fließend. Die Spezifizierung der Ausnahmebehandlung sollte also bereits in der Designphase des ETL-Prozesses beachtet und modelliert werden, um möglichst viele Ausnahmen abfangen zu können.

Folgende Fragen sollen beantwortet werden:

• Welche Arten von Fehlern gibt es? Welche Klassifikationen werden in der Literatur beschrieben?
• Welche konkreten Instanzen einer Fehlerart können auftreten?
• Welche Möglichkeiten gibt es für jede Fehlerart, sie abzufangen bzw. sie sicher zu verarbeiten?
• Welche Methoden zur Spezifizierung gibt es? Wie kann das Ganze modelliert werden?

Zielartefakte sind:

• Klassifikation von Fehlerarten unter Einbeziehung existierender Klassifikationen. (Was wird behandelt?)
• Konzeptionelles Modell zur Fehlerbehandlungsbeschreibung unter Einbeziehung existierender und thematisch benachbarter Modelle. (Wie wird es behandelt, in welcher Form?)

Quellen:

• Alkis Simitsis, Kevin Wilkinson, Malu Castellanos, and Umeshwar Dayal. 2009. QoX-driven ETL design: reducing the cost of ETL consulting engagements. In Proceedings of the 35th SIGMOD international conference on Management of data (SIGMOD ’09), Carsten Binnig and Benoit Dageville (Eds.). ACM, New York, NY, USA, 953-960. DOI=10.1145/1559845.1559954 http://doi.acm.org/10.1145/1559845.1559954
• Simitsis, A.; Wilkinson, K.; Dayal, U.; Castellanos, M.; Optimizing ETL workflows for fault-tolerance.Data Engineering (ICDE), 2010 IEEE 26th International Conference on. HP Labs., Palo Alto, CA, USA. 2010. DOI=10.1109/ICDE.2010.5447816
• Jie Liu, Senlin Liang, Dan Ye, Jun Wei und Tao Huang. ETL Workflow Analysis and Verification U-sing Backwards Constraint Propagation. Advanced Information Systems Engineering. Lecture Notes in Computer Science, 2009, Volume 5565/2009, 455-469, DOI: 10.1007/978-3-642-02144-2_36
• Gorawski, M.; Marks, P.; Fault-Tolerant Distributed Stream Processing System.Database and Expert Systems Applications, 2006. DEXA ’06. 17th International Workshop on. Inst. of Comput. Sci., Silesian Univ. of Technol., Gliwice. 2006. DOI=10.1109/DEXA.2006.61
• Zineb El Akkaoui and Esteban Zimanyi. 2009. Defining ETL worfklows using BPMN and BPEL. In Proceeding of the ACM twelfth international workshop on Data warehousing and OLAP (DOLAP ’09). ACM, New York, NY, USA, 41-48. DOI=10.1145/1651291.1651299 http://doi.acm.org/10.1145/1651291.1651299
• ETL Exception Handling (DWHInfo.com) http://dwhinfo.com/Technical/DataWareHousingETLExceptionHandling.html
• Data Cleansing http://en.wikipedia.org/wiki/Data_cleansing

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

Die Überführung von Daten aus Quellsystemen in ein Zielsystem erfordert unweigerlich den Einsatz von Ressourcen (Zeit und Arbeitsspeicher). Der Einsatz dieser Ressourcen wird üblicherweise sorgsam geplant, um das Kosten-Nutzen-Verhältnis zu optimieren. In diesem Zusammenhang werden die Anforderungen an ETL-Prozesse dermaßen gestellt, dass die gewünschten Ergebnisse (Bsp: minimales bzw. maximales Alter von aggregierten Daten im DWH) mit einem bestimmten, begrenzten Einsatz von Ressourcen (Bsp: minimaler Arbeitsspeicherbedarf; minimale Zeit von gesperrten Datenbanken beim Einsatz von pessimistischem Locking; minimale Behinderung der Arbeit mit einem System durch Ausführung der ETL-Prozesse während arbeitsfreier Nachtstunden) erreicht werden.

Folgende Fragen sollen beantwortet werden:

• Welche Arten von Anforderungen gibt es? Was wird durch sie beabsichtigt? Welche Klassifikati-onen werden in der Literatur beschrieben?
• Welche konkreten Instanzen von Anforderungen können gestellt werden?
• Welche Möglichkeiten gibt es für jede Anforderung, ihr gerecht zu werden? Wie wird eine Ab-weichung ggf. behandelt?
• Welche Methoden zur Spezifizierung gibt es? Wie kann das Ganze modelliert werden? (Beziehen Sie dabei auch Service Level Agreements mit ein, vgl. auch ITIL.)

Zielartefakte sind:

• Klassifikation von Performancekriterien unter Einbeziehung existierender Klassifikationen. (Was wird gefordert?)
• Konzeptionelles Modell zur Anforderungsbeschreibung/-erhebung unter Einbeziehung existie-render und thematisch benachbarter Modelle. (Wie wird es gefordert, in welcher Form?)

Quellen:

• Alkis Simitsis, Kevin Wilkinson, Malu Castellanos, and Umeshwar Dayal. 2009. QoX-driven ETL design: reducing the cost of ETL consulting engagements. In Proceedings of the 35th SIGMOD international conference on Management of data (SIGMOD ’09), Carsten Binnig and Benoit Dageville (Eds.). ACM, New York, NY, USA, 953-960. DOI=10.1145/1559845.1559954 http://doi.acm.org/10.1145/1559845.1559954
• Simitsis, A.; Wilkinson, K.; Dayal, U.; Castellanos, M.; Optimizing ETL workflows for fault-tolerance.Data Engineering (ICDE), 2010 IEEE 26th International Conference on. HP Labs., Palo Alto, CA, USA. 2010. DOI=10.1109/ICDE.2010.5447816
• Len Wyatt, Brian Caufield und Daniel Pol. Principles for an ETL Benchmark. Performance Evalua-tion and Benchmarking. Lecture Notes in Computer Science, 2009, Volume 5895/2009, 183-198, DOI: 10.1007/978-3-642-10424-4_14
• Alkis Simitsis, Panos Vassiliadis, Umeshwar Dayal, Anastasios Karagiannis und Vasiliki Tziovara. Benchmarking ETL Workflows. Performance Evaluation and Benchmarking. Lecture Notes in Computer Science, 2009, Volume 5895/2009, 199-220, DOI: 10.1007/978-3-642-10424-4_15
• SETLabs Briefings VOL7 NO1 2009: Performance Engineering and Enhancement, Infosys Technologies Ltd.
• Service Level Agreement Metriken http://en.wikipedia.org/wiki/Service_level_agreement#Common_metrics
• ITIL http://en.wikipedia.org/wiki/Information_Technology_Infrastructure_Library#Service_Design
• Capacity Management http://en.wikipedia.org/wiki/Capacity_management
• Application Performance Management http://en.wikipedia.org/wiki/Application_Performance_Management
• Performance Analysis (Profiling) http://en.wikipedia.org/wiki/Performance_analysis

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!

• Welche Aspekte von ETL-Prozessen dokumentiert werden?
• An wenn sich die Dokumentation richtet (Entwickler, Fachanwender, Beide, Weitere, …)
• Ob sich die Dokumentation vorab konfigurieren lässt?
• Die Benutzungsfreundlichkeit der Dokumentationserstellung.

Dabei ist zuerst zu untersuchen, ob die ETL-Prozessmodellierungstools über eine integrierte Dokumentationsfunktion verfügen und/oder ob es Dritt-Anbieter Tools gibt, die diese Funktion erfüllen.

Folgende ETL-Prozessmodellierungstools sind bei der Analyse zu berücksichtigen:

• Microsoft SSIS
• IBM DataStage
• Pentaho Data Integrator
• Talend

Zusätzlich ist zu überprüfen, ob Dritt-Anbieter Werkzeuge existieren, die herstellerunabhängig ETL-Prozesse dokumentieren können (Ein Bsp. könnte „Ascential MetaStage“ von IBM sein).

Quellen:

• Gluchowski, P., Kurze, C., and Wunderlich, M. 2010. “Modellierung und Dokumentation von BI-Systemen,” CONTROLLING – Zeitschrift für erfolgsorientierte Unternehmensplanung (22), pp. 676-682.
• Gluchowski, P., Hofmann, M., Kurze, C. and Jacobi, F. 2011. “Computer-Aided Warehouse Engi-neering: Dokumentation und Modellierung komplexer Data-Warehouse-Systeme”, 11th. TDWI Conference, München, 2011-06-07, in print.
• Inmon, B. 1997. “The data warehouse budget,” DM Review Magazine, January.
• Laudon, K. C., and Laudon, J. P. 2010. “MANAGEMENT INFORMATION SYSTEMS: MANAGING THE DIGITAL FIRM,” Upper Saddle River, New Jersey: Pearson.

Es ist selbstständig nach weiteren relevanten Quellen zu recherchieren!