Oracle Data Integrator
Der Oracle Data Integrator ist eine ETL-Software der Firma Oracle. Es stellt den Nachfolger des Oracle Warehouse Builder (OWB) dar. Dabei handelt es sich um ein komplett neues Produkt, das 2006 durch den Zukauf der Firma Sunopsis zum Produktportfolio der Firma Oracle hinzukam.
Wie bereits der OWB verfügt auch der ODI über eine grafische Benutzeroberfläche, die für den Aufbau von ETL-Prozessen genutzt werden kann.
Die Oberfläche und Menüstruktur des Oracle Data Integrator sind an den SQL Developer, die Datenbankentwicklungsumgebung von Oracle, angelehnt.
Der SQL Developer wird auch weiterhin für den Aufbau einer Oracle Datenbank benötigt, um die Datenbankobjekte und deren Konfiguration vorzunehmen. Der Oracle Data Integrator greift lediglich auf diese Strukturen zu.
Benutzeroberfläche und Funktionen zur Datenintegration
Im Wesentlichen unterteilt sich die anpassbare Benutzeroberfläche in zwei Bereiche auf. Standardmäßig befindet sich auch der linken Seite des Fensters die etwas schmalere Navigation, auf der rechten Seite werden die Projektinformationen wie Mappings, Konfigurationen und Prozessflüsse dargestellt.
Die Navigation beinhaltet verschiedene Registerkarten, den Designer, die Topology, den Operator und die Security. Jeder dieser vier Bereiche ist mit eigenen Funktionen und einer untergeordneten Navigation ausgestattet.
Designer Register
Der Designer ist die zentrale Komponente zur Entwicklung von ETL Strecken . Er wird zur Verwaltung von Projekten-spezifischen Variablen, Sequenzen, Funktionen und Knowledge Modulen zur Datenintegration verwendet.
Die Knowledge Module (KM) sind ein Kernstück des ODI. Diese stellen ein Framework zur individuellen Anpassung und Erweiterung von Verarbeitungsprozessen dar. Standardfunktionen wie Datenbank-Konnektoren werden bereits mitgeliefert. Die KM untergliedern sich in die Bereiche Reverse Engineering, Loading, Check, Integration, Journalization und Services. Importierte Funktionen in den jeweiligen Bereich können im ETL Prozess automatisch genutzt werden.
Die Benutzer- und Editoroberfläche sind nach Anlage eines Projektes im ODI zugreifbar. Jedes Projekt verwaltet seine Mappings eigenständig und konfiguriert seine eigenen Knowledge Module.
Topology Register
Die Topology wird zur Festlegung der Systemumgebung verwendet, die bspw. den jeweiligen Kontext der Entwicklung und Prozessausführung, die Verwendung einer physikalischen oder logischen Schicht oder die verwendeten Programmiersprachen verwaltet.
Operator Register
Der Operator wird zur Ausführung und Überwachung von Sitzungen und Prozessen, die während der Ausführung eines ETLs ablaufen, verwendet. Einzelne Ereignisse können chronologisch sortiert aus der Ereignisliste ausgewählt werden.
Security Register
Über die Security werden die Rechte der einzelnen Datenbanknutzer verwaltet.
ETL Entwicklung im Oracle Data Integrator
Das Anlegen von ETL-Strecken geschieht über die Interfaces. Über ein Interface wird das Mapping, der Datenfluss, der Kontrollfluss sowie ein Ablaufszenario und die Ausführung konfiguriert.
Die Erstellung der Mappings ist via Drag & Drop möglich. Das Mapping selbst ist in zwei Fenster, einem grafischen und einem tabellarischen, aufgeteilt. Beide können mit Drag & Drop befüllt werden. Eine automatische Mapping-Funktionalität stellt auf Wunsch selbstständig eine Relation zwischen gleichnamigen Spalten der Quell- und Zieltabelle her.
In der tabellarischen Detailansicht zu den einzelnen Spalten wird zugleich die gemappte Spalte angezeigt, was eine aufwändige Rückverfolgung erspart. Zudem werden in der grafischen und tabellarischen Ansicht die Datentypen offensichtlich angegeben sowie die Schlüsselspalten gekennzeichnet.
Quellsystemanbindung
Durch die Knowledge Module des ODI können Oracle-spezifische Datenquellen angebunden werden. Zudem bieten die KM eine breite Palette an Big Data Datenbank-Konnektoren wie beispielsweise Hadoop, Pig, HBase und Hive, an. Alle anderen Quelldatensysteme werden über die standardisierte JDBC oder ODBC Schnittstelle angebunden.
Workflows und Transformation
Der Workflow wird in der Ablaufsteuerung des jeweiligen Projektes festgelegt. Mit dem ODI besteht die Möglichkeit der Ausführung von Prozessen als ELT (Extract Load Transform) anstatt als ETL. Bei einem ELT werden im ODI nur die Datenextraktionen vorgenommen, der Lade- und Transformationsprozess findet auf der Datenbank statt. Dadurch lässt sich die Performance deutlich verbessern. In einem klassischen ETL Szenario wird die Transformation im ETL Server vorgenommen und anschließend in die Datenbank geladen.
Die Transformationen werden über die Eigenschaften der Zielspalten vorgenommen und direkt in ein Mapping integriert. Es gibt keine modularen Bausteine die „zusammengesteckt“ werden, wie es im Vorgänger OWB der Fall war.
Einschätzung des Oracle Data Integrator
Der Oracle Data Integrator ist eine sehr leistungsfähige ETL-Software, die sich besonders im Hinblick auf die Anbindung von Big Data Datenbanken und den Aufbau von Big Data Ladeprozessen anbietet. Grund dafür ist die Möglichkeit Prozesse im ELT Modus auf der Datenbank durchzuführen und damit einen enormen Geschwindigkeitsvorteil bei der Verarbeitung riesiger Datenmengen zu erhalten.
Für Einsteiger ist der komplexe ODI weniger gut geeignet. Die Projektstruktur wirkt wenig intuitiv. Es gibt viele Konfigurationsmöglichkeiten über die Eigenschaften einzelner Felder. Die grafische Komponente rückt während der Entwicklung eher in den Hintergrund.
Für Unternehmen ist der ODI jedoch eine gute Lösung, um den individuellen Anforderungen an die Datenintegration und das eigene Data Warehouse gerecht zu werden. Die Knowledge Module können um Best Practice Prozesse erweitert und direkt integriert werden. Der ODI ist, durch seine Big Data Integration, ein zukunftsfähiges ETL-Werkzeug, das Unternehmen langfristig unterstützen kann.