Smarter | Data Engineering | Scheduling

datasqill /ˈdeɪtə skɪl/ ist eine schlanke Transformations- und Data Engineering Lösung für Datenintegration, Datenmigration und Data Warehousing. Die Lösung basiert auf einer modularen Architektur, realisiert das Konzept der nativen Ausführung und unterstützt SQL als Tranformationsprache. datasqill ermöglicht die einfache und intuitive Modellierung von Datentransformationen und übernimmt deren automatisierte Ausführung.

In Gegensatz zu gängigen ETL-Lösungen führt datasqill die Transformationen direkt dort aus, wo die Daten gespeichert sind. Mit datasqill holen unsere Kunden das Beste aus Ihren Datenbanken und erreichen eine neue Stufe mit intelligenten Automatisierungs- und Integrationsfeatures. datasqill ist eine perfekte ETL- / ELT- und Transformationslösung für In-Memory, MPP und Cloud-Datenbanken als auch für Big Data.

Flyer runterladen Demoversion runterladen

Native Ausführung

Transformationen werden dort ausgeführt, wo die Daten gespeichert sind, was eine performante und transparente Datenbewirtschaftung für jeden Use Case sicherstellt und sowohl ETL als auch ELT Vorgehen ermöglicht. Dadurch lassen sich die Features der Datenbanken besser ausnutzen (wie z.B. In-Memory, MPP).

SQL als Transformationssprache

SQL ist eine universelle Schnittstellensprache für Datenbanken und Hadoop (SQL-on-Hadoop). SQL kann in allen Projektphasen von Prototyping bis zur Implementierung verwendet werden, was den Entwicklungsprozess agiler macht. Die Fehleranalyse wird auch einfacher, da der Code direkt ausführbar ist.

Smarte Ablaufsteuerung

datasqill erkennt die Abhängigkeiten zwischen den Transformationen auf Basis der Metadaten, wodurch die Transformationen automatisch in korrekter Reihenfolge ausgeführt werden. Die Ausführungsstatistiken werden gesammelt und für die Ablaufoptimierung zukünftiger Ausführungen heranzgezogen.

Modularisierung

datasqill ist modular aufgebaut und bietet ein Spektrum von Modulen für verschiedene Einsatzzwecke u.a. In-Database Transformationen, Arbeit mit Flat Files, Web Services, Integration mit Reporting Tools und externen Scheduler. Kundeneigene Module lassen sich nach Bedarf in beliebigen Sprache entwickeln (Java, PL/SQL, PL/pgSQL, Lua, Shell-Scripting) und nahtlos integrieren.

Datenhistorisierung

Eine Out-of-the-Box Lösung für technische und fachliche Datenhistorisierung (sogenannte bitemporale Datenhistorisierung) für die Datenbanken ermöglicht effizientes Datenmanagement ohne Notwendigkeit Code zu entwickeln für Szenarien wie SCD2, Quellsystem Historisierung und Pflege von Mapping Tabellen im Data Warehousing.

Scheduling und Monitoring

datasqill ermöglicht Ausführung der Transformationsbatches nach Plan und unter Berücksichtig der Abhängigkeiten, visualisiert die Ausführungshistorie und ermöglicht die Kontrolle über laufende Prozesse.

Use Case: Data Warehousing und BI

datasqill unterstützt ideal bei der Entwicklung von ETL- oder ELT-Strecken für DWH und BI und sorgt für deren performante, stabile und automatisierte Ausführung. Dazu gehören Staging, Beladung der 3NF und Star-schema sowie die bitemporale Historisierung der Daten.

Use Case: Mass Data / Big Data

Die Transformationen werden direkt dort ausgeführt, wo die Daten gespeichert sind (Push-Down), was bei der Verarbeitung der größeren Datenmengen besonders wichtig ist. datasqill ermöglicht somit performante und transparente Datenverarbeitung für Massendaten mit minimalem Netzwerktraffik.

Use Case: Data Integration

Anbindung von heterogenen Datenquellen (Datenbanken, Flat Files, Web Services), zerlegen von unterschiedlichen Datenformaten (wie z.B. CSV, XML, JSON), Datentransformation und Export der verarbeiteten Daten lassen sich mit datasqill perfekt automatisieren.

Use Case: Data Migration

Transformationen und Datenaufbereitung zur Migration von Daten aus Alt- in die Neusysteme lassen sich mit datasqill schnell entwickeln und produktiv nutzen. Die Daten werden aus den Altsystemen extrahiert, aufbereitet und direkt ins Zielsystem geschrieben (oder z.B. als Flat Files exportiert).

Use Case: In-Memory und MPP Datenbanken

datasqill ermöglicht natives Ausführen der Transformationen in der Datenbank mittels SQL oder mithilfe von nativen Datenbank-Modulen (PL/SQL, Lua, PL/pgSQL), was es zu einem idealen ELT / ETL Tool für In-Memory und MPP Datenbanken macht.

Use Case: Cloud

datasqill propagiert die Ausführung der Transformationen in das Zielsystem, egal ob On-Premises oder In-the-Cloud, und ermöglicht nahtlose Steuerung der Transformationsausführung zwischen Cloud und On-Premises Lösungen als auch Kommunikation über Web Services. Damit haben Sie auch Ihre stark verteilte Transformationsumgebung im Griff.

Transformationsnetz


Transformationen (blau) werden auf einem Arbeitsblatt platziert. Dabei wird definiert, welche Quell- und Zielobjekte (grau) sie benutzen.

Code Editor


Transformationslogik wird hier im Beispiel in SQL als ein Select-Statement programmiert. Funktionale Module generieren daraus zur Laufzeit ein Ziel-SQL, welches gegen die Datenbank ausgeführt wird.

Monitor


Durch das Monitoring lassen sich die laufende Transformationen überwachen und steuern.

Batch Editor


Um die regelmäßige Ausführung von Transformationen bestimmter Arbeitsblätter zu planen, werden diese in Batches gruppiert und gemeinsam gestartet.

  • "datasqill konnte unser Interesse durch seine Konzepte In-Database Ausführung und Transformationsentwicklung mit SQL wecken. Die Verwendung von SQL für Analyse, Implementierung und Test ermöglicht einen weichen Übergang ohne Medienbrüche von einer Entwicklungsphase zur nächsten, die Ausführung in unmittelbarer Nähe zu den gespeicherten Daten sorgt für den performanten Betrieb. Das smarte Scheduling, die intuitive Bedienung, die standardisierte Modularität und die bedarfsorientierte Erweiterbarkeit waren weitere wichtige Merkmale, mit denen das Produkt überzeugen konnte.

    datasqill zeichnet sich gegenüber anderen Lösungen durch kurze Entwicklungszeiten und stabilen Produktivbetrieb aus und stellt dadurch heute eine der wichtigsten Säulen unseres Data Warehouses dar. Die Erfolge beim Aufbau unseres Data Warehouses wurden durch verschiedene Auszeichnungen wie etwa von CIO Magazin oder der Business Application Research Center (BARC) entsprechend honoriert."

    Abteilungsleiter BICC, M-net Telekommunikations GmbH

  • "Mit der Einführung der innovativen Ablaufsteuerungssoftware datasqill konnten wir die Stabilität der ETL-Prozesse und die Datenqualität unserer vielfältigen Kennzahlen auf ein neues Niveau heben. Wir erkennen heute auf einen Blick, wo Probleme auftauchen und können sehr schnell darauf reagieren. Sowohl für einen optimalen Entwicklungsprozess als auch für die Betriebseffizienz einer modernen, analytischen Datenplattform haben die kompetenten SoftQuadrat-Mitarbeiter einen wertvollen Beitrag geleistet."

    Head of Business Intelligence Operations, Seven.One Entertainment Group GmbH

Kontakt

Kontaktieren Sie uns über das Kontakformular um eine kostenlose Demoversion von datasqill runterzuladen. Wir würden uns auch freuen eine unverbindliche Produktvorstellung für Sie zu organisieren!

Gerne möchten wir auch mit Beratungshäuser in Kontakt treten, die unser Produkt bei ihren Kunden einsetzen möchten.

datasqill wurde mit von der Firma SoftQuadrat GmbH

contactdatasqill.de
Tel.: 08095 / 87 59 27

Unsere Partner

Exasol Snowflake Productive Data Eurodata Comesio Cologne Intelligence Blue Veery Brainer

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben zur Kontaktaufnahme und für Rückfragen dauerhaft gespeichert werden. Hinweis: Sie können Ihre Einwilligung jederzeit für die Zukunft per Mail an contactdatasqill.de widerrufen.