Modern Data Stack “Made in Europe”: Wo stehen wir?

Ich sage in Erstgesprächen oder Vorstellungsrunden immer sowas wie: “Wir bei The Data Institute denken immer Cloud first bei unseren technischen Lösungsansätzen.” und “Wir sind auf allen drei Hyperscalern zu Hause!”

Während sich an der ersten Aussage auch in Zukunft aller Voraussicht nach nichts ändern wird, sehe ich bei der zweiten aufgrund zunehmender Unsicherheiten in der globalen Wirtschaft zumindest Erweiterungspotenzial. Neben den üblichen Fragen nach der Sicherheit und der DSGVO-Konformität amerikanischer Hyperscaler tauchen zunehmend Fragen auf, die noch viel grundlegender und bedrohlicher klingen und folgenden Tenor haben: “Was passiert, wenn der amerikanische Präsident auf einmal auf die Idee kommt, den Verkauf und Betrieb amerikanischer Dateninfrastruktur in Europa als politisches Druckmittel zu benutzen?”

Um es gleich vorweg zu nehmen: Ich kann mir nur sehr schwer vorstellen, dass es zu einem exorbitanten Preisanstieg oder gar zu einer (teilweisen) Abschaltung US-amerikanischer Dateninfrastruktur in Europa kommen wird. Dafür ist der größte zusammenhängende Wirtschaftsraum der Welt einfach zu wichtig für die Software- und Cloud-Anbieter aus den USA und der Druck der Aktienmärkte am Ende möglicherweise noch am ehesten dazu in der Lage, einen erratisch agierenden Präsidenten in gewisse Schranken zu weisen.

Dennoch sind die weltweiten politischen und wirtschaftlichen Entwicklungen allemal Grund genug, sich nach Alternativen im Datenbereich umzuschauen und das Thema Modern Data Stack “Made in Europe” einmal näher zu beleuchten.

Was macht einen Modern Data Stack aus?

Ein Modern Data Stack (MDS) ist eine Sammlung von Best-of-Breed-Tools mit einem Data Warehouse (oder auch Lakehouse) im Kern, die zusammen eine vollständige Dateninfrastruktur bilden. Im Gegensatz zu monolithischen Legacy-Systemen zeichnet sich der MDS durch folgende Eigenschaften aus:

• Cloud-native Architektur: Skalierbarkeit und Flexibilität durch Cloud-Technologien
• Entkopplung von Speicher und Compute: Unabhängige Skalierung beider Ressourcen
• ELT statt ETL: Daten werden erst nach dem Laden transformiert
• Automatisierung: Reduzierung manueller Eingriffe durch Orchestrierung
• Data Governance: Integrierte Maßnahmen für Datensicherheit und -qualität
• Weniger IT Abhängigkeit: Zumeist sind nur grundlegende IT Kenntnisse notwendig, um eine moderne und skalierbare Dateninfrastruktur zu betreiben 

Die US-Dominanz im Modern Data Stack

Betrachtet man die gängigen Komponenten eines Modern Data Stack, wird die US-amerikanische Dominanz schnell deutlich:

• Cloud-Infrastruktur: Amazon Web Services (AWS), Google Cloud Platform (GCP), Microsoft Azure
• Data Warehousing: Snowflake, Google BigQuery, Amazon Redshift
• Data Integration/ELT: Fivetran, Airbyte, dbt
• Orchestrierung: Airflow, Dagster, Prefect
• Business Intelligence: Google Looker, Tableau, Microsoft Power BI
• Data Governance: Alation, Atlan
• Versionierung: GitHub, GitLab und Bitbucket

Diese Marktkonzentration birgt die bereits eingangs beschriebenen Risiken: Bei geopolitischen Spannungen, regulatorischen Änderungen oder einem unberechenbaren US-Präsidenten könnten europäische Unternehmen plötzlich von kritischer Infrastruktur abgeschnitten werden.

Europäische Alternativen im Aufbau

Viele in Europa sind sich dieser Abhängigkeit zunehmend bewusst und die Diskussion um Alternativen hat nicht zuletzt durch das große Thema KI und die aktuellen politischen Entwicklungen immens an Fahrt aufgenommen. Dies wird u.a. in der kürzlich von der Europäischen Kommission beschlossenen KI-Initiative zum Bau sog. KI-Fabriken in Europa deutlich.

Cloud-Anbieter aus Europa mit MDS-Potential

Abseits von KI bedarf es für den Aufbau eines Modern Data Stacks “Made in Europe” jedoch eine Vielzahl von Komponenten, wie oben bereits erläutert. Die nun folgenden Cloud-Anbieter verfügen bereits über einige interessante Möglichkeiten, eine Datenlandschaft aufzubauen, haben jedoch aber auch ihre Nachteile im Vergleich zu den amerikanischen Hyperscalern:

Stackhero‍

Der französische Cloud-Anbieter bietet eine benutzerfreundliche Plattform für Managed Services wie Datenbanken, Messaging und Storage mit hohem Fokus auf Sicherheit und DSGVO-Konformität:

• Managed Database Services: Unterstützung für PostgreSQL, MySQL, MongoDB und Redis, vergleichbar mit AWS RDS, jedoch mit geringerer Skalierbarkeit
• Object Storage: S3-kompatible Speicherlösung mit guter Performance und niedrigerer Latenz für europäische Nutzer

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Deutlich kleinere Produktpalette im Vergleich zu AWS, GCP oder Azure
• Geringere Skalierbarkeit bei sehr großen Datenmengen
• Weniger umfangreiche Dokumentation und kleinere Community für Support

STACKIT‍

Die deutsche Tochterfirma der Schwarz Gruppe betreibt ihre Server ausschließlich in Deutschland und Österreich. Auch hier finden sich bereits einige interessante Ansätze, die kontinuierlich weiterentwickelt werden:

• STACKIT Data Services: Angebot von PostgreSQL und MongoDB als vollständig verwaltete Dienste für transaktionale Datenbankanforderungen
• STACKIT Data Warehouse: Ein skalierbarer Data Warehouse-Dienst basierend auf Open-Source-Technologien, der als Alternative zu Snowflake positioniert wird, jedoch mit geringerem Funktionsumfang

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Eingeschränkter Funktionsumfang im Vergleich zu etablierten US-Lösungen
• Fehlende Integration mit vielen gängigen Data Engineering-Tools
• Weniger ausgereifte Automatisierungs- und Orchestrierungsfunktionen
• Geringere Marktdurchdringung, was zu Kompatibilitätsproblemen mit Drittanbieter-Tools führen kann

IONOS Cloud‍

Die 1&1 IONOS SE bietet eine europäische Cloud-Lösung mit Fokus auf DSGVO-Konformität, guter Performance und vergleichsweise intuitiver Bedienung:

• Data Center Designer: Flexible Infrastruktur-Konfiguration für datenintensive Anwendungen, ähnlich AWS CloudFormation, aber mit eingeschränkteren Automatisierungsmöglichkeiten
• Managed Kubernetes: Service für containerisierte Daten-Workloads, vergleichbar mit GKE, aber mit weniger integrierten Datenservices

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Fehlen spezialisierter, integrierter Data Warehouse-Lösungen wie Snowflake oder BigQuery
• Weniger ausgereifte APIs und Entwicklertools im Vergleich zu AWS oder GCP
• Geringere Geschwindigkeit bei der Einführung neuer Datenverarbeitungstechnologien
• Schwächere Ökosystemintegration mit modernen Data Engineering-Tools

Deutsche Telekom Open Telekom Cloud‍

Bereits auf den ersten Blick wird klar, dass hier eigentlich eine monolithische Strategie verfolgt wird - alles aus einer Hand und damit eher nicht im Sinne des Modern Data Stack Ansatzes. Basierend auf OpenStack bietet die Telekom eine DSGVO-konforme Cloud-Infrastruktur mit Rechenzentren in Deutschland, die hier dennoch kurz Erwähnung findet:

• Open Telekom Cloud MapReduce Service (MRS): Ein Hadoop-basierter Service für Big Data-Verarbeitung, der mit Amazon EMR vergleichbar ist, aber weniger nahtlos in moderne Data Pipelines integriert werden kann
• Data Lake Insight (DLI): SQL-basierte Abfragelösung für große Datensätze, ähnlich zu Athena, jedoch mit geringerer Abfragegeschwindigkeit

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Stärker monolithisch ausgerichtete Architektur, die weniger gut zum modularen MDS-Konzept passt
• Höhere Kosten im Vergleich zu US-Hyperscalern, besonders für Compute-Ressourcen
• Weniger agile Produktentwicklung und langsamere Einführung neuer Funktionen
• Schwieriger in Best-of-Breed-Setups zu integrieren, da API-Schnittstellen teilweise proprietär sind

Weitere Komponenten aus Europa

Colibra

‍Eine der wenigen etablierten europäischen Komponenten für einen Modern Data Stack ist im Bereich Data Governance zu Hause. Die in Belgien ansässige Firma bietet umfassende Lösungen für Data Governance, Datenkatalog, Datenqualität und Datenschutz. Collibra ermöglicht Unternehmen, ihre Daten zentralisiert zu verwalten, zu dokumentieren und zu verstehen. Die Plattform zeichnet sich durch automatisierte Datenklassifizierung, Lineage-Tracking und Workflow-Management aus.

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Generell kann man ruhigen Gewissens sagen, dass Colibra in derselben Liga spielt wie die US-Konkurrenzprodukte, was Funktionalitätsumfang und Integration angeht
• Die recht komplexe Bereitstellung und längere Time-to-Value im Vergleich zu einigen leichtgewichtigeren Alternativen ist demnach eher eine Frage des Ansatzes

Exasol

‍Die deutsche In-Memory-Datenbank bietet hohe Performance und Skalierbarkeit als Alternative zu Snowflake. Exasol's Column-Store-Technologie und patentierte In-Memory-Architektur ermöglichen extrem schnelle analytische Abfragen, die in bestimmten Benchmarks sogar Snowflake übertreffen. Die Lösung kann sowohl on-premises als auch in der Cloud betrieben werden.

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Weniger umfangreiches Ökosystem an Tools und Integrationen als Snowflake
• Höhere Einstiegshürde für kleinere Unternehmen (Komplexität und Kosten)
• Geringerer Marktanteil führt zu Herausforderungen bei der Suche nach erfahrenen Entwicklern

Adverity

‍Das österreichische Unternehmen bietet Marketing-Datenintegration mit Governance-Funktionen, die mit Fivetran oder Segment konkurrieren kann. Die Plattform ist besonders auf die Integration von Marketing-Daten spezialisiert und bietet überdies vorgefertigte Dashboards.

Nachteile im Vergleich zum US-zentrierten Modern Data Stack:

• Fokussierung hauptsächlich auf Marketing-Datenquellen, weniger universell als allgemeine ELT-Tools
• Geringere Aktualisierungsfrequenz bei neuen API-Versionen von Datenquellen
• Weniger tiefgreifende Transformationsmöglichkeiten im Vergleich zu dbt
• Eingeschränktere Community und weniger öffentlich verfügbare Ressourcen

Fazit: Der Weg zu einem souveränen europäischen Data Stack

Die Entwicklung eines europäischen Modern Data Stack ist nicht nur eine technologische, sondern auch eine strategische Notwendigkeit. Während US-Anbieter derzeit noch deutliche Vorteile in Bezug auf Funktionsumfang, Marktreife und Integration bieten, gewinnen europäische Alternativen zunehmend an Bedeutung.

Die Realität sieht aktuell so aus, dass europäische Lösungen in vielen Bereichen noch nicht die gleiche Reife und den gleichen Funktionsumfang bieten wie ihre US-amerikanischen Pendants. Entscheidend ist hier, dass Produkte wie Snowflake, Databricks und in Teilen auch BigQuery heute weit mehr sind als skalierbare Data Warehouse-Lösungen. In den vergangenen Jahren haben sie sich zu regelrechten Datenplattformen weiterentwickelt, die nicht nur SQL verarbeiten können, sondern auch Python und andere Programmiersprachen zulassen. Dies ermöglicht eine sehr viel größere Anzahl an Use Cases und erweitert die Zielgruppe derer, die eine solche Plattform technisch nutzen können, enorm.

Für Unternehmen empfiehlt sich daher ein pragmatischer Ansatz:

1. Risikobewertung: Identifizieren kritischer Dateninfrastrukturen und Bewertung der geopolitischen Risiken.

2. Hybride Architektur: Für besonders sensible oder geschäftskritische Anwendungen sollten europäische Lösungen priorisiert werden, während für andere Bereiche weiterhin die besten verfügbaren Tools unabhängig von ihrer Herkunft genutzt werden können.

3. Ausstiegsstrategie: Entwicklung von Plänen für einen möglichen Wechsel von US-amerikanischen zu europäischen Anbietern, falls geopolitische Risiken zunehmen.

4. Unterstützung des Ökosystems: Durch die bewusste Entscheidung für europäische Anbieter, wo immer möglich, tragen Unternehmen zudem zur Stärkung des europäischen Tech-Ökosystems bei.

Bei TDI beraten wir unsere Kunden genau zu diesem Thema: Wie kann ein zukunftssicherer Modern Data Stack aufgebaut werden, der Souveränität mit Leistungsfähigkeit verbindet? Die Antwort liegt in einem durchdachten Technologie-Mix, der die jeweiligen Stärken europäischer und internationaler Lösungen optimal kombiniert, während gleichzeitig eine strategische Roadmap für mehr Datensouveränität entwickelt wird.

Thomas ist Co-Founder von The Data Institute und leitet unter anderem den Bereich Beratung / Datenstrategie. Mit über 10 Jahren Erfahrung in der Konzeption und Implementierung von Datenarchitekturen für Unternehmen verschiedener Größen und Branchen kennt er sowohl die Herausforderungen als auch die Chancen moderner Datentechnologien. Als Verfechter eines pragmatischen Ansatzes berät er Unternehmen an der Schnittstelle zwischen technologischer Innovation und strategischer Datensouveränität.

Sie möchten mehr über europäische Alternativen im Modern Data Stack erfahren oder Ihre eigene Datenstrategie zukunftssicher gestalten? Kontaktieren Sie Thomas direkt unter thomas.borlik@datainstitute.io oder vereinbaren Sie ein unverbindliches Beratungsgespräch

Photo @jakub_k auf unsplash