Data Mesh: Ein Paradigmenwechsel zur Erschließung des vollen Datenwerts
Das Data-Mesh-Konzept ist auf dem Weg, den zentralen Data Lake als vorherrschendes Architekturparadigma im Analytics-Bereich abzulösen. Denn es ermöglicht, auch große Datenvolumen in Unternehmen praxisnah zu strukturieren und effektiv im Self-Service nutzbar zu machen. Ein aktuelles Whitepaper zeigt Zusammenhänge und Möglichkeiten.
Daten-Strukturen statt -Grenzen
Um die Datenhaltung und -nutzung im Unternehmen zu demokratisieren, wurde das Data-Lake-Konzept lange als der besser skalierbare Nachfolger des Data-Warehouse-Ansatzes betrachtet. Die großen Erwartungen, die an Data Lakes gestellt wurden, haben sich allerdings nur teilweise erfüllt. Zu Beginn erwies sich das Vorgehen, Daten aus mehreren Quellen und Formaten zusammenzubringen, um neue Erkenntnisse daraus zu generieren, als durchaus vielversprechend.
Ohne ordnendes Prinzip gesammelt, entziehen sich diese Daten mit steigenden Volumen und zunehmender Komplexität jedoch ihrer Nutzung. Und der Datensee verwandelt sich eher in einen Sumpf, der nicht mehr zentral zu verwalten ist, den aber auch keiner abschalten möchte. Im Gegenteil: Nach wie vor investieren (zu) viele Unternehmen in zentralisierte Data Lakes, in der Hoffnung, Daten in großem Umfang demokratisieren und für Analytics nutzbar machen zu können.
Datenprodukte für Self-Service-Analysen
Das Data Mesh-Konzept schafft hier Abhilfe! Es markiert den grundlegenden Paradigmenwechsel von einem zentralisierten zu einem dezentralen Ansatz und ermöglicht, große Datenvolumen praxistauglich als „vermaschtes“ Netz bzw. Data Mesh zu strukturieren und nutzbar zu machen.
Die daraus resultierende Lösung liegt in einer verteilten, Domain-orientierten Datenarchitektur, die Daten für bequeme Self-Service-Analysen der verschiedenen Fachbereiche bereitstellt. Neu und wegweisend ist, dass die Daten dabei als „Produkte“ behandelt werden, die ganzheitlich, über alle Fachbereiche hinweg, entwickelt und gepflegt werden können und sich beliebig vernetzen und kombinieren lassen.
Statt Daten also zentral zu verwalten bzw. dies nicht mehr zu können, orientieren sie sich an Domains und sind im Besitz unabhängiger und funktionsübergreifender Teams, die einsatzbereite Datenprodukte mit sofortigem und bestmöglichem Nutzen bereitstellen können.
Veränderte Strukturen und neue Möglichkeiten
Der womöglich größte Effekt des Data-Mesh-Konzepts liegt in der Veränderung von Teamstrukturen und neuen Möglichkeiten der Zusammenarbeit: Statt hochspezialisierter zentraler Engineering Teams wird es cross-funktionale Teams mit Domain-Wissen geben.
Damit einher geht ein kultureller, organisatorisch getriebener Wandel. Statt starrer Abteilungen gibt es flexible Verantwortlichkeiten und alles ist Domain-orientiert.
Diese neue Art des Datendenkens und -handelns kann ein Impuls für Unternehmen sein, künftig deutlich kreativer mit den eigenen Daten umzugehen. Das Ergebnis können neue digitale Services und Businessmodelle sein, die Transparenz, Effizienz und Wertschöpfung deutlich verbessern.
In einem aktuellen Whitepaper erläutert Georg Rösch, Senior Data Engineer und Data-Mesh-Pionier bei Orange Business, worin die Limitierungen von Data Lakes bzw. zentral gesteuerten Plattformen bestehen, was ein Data Mesh ist und wie es sinnvoll zur Anwendung kommt.