adesso Blog
06.03.2024 von Stefan Klempnauer
Jsonnet als Beschleuniger für metadatengesteuerte Datenpipelines
Metadatengesteuerte Datenpipelines sind ein Gamechanger für die Datenverarbeitung in Unternehmen. Diese Pipelines nutzen Metadaten, um Prozesse dynamisch zu aktualisieren, anstatt bei jeder Änderung einer Datenquelle jeden Schritt manuell zu überarbeiten. Wie auch bei den Datenpipelines kann die Pflege der Metadaten einen Engpass bei der Wartung und Weiterentwicklung eines Pipeline-Frameworks darstellen. In diesem Blog-Beitrag zeige ich anhand praktischer Beispiele, wie die Template-Sprache Jsonnet die Pflege von Metadaten erleichtert.
weiterlesen22.02.2024 von Azza Baatout und Marc Mezger
Prefect - Workflow Orchestrierung für AI- und Data-Engineering-Projekte
Workflow-Orchestrierung und Workflow-Engines sind entscheidende Komponenten in der modernen Datenverarbeitung und Softwareentwicklung, insbesondere im Bereich der Künstlichen Intelligenz (KI). Diese Technologien ermöglichen es, verschiedene Aufgaben und Prozesse innerhalb komplexer Datenpipelines effizient zu verwalten und zu koordinieren. In diesem Blog-Beitrag stellen wir Prefect vor, ein intuitives Tool zur Orchestrierung von Workflows in der KI-Entwicklung.
weiterlesen12.02.2024 von Siver Rajab
Snowflake: Die Fortschrittliche Lösung im Datenmanagement
In der sich ständig weiterentwickelnden Welt der Datenanalyse und des Datenmanagements spielt Snowflake eine herausragende Rolle, die das Gesicht der Branche nachhaltig beeinflusst. Dieser Blog-Beitrag befasst sich mit der Entwicklung von Snowflake und warum es als bahnbrechende Lösung für Unternehmen gilt.
weiterlesen26.12.2023 von Mykola Zubok
Datenmanagement im Laufe der Zeit: von der Warehouse- zur Lakehouse-Architektur – Teil 1
Vor der Einführung von Computern verwendeten Unternehmen Geschäftsbücher, Inventarlisten und Intuition, um Kennzahlen zu erfassen. Ende der 1980er Jahre entstand das Data Warehouse für statische Berichte. Die Digitalisierung brachte neue Herausforderungen mit sich. Big Data überforderte traditionelle Data Warehouses, weshalb Unternehmen Data Lakes einführten, die sich aber auch auf die Architektur und die Konzepte von Analysesystemen auswirkten. Im ersten Teil dieses Blog-Beitrags geht es um deren Entwicklung, die Gründe für ihre Entstehung und die gelösten Probleme.
weiterlesen20.12.2023 von Mykola Zubok
Datenmanagement im Laufe der Zeit: Von der Warehouse- zur Lakehouse-Architektur – Teil 2
Im ersten Teil dieses Blog-Beitrags haben wir uns mit den Grundlagen von Data Warehouses und Data Lakes beschäftigt, um ihre Vorteile und Grenzen zu verstehen. In diesem Teil geht es um die Entwicklung hin zu einer hybriden Lösung - dem Data Lakehouse. Wir betrachten die Entwicklung der Datenstrukturen von der zweischichtigen Architektur bis zur Entwicklung des Lakehouse-Konzepts. Ihr erfahrt, wie das Lakehouse die Stärken von Data Lakes und Data Warehouses kombiniert, um die datengetriebenen Herausforderungen von heute zu bewältigen.
weiterlesen21.11.2023 von Sebastian Dienst
Data Governance – so trocken ist das überhaupt nicht
In einer zunehmend digitalisierten Welt wird das zielgerichtete Sammeln, Verstehen und Nutzen von Daten zum Erfolgsfaktor. Wer das weiterhin ignoriert, verliert im Zeitalter der Digitalisierung wichtiges Kapital für die Wettbewerbsfähigkeit und Innovationskraft. In meinem Blog-Beitrag erkläre ich, wieso eine Data Governance für Unternehmen wichtig ist und wie adesso in diesem Bereich unterstützen kann.
weiterlesen24.10.2023 von Yannik Rust
Azure Databricks vs. Azure Synapse Analytics vs. Azure Fabric
Die enorme Menge an täglich erzeugten Daten erfordert durchdachte Lösungen für Speicherung, Verarbeitung und Analyse. Microsoft Azure bietet eine vielfältige Auswahl an Datendiensten, um diese Anforderungen zu erfüllen. Dazu gehören Azure Databricks, Azure Synapse Analytics und Azure Fabric. Jeder Dienst hat seine eigenen Stärken und Vorteile. In meinem Blog-Beitrag werde ich diese drei Azure-Datendienste miteinander vergleichen.
weiterlesen04.09.2023 von Mike Deecke
Der geniale Data Lake
Ein Data Lake, auch als Datenplattform bezeichnet, ist eine geniale und äußerst effektive Lösung zur Bewältigung der komplexen Herausforderungen im Zusammenhang mit der Speicherung, Verwaltung und Analyse großer Datenmengen. Er stellt eine fortschrittliche Infrastruktur dar, die es Organisationen ermöglicht, Daten in ihrer nativen Form zu speichern und später flexibel zu verarbeiten. In meinem Blog-Beitrag stelle ich euch die Vorteile vor.
weiterlesen17.08.2023 von Mykola Zubok
Offene Tabellenformate in der modernen Datenanalyselandschaft
Apache Hudi, Iceberg und Delta Lake haben sich als leistungsstarke Werkzeuge erwiesen, die die Art und Weise, wie moderne Datenplattformen mit Datenmanagement und -analyse umgehen, revolutionieren. In meinem Blog-Beitrag werde ich auf die Kernfunktionen dieser Datentypen eingehen und ihre jeweiligen Stärken und Anwendungsmöglichkeiten hervorheben.
weiterlesenadesso Blogging Update
Unser Newsletter zum adesso Blog
Sie möchten regelmäßig unser adesso Blogging Update erhalten und über alle Themen unseres IT-Blogs informiert werden? Dann abonnieren Sie doch einfach unseren Newsletter und Sie erhalten die aktuellsten Beiträge unseres Tech-Blogs bequem per E-Mail.