Automatisierung der Datenintegration – von Fremdsystemen in Microsoft Dynamics 365
Teilen:
Wie Sie Ihre vorhandenen Stammdaten – z.B. im Rahmen eines ERP-Wechsels – einmalig, sauber, schnell und vollständig in Ihr neues ERP-System bekommen, haben wir Ihnen in einem vergangenen Blogbeitrag zum Thema Datenmigration in Microsoft Dynamics 365 bereits gezeigt. In diesem Beitrag gehen wir einen Schritt weiter und zeigen Ihnen, welche Möglichkeiten Sie haben, wiederkehrende Datenintegrationsprojekte zwischen Microsoft Dynamics 365 und anderen Datenquellen zu automatisieren.
Wann es sich lohnt, den Datenaustausch zu automatisieren
Datenmigration Vs. Datenintegration
Von „Datenmigration“ spricht man bei Projekten, bei denen Daten nur einmalig von System A zu System B übertragen werden – z.B. beim Transferieren sämtlicher Stammdaten von einem alten in ein neues (ERP / CRM) System. Hier erfolgt der Datenaustauch in der Regel über Excel, CSV, XML oder txt.-Dateien, die im Vorfeld entsprechend aufbereitet werden. Manchmal wird auch direkt auf Datenbanken zugegriffen. Für diese einmalige Datenmigration lohnt es sich in den seltensten Fällen, eine Automatisierung einzurichten.
Anders verhält es sich bei der „Datenintegration“. Von Datenintegration spricht man, wenn Daten, die in Fremdsystemen erzeugt werden, in wiederkehrenden Intervallen (egal ob regelmäßig oder unregelmäßig) ins eigene ERP-System übertragen werden müssen. Je häufiger dieser Datenaustausch erfolgt, desto mehr lohnt sich eine Automatisierung bei Ihrer Datenintegration.
Anwendungsfälle
Daten, die in Fremdsystemen erzeugt werden, müssen in wiederkehrenden Abständen ins eigene ERP-System übertragen werden.
Dies ist beispielsweise der Fall, wenn:
- Bestehende Web- und Online-Shops ans ERP-System angebunden sind, deren Daten regelmäßig übertragen werden müssen.
- Drittlösungen (z.B. Lohnabrechnungsprogramme, CRM-Systeme) einzelne Module Ihres ERP-Systems ergänzen.
Automatisierung der Datenintegration
Der erste Schritt vor der Einrichtung einer automatisierten Datenintegration ist die fachliche Abstimmung zwischen Kunden und Berater. Auf Ebene der Entitäten wird dann für jedes Attribut geprüft, welche Informationen aus System A ins System B müssen – und ob bei diesem Vorgang gleichzeitig Änderungen an den zu importierenden Daten vorgenommen werden sollten.
Sinnvolle Änderungen könnten u.a. sein:
- Anpassung / Vereinheitlichung der Einheiten (anstelle von Angaben z.B. in Gramm und Zentimeter alles in Kilogramm und Meter)
- Umrechnung von Fremdwährungen (Angabe von Europreisen)
- Korrektur von Fehlern (automatische Korrektur von Länderabkürzungen, aussortieren falscher Postleitzahlen)
- Änderungen bestimmter Stammdaten (z.B. Umstellung von 6-stellig fortlaufenden Artikelnummer zu 7- oder 8-stellig fortlaufenden Artikelnummern)
Ist das geklärt, dann kann die Datenintegration automatisiert werden.
Entwicklung von Schnittstellen
Der klassische Weg der automatisierten Datenintegration ist die Entwicklung von Schnittstellen. Hier stimmen sich in der Regel ein Entwickler des Kunden und ein Entwickler des Beraters über technische Details ab wie:
- Kommunikationsrichtung (bidirektional oder nur von System A ins System B)
- Formate der Kommunikation
- Automatisierungs-Zyklus (Echtzeit, alle 4 Stunden, oder zu Zeiten geringerer Auslastung der Systeme wie z.B. Nachts)
Noch vor wenigen Jahren waren selbst entwickelte Schnittstellen der Standardweg, um Datenintegrationen aus Fremdsystemen zu automatisieren. Da dies eine sehr zeitaufwändige Arbeit ist, geht der Trend aber in eine andere Richtung: Vorgefertigte Integrationen und Werkzeuge, mit denen Fremdsysteme ohne viel Programmieraufwand (Low Code / No Code) anzubinden sind. Auch Microsoft hält für die Automatisierung der Datenintegration Werkzeuge bereit.
Automatisierung der Datenintegration: Werkzeuge in Microsoft Dynamics 365
Für die Automatisierung der Datenintegration stellt Microsoft wichtige Werkzeuge zur Verfügung.
1. Wiederkehrendes Datenprojekt
Diese Option ist im Standard von Microsoft Dynamics 365 enthalten. Das wiederkehrende Datenprojekt startet stets zu einem im Vorfeld definierten Zeitpunkt und importiert die verknüpfte Datei. Die Verknüpfung zwischen dem Datenprojekt und der Datei muss zuvor aufgebaut werden. Beim wiederkehrenden Datenprojekt werden dann einfach die Daten, der zugrunde liegenden Datei importiert – Prüfungen der Daten, Ja-Nein-Abfragen, ergänzende Workflows, etc. lassen sich hier nicht einrichten.
2. Microsoft Power Automate (ehemals Flow) & Logic Apps
Microsoft Power Automate und die Logic Apps sind Teil der Power Platform und damit ein wichtiger Bestandteil des Business Applications Solutions Ecosystems (BASE) von Microsoft. Microsoft Power Automate bietet den Rahmen für Aufbau und Management von Arbeitsbereich-übergreifenden Workflows. Im Falle einer Automatisierung der Datenintegration bieten Microsoft Power Automate und Logic Apps zahlreiche Möglichkeiten, die über den reinen Datenimport hinausgehen.
Ein paar Möglichkeiten kurz skizziert:
- Einbau weiterer Datenprüfungen.
- Automatisierte Überprüfung auf vorhandene Datensätze – z.B. bei neuen Kontakten fürs CRM. Nur neue Datensätze, bzw. ergänzende Informationen werden eingefügt (Update).
- Einbau von Bedingungen. So werden nur Daten (automatisch) importiert, die im Vorfeld definierte Bedingungen erfüllen. Überall, wo dies nicht der Fall ist, wird anstelle des Datenimports ein Workflow angestoßen, an dessen Ende beispielsweise eine automatisierte Anpassung oder eine manuelle Überprüfung der Daten stehen kann.
- Automatisierte Ergänzung oder Änderung bestimmter Datensätze nach im Vorfeld definierten Regeln (wichtig vor allem dann, wenn Pflichtfelder nicht oder nicht vollständig befüllt sind).
- Steuerung des Zeitpunktes, wann die Daten geprüft bzw. automatisiert importiert werden. In Echtzeit (sobald das externe System die Daten produziert und ablegt) oder zu einem im Vorfeld definierten Zeitpunkt (z.B. nur außerhalb der Kernarbeitszeiten, um Performance-Probleme zu vermeiden).
Kurz zusammengefasst:
Alles, was früher beim Konzipieren einer Schnittstelle im Vorfeld definiert und berücksichtigt werden musste, lässt sich mit Microsoft Power Automate und Logic Apps abbilden – und dass auch, nachdem die Datenintegration über Microsoft Power Automate bzw. Logic Apps eingerichtet und automatisiert wurde. Programmierkenntnisse sind hierbei nicht erforderlich.
Grundsätzlich stecken hinter Microsoft Power Automate die Logic Apps. Ergänzend bei den Logic Apps: Sie können in das Versionsmanagement eingebunden werden und bieten mehr Möglichkeiten bezogen auf Individualisierung (Einbinden von Quellcode und Azure Functions).
Wann sind die Daten aus Fremdsystemen ausreichend für die Integration zu Microsoft?
Die Frage, ob sich Daten von einem Fremdsystem in Microsoft Dynamics 365 importieren lassen, lässt sich fast immer mit JA beantworten. Wann immer Fremdsysteme (sinnvolle und brauchbare) Datensätze exportieren können, lassen sich diese automatisch in Microsoft Dynamics 365 integrieren. Und selbst wenn in Fremdsystemen Daten in Pflichtfelder fehlen würden, liesen sich diese bei einem Import mit Microsoft Power Automate oder Logic Apps auch im Nachhinein generieren. Es ist letztendlich immer eine Frage des Aufwands.
