1 Themenübersicht
Die Anwendung „Daten automatisch importieren“ bietet einen automatisierten Datenimport über den Business Integration Service (BIS). Dabei werden alle in einem Ordner vorgefundenen Dateien importiert und dieser Import wird automatisch wiederholt. Die Wiederholung kann konfigurierbar auf verschiedene Weisen erfolgen.
2 Zielgruppe
- Berater
- Entwickler
- Administratoren
3 Begriffsbestimmung
Extensible Markup Language (XML)
Mit XML können strukturierte Daten in einer Text-Datei gespeichert werden. Die Beschreibungssprache ermöglicht die Definition, Übertragung, Überprüfung und Interpretation von Daten zwischen Anwendungen und eignet sich besonders für den strukturierten Datenaustausch. Bei XML-Dokumenten erfolgt eine Trennung von Inhalt, Struktur und Information zur Darstellung. XML wird vom W3C als Standard koordiniert und definiert.
Filter
Das BIS-Datenmodell zu einem Business Entity kann sehr umfangreich sein. Ein Filter ist ein Ausschnitt des BIS-Datenmodells zu einem Business Entity. Er definiert welche Objekte, Attribute und Beziehungen eines Business Entitys bei einem Import- bzw. beim Exportvorgang berücksichtigt werden sollen.
Fehler-Datei
Die Datei, in die beim Import von Daten im BIS diejenigen Daten aus der Quell-Datei geschrieben werden, die als fehlerhaft erkannt werden. Abhängig von der Art des Fehlers kann die Fehler-Datei manuell korrigiert und erneut importiert oder in der Korrektur-Anwendung schrittweise eingelesen und abgearbeitet werden.
Korrektur-Anwendung
Die Korrektur-Anwendung ist diejenige Dialog-Anwendung, die verwendet wird, um einfache Fehler-Dateien interaktiv zu bearbeiten. Zu einem Business Entity kann eine oder können mehrere Korrektur-Anwendungen existieren. Im Allgemeinen ist die Korrektur-Anwendung die jeweilige zum Business Entity gehörende Anwendung (z. B. die Anwendung „Partner“ für das Business Entity „com.cisag.app.general.obj.Partner“), die in einem speziellen Modus geöffnet wird. In diesem Modus können die Business-Entity-Instanzen aus der Fehler-Datei einzeln geöffnet, interaktiv bearbeitet und gespeichert werden.
Quell-Datei
Die Quell-Datei ist die Datei, die beim Import von Daten im BIS eingelesen wird. Eine Quell-Datei enthält immer nur die Daten zu einem Business-Entity-Typ. Bei einigen Dateitypen können die zu importierenden Daten über mehrere Quell-Dateien verteilt sein. In diesem Fall spricht man von der Haupt-Quell-Datei und den verknüpften Quell-Dateien. Während des Importvorgangs werden die Haupt-Quell-Datei und die verknüpften Quell-Dateien zu einer neuen Datei zusammengefasst, mit welcher der eigentliche Import durchgeführt wird. Die Daten aus der Quell-Datei, die nicht erfolgreich importiert werden können, werden zusammen mit den zugehörigen Fehlermeldungen in die Fehler-Datei geschrieben.
4 Funktionsbeschreibung
Über die Anwendung „Daten automatisch importieren“ werden automatisch alle Dateien aus einem bestimmten Ordner bzw. aus einem oder mehreren Unterordnern importiert. In diesem Kapitel wird die Funktionalität des automatischen Datenimports beschrieben.
4.1 Ordnerstruktur und Dateitypen
Der automatische Datenimport verwendet einen frei wählbaren Quell-Ordner im Knowledge Store oder im Dateisystem, aus dem die Dateien importiert werden. Die Dateien können direkt unter dem Quell-Ordner oder in einem oder mehreren Unterordnern liegen. Fehler-Dateien werden in dem Unterordner „Errors“ des Quell-Ordners bzw. des jeweiligen Unterordners abgelegt.
Hinweis:
Verwenden Sie niemals denselben Quell-Ordner für mehr als einen automatischen Datenimport gleichzeitig. Die Prüfungen verhindern dies im Allgemeinen bei der Erfassung bzw. beim Start des automatischen Imports anhand logischer Sperren. Bei der Verwendung von Application-Server-spezifischen Pfaden im Dateisystem kann diese Prüfung jedoch die inhaltliche Gleichheit der Quell-Ordner ggfs. nicht erkennen.
Der automatische Datenimport importiert alle vom BIS unterstützten Dateitypen. Die Erkennung des Dateityps erfolgt dabei anhand der Datei-Endung. Es werden folgende Datei-Endungen erkannt:
- .xml (XML)
- .xls (Unicode-Text)
- .csv (Text)
Dateien dieser Dateitypen können auch GZIP-komprimiert vorliegen, wobei sie dann diese Endungen besitzen müssen:
- .xml.gz
- .xls.gz
- .csv.gz
Die Groß- und Kleinschreibung der Datei-Endungen ist nicht relevant.
Während des Imports werden Dateien, die nicht im XML-Format vorliegen, in XML-Dateien umgewandelt. Diese neuen Dateien erhalten die Dateinamenerweiterung „.converted.xml“. Bei einem fehlerhaften Import werden sie u. U. nicht gelöscht. Bei einem automatischen Import werden Dateien mit dieser Dateinamenerweiterung ignoriert.
Für Dateien des Dateityps „Text“ können weitere Formateinstellungen vorgenommen werden, die dann für alle Dateien dieses Dateityps gelten.
Hinweis:
Ein automatischer Datenimport mit verknüpften Dateien ist im Gegensatz zur Anwendung „Daten importieren“ nicht möglich. Verwenden Sie in komplexen Fällen stattdessen den Dateityp „XML“.
4.2 Business Entity und Filter
Abhängig von der ausgewählten Ordnerstruktur können entweder Daten eines Business Entitys importiert werden und das Business Entity wird in der Anwendung angegeben oder es können mehrere Business Entitys importiert werden und das Business Entity wird aus dem Namen des jeweiligen Unterordners automatisch ermittelt.
Dies gilt ebenso für den verwendeten Filter. Allerdings ist in diesem Fall der Unterordnername gleichzeitig der Filtername, falls die ausgewählte Orderstruktur „Unterordner mit Filternamen“ ist. Wenn die ausgewählte Ordnerstruktur „Importdateien im Quell-Ordner“ ist und keine Filterangabe vorhanden ist, dann werden alle Attribute aus der Quell-Datei importiert.
Die Spracheinstellung und das Zeitformat ist für einen automatischen Datenimport immer festgelegt: Wird ein Filter verwendet, ergeben sie sich aus dem Filter. Ohne Filter werden die Einstellungen „Einsprachig“ und „Kompakt“ verwendet.
Hinweis:
Mit der Spracheinstellung „Mehrsprachig“ können Sie ausschließlich Dateien des Dateityps „XML“ importieren.
Hinweis:
Beim automatischen Import der Dateitypen „Text“ und „Unicode-Text“ werden mehrsprachige Texte immer in der Inhaltssprache der Session bzw. des Verarbeitungsauftrages importiert, mit dem der automatische Import erfolgt.
4.3 Zeitsteuerung
Ein automatischer Datenimport läuft entweder als Dienst ab dem Start des Application-Servers oder einmalig oder periodisch als Verarbeitungsauftrag. Hierbei ergeben sich verschiedene Möglichkeiten für die Zeitsteuerung:
- Dienst
Der automatische Datenimport importiert kontinuierlich Daten aus dem Quell-Ordner. Nach dem Import aller Dateien des Quell-Ordners wartet der Dienst lediglich eine im Voraus eingestellte Zeit, bevor er wieder alle dann vorgefundenen Dateien importiert. Als Dienst läuft der automatische Datenimport so lange, bis er ausdrücklich beendet wird.
- Verarbeitungsauftrag
Der automatische Datenimport importiert einmalig oder zu bestimmten Zeiten alle vorgefundenen Dateien im Quell-Ordner. In diesem Fall kann mit der Einstellung „Mehrere Verarbeitungsaufträge erzeugen“ festgelegt werden, ob das Importieren mehrerer Business Entitys in einem oder mehreren Verarbeitungsaufträgen ausgeführt werden soll. Für die Festlegung der Zeiten haben Sie alle Möglichkeiten, die die Hintergrundverarbeitung bietet, insbesondere die Serien. Mit einer Serie ist beispielsweise möglich, den Import zu bestimmten Tageszeiten oder an bestimmten Wochentagen auszuführen.
- mit Nachlauf
Der automatische Datenimport als Verarbeitungsauftrag kann bei Bedarf mit Nachlauf arbeiten. Nachlauf bedeutet, dass nach einem Importvorgang für den Quell-Ordner noch eine voreingestellte Zeit lang periodisch geprüft wird, ob noch Dateien in den Quell-Ordner hinzugekommen sind. Diese werden dann ebenfalls importiert. Dies entspricht einer Kombination der Möglichkeiten „Dienst“ und „Verarbeitungsauftrag“. Zu beachten ist dabei, dass die Nachlaufzeit bereits ab dem Beginn des Importvorgangs zählt.
Wählen Sie je nach Anforderung die am besten geeignete Ausführungsart:
- Wenn die Dateien sehr zeitnah importiert werden müssen, führen Sie den automatischen Datenimport als Dienst aus.
- Wenn die Dateien nur zu bestimmten Zeiten importiert werden müssen, lassen Sie den automatischen Datenimport als Verarbeitungsauftrag laufen.
- Wenn Sie Dateien für verschiedene Business Entitys importieren möchten, die voneinander abhängig sind, lassen Sie die Importe als Verarbeitungsaufträge laufen, die zueinander zeitversetzt starten.
- Wenn Sie mithilfe eines Serienmusters importieren und bei Importfehlern zeitnah korrigieren möchten, dann stellen Sie einen Nachlauf ein. Innerhalb des Nachlaufs korrigierter Quell-Dateien werden automatisch wieder importiert, ohne dass zusätzliche manuelle Schritte notwendig sind.
Beachten Sie, dass der automatische Datenimport keine Zusicherung geben kann, wie lange ein Importvorgang dauert, da mindestens die Zeit für den Import aller Dateien erforderlich ist. Auch bei einem Nachlauf ist keineswegs gewährleistet, dass ein Import nach Ende der Nachlaufdauer beendet ist.
Technisch betrachtet wird auch für den Dienst ein Verarbeitungsauftrag erfasst, der über die Anwendung „Verarbeitungsaufträge“ abgefragt werden kann. Dessen Handhabung unterscheidet sich jedoch von anderen Verarbeitungsaufträgen. Die Handhabung ist abhängig davon, ob der automatische Datenimport als Dienst oder Verarbeitungsauftrag läuft.
4.4 Status und Meldungen
In der Anwendung „Verarbeitungsaufträge“ können Sie sich den Status der automatischen Datenimporte ansehen:
- Ein automatischer Datenimport als Dienst ist im Status „In Bearbeitung“, wenn er läuft, unabhängig davon, ob er gerade importiert oder sich in einer Wartezeit befindet.
- Ein automatischer Datenimport als Verarbeitungsauftrag ist
- im Status „In Bearbeitung“, wenn gerade ein Import läuft, und
- im Status „Freigegeben“, oder „Gesperrt“, wenn er auf seine nächste Ausführung gemäß der Zeitsteuerung wartet.
Ist für den automatischen Datenimport als Verarbeitungsauftrag ein Nachlauf eingestellt, wird während der gesamten Zeit des Nachlaufs der Status „In Bearbeitung“ angezeigt.
Den Arbeitsfortschritt des automatischen Datenimports können Sie anhand der Meldungen des Verarbeitungsauftrages prüfen, die Sie ebenfalls über die Anwendung „Verarbeitungsaufträge“ erreichen.
Für eine Benachrichtigung über den Abschluss und das Ergebnis des Imports jeder einzelnen Datei steht das Workflow-Ereignis „com.cisag.pgm.biImportRunCompleted“ zur Verfügung.
4.5 Beenden
Um einen automatischen Datenimport zu beenden, ist die Vorgehensweise wiederum davon abhängig, ob er als Dienst oder als Verarbeitungsauftrag läuft:
- Einen automatischen Datenimport als Dienst beenden Sie, indem Sie in der Anwendung „Systemcockpit“ unter dem Karteireiter „Sessions“ des Systems oder des Application-Servers die aktive Hintergrund-Anwendung schließen. Der Verarbeitungsauftrag für den Dienst geht dann in den Status „Abgeschlossen“.
- Einen automatischen Datenimport als Verarbeitungsauftrag mit Serie beenden Sie vorzeitig, d. h. obwohl noch Serienelemente eingeplant sind, in dem Sie den automatischen Datenimport in der Anwendung „Verarbeitungsaufträge“ markieren und die Aktivität zu dem Verarbeitungsauftrag öffnen. Erledigen Sie dann die Aktivität.
4.6 Änderungen gegenüber Release 4.2
Nachfolgend finden Sie die wichtigsten Änderungen beim automatischen Datenimport gegenüber Release 4.2:
- Zu importierende Dateien werden nicht mehr unabhängig von ihrer Datei-Endung als „XML“-Datei erkannt und importiert. Sie müssen eine bekannte Datei-Endung besitzen, um importierbar zu sein.
- Neben Dateien des Dateityps „XML“ können auch Dateien mit dem Dateityp „Text“ und „Unicode-Text“ importiert werden.
- Der automatische Datenimport läuft wahlweise als Dienst oder Verarbeitungsauftrag. Die Arbeitsweise des automatischen Datenimports aus Release 4.2 oder älter entspricht dem „Automatischen Datenimport als Dienst“ ab Release 4.3.
4.7 Änderungen gegenüber Release 5.0
Nachfolgend finden Sie die wichtigsten Änderungen beim automatischen Datenimport gegenüber Release 5.0:
- Das Importieren mehrerer Business Entitys ist möglich. Bisher wurden Dateien nur zu einem Business Entity importiert.
- Das Importieren kann in mehreren Verarbeitungsaufträgen ausgeführt werden.
5 Anwendungsbeschreibung
Die Anwendung „Daten automatisch importieren“ dient dem Erfassen neuer automatischer Datenimporte. Der automatische Datenimport kann wahlweise als Dienst oder als Verarbeitungsauftrag laufen, was verschiedene Möglichkeiten für die Zeitsteuerung ergibt.
Ein automatischer Datenimport wird durch die spezielle Hintergrund-Anwendung „Automatischer Datenimport“ durchgeführt. Für den automatischen Datenimport werden in einem Importvorgang alle Dateien aus dem Quell-Ordner importiert. Die Dateien können direkt im Quellverzeichnis oder im Unterverzeichnis des Quell-Verzeichnisses liegen.
Der automatische Import erhält einen Modus, der angibt, ob das Importieren mehrerer Business Entitys oder nur für ein Business Entity möglich ist. Dies kann im Ordnerstruktur-Feld festgelegt werden. Folgendes kann eingestellt werden:
- „Importdateien im Quell-Ordner“ entspricht dem Verhalten in Release 5. Das Importieren ist nur für einen Business Entity möglich, und die Dateien liegen direkt im Quellverzeichnis.
- „Unterordner mit Filternamen“: Mit diesem Modus kann man mehrere Business Entitys importieren. Die Importdateien je Business Entity werden in einem Unterverzeichnis des Quell-Verzeichnisses abgelegt. Die Unterverzeichnisse müssen den Namen eines existieren Filters haben, über den das Business Entity festgelegt wird. Die Dateien direkt im Quell-Ordner werden nicht mehr importiert.
Die Dateien werden zeitlich sortiert nach Datenart, Datum und URI importiert. Die Datenart ist eine Eigenschaft des Business Entitys. Die Reihenfolge des Imports nach der Datenart ist wie folgt: Konfigurations-Stammdaten, Stammdaten, Bewegungsdaten und Temporäre Daten.
Das Importieren kann auf mehrere Verarbeitungsaufträge verteilt werden und damit parallel ausgeführt werden, indem das Feld „Mehrere Verarbeitungsaufträge erzeugen“ aktiviert wird. Hierbei passiert der Import der einzelnen Dateien asynchron in je einem eigenen Verarbeitungsauftrag. Synchronisiert wird hierbei jedoch ein Wechsel der Datenart, sodass die Importe der nächsten Datenart erst nach Beendigung der aktuellen Datenart ausgeführt werden.
Das Importieren berücksichtigt nur die Dateien, deren letzte Änderung älter ist als der Zeitpunkt, an dem der automatische Datenimport die zu importierenden Dateien ermittelt (abhängig von der Zeitsteuerung).
Nach Abschluss des Imports einer Datei wird das Workflow-Ereignis „ImportRunCompleted“ ausgelöst, wodurch die Fehlerbehandlung wie gewohnt durch den Workflow erfolgen kann. Alle Fehler-Dateien, die durch den automatischen Datenimport entstanden sind, werden im Ordner „Errors“ unterhalb des Quell-Ordners abgelegt. Die Quell-Datei wird nach abgeschlossenem Import gelöscht, es sei denn, es konnte trotz eines aufgetretenen Fehlers keine Fehler-Datei erzeugt werden. In diesem Fall wird die Quell-Datei im Quell-Ordner belassen, aber von weiteren Importen ausgenommen.
Die Anwendung „Daten automatisch importieren“ stellt Eingabefelder bereit, in denen Sie die notwendigen Daten für den automatischen Datenimport erfassen. Gestartet wird der automatische Datenimport durch die anwendungsbezogene Aktion „Automatischen Datenimport ausführen“ in der Standard-Symbolleiste.
Hinweis:
Beachten Sie, dass der Benutzer, mit dem der Verarbeitungsauftrag ausgeführt wird, die nötigen Berechtigungen zum Lesen und Schreiben von Dateien in dem Verzeichnis und zum Schreiben der Daten in die Datenbank besitzt. Beim Importieren von Business Entitys, die organisationsabhängig sind, muss der Benutzer allen relevanten Organisationen zugeordnet sein.
5.1 Eingabefelder
Die Anwendung enthält folgende Felder:
| Feld | Erläuterung |
| Quell-Ordner | Ordner, aus dem die Dateien importiert werden.
Geben Sie einen Ordnernamen für den Knowledge Store mit kstore:// oder das Dateisystem des Application-Servers mit file:/// an. |
| Ordnerstruktur | Ordnerstruktur, mit der Sie festlegen, ob das Importieren mehrerer Business Entitys oder nur eines Business Entitys möglich ist. Wählen Sie zwischen folgenden Einstellungen:
· „Importdateien im Quell-Ordner“ Verhalten wie in Release 5, Import nur eines Business Entitys. · „Unterordner mit Filternamen“ Import mehrerer Business Entitys |
| Business Entity | Business Entity, für das Instanzen aus den Dateien im Quell-Ordner importiert werden. Nur die Instanzen für dieses Business Entity werden importiert; Instanzen von anderen Business Entitys werden beim Import ignoriert. |
| Filter | Filter für den automatischen Import. Der Filter muss ein Filter für das Business Entity sein, für das der automatische Import durchgeführt wird.
Wenn Sie keinen Filter angeben, wird der Filter mit allen Attributen, der Spracheinstellung „Einsprachig“ und dem Zeitformat „Kompakte Form“ verwendet. |
| Protokollierungsstufe | Gibt an, ob die Protokollierung während des Vorgangs eingeschaltet wird. Die möglichen Werte sind:
· Keine Protokollierung · Protokollierung aktiviert |
| Warnungen | Gibt an, wie Meldungen vom Typ „Warnung“, die während des Imports auftreten, behandelt werden sollen. Die möglichen Werte sind:
· „Nicht bestätigen“ · „Alle bestätigen“ |
| Mehrere Verarbeitungsaufträge erzeugen
(Checkbox) |
Ist diese Funktion aktiviert, dann werden für das Importieren mehrere Verarbeitungsaufträge erzeugt. |
Rubrik „Ausführung“
In der Rubrik „Ausführung“ stehen folgende Felder bereit:
| Feld | Erläuterung |
| Wiederholt importieren | Gibt die Art der Zeitsteuerung an. Die möglichen Werte sind:
· „Als Dienst“ · „Als Verarbeitungsauftrag“ · „Als Verarbeitungsauftrag, mit Nachlauf“ |
| Wartezeit zwischen Importvorgängen | Wartezeit nach Beendigung eines Importvorgangs für den Quell-Ordner bis zum Anfang des nächsten Importvorganges. Diese Feld ist nur relevant, wenn im Feld „Wiederholt importieren“ die Einstellung „Als Dienst“ oder „Als Verarbeitungsauftrag, mit Nachlauf“ gewählt wurde:
Die Wartezeit beträgt mindestens 1 Minute und kann höchstens minutengenau festgelegt werden. Genauere Angaben (Sekunden) werden abgerundet. |
| Nachlaufdauer | Dauer des Nachlaufs. Der Nachlauf beginnt bereits mit dem Beginn des Importvorganges und ermöglicht weitere Importvorgänge im Anschluss. Dieses Feld ist nur relevant wenn im Feld „Wiederholt importieren“ die Einstellung „Als Verarbeitungsauftrag, mit Nachlauf“ gewählt wurde. |
Rubrik „Formateinstellungen für den Dateityp ‚Text‘“
Die Felder dieser Rubrik sind nur für Dateien des Dateityps „Text“ relevant:
| Feld | Erläuterung |
| Kodierung | Zeichenkodierung der Quell-Datei.
Die zur Verfügung stehenden Kodierungen sowie der Vorschlagswert hängen von der Java-Version des aktuellen Application-Servers ab. Wenn der Import im Hintergrund ausgeführt wird, dann muss beachtet werden, dass der Application-Server, auf dem die Verarbeitungs-Warteschlange läuft, die angegebene Kodierung beherrscht. |
| Trennzeichen | Trennzeichen zwischen Feldern in der Quell-Datei.
Mit dem Feld können Sie das Trennzeichen der Quell-Datei angeben. Durch den Eintrag „(Sonstige)“ können Sie selbst ein Trennzeichen eingeben. Vorschlagswert ist das Komma. |
| Texterkennungszeichen | Zeichen, mit dem Feldwerte in der Quell-Datei eingefasst werden kann. Nur Feldwerte, die mit dem Texterkennungszeichen eingefasst sind, können das Trennzeichen enthalten.
Vorschlagswert ist das doppelte Hochkomma. |
5.2 Anwendungsbezogene Aktion: Automatischen Datenimport ausführen
Diese Aktion startet den automatischen Import, der in der Anwendung eingestellt ist. Dafür erfassen Sie mit dieser Aktion einen bzw. mehrere Verarbeitungsaufträge für die Hintergrund-Anwendung „Automatischer Datenimport“.
Hinweis:
Für einen automatischen Datenimport als Dienst ist nur die Startart „Beim Neustart des Application-Servers“ sinnvoll, die auch durch das System vorgeschlagen wird. Für einen automatischen Datenimport als Verarbeitungsauftrag wird die Startart „Serie“ vorgeschlagen. Die genaue Zeitsteuerung legen Sie dann durch das Serienmuster fest.
6 Customizing
In der Anwendung „Customizing“ sind keine Einstellungen vorzunehmen.
7 Business Entity
Für diese Anwendung ist kein Business Entity relevant.
8 Berechtigungen
Berechtigungen können sowohl mithilfe der Berechtigungsrollen als auch durch die Zuordnung einer Organisation vergeben werden. Das Berechtigungskonzept können Sie in der Technischen Dokumentation Berechtigungen nachlesen.
8.1 Spezielle Fähigkeiten
Für die Anwendung „Daten automatisch importieren“ bestehen keine speziellen Fähigkeiten.
8.2 Organisations-Zuordnungen
Für die Anwendung „Daten automatisch importieren“ ist eine Organisations-Zuordnung nicht erforderlich.
8.3 Besonderheiten
Für die Anwendung „Daten automatisch importieren“ sind folgende Besonderheiten zu berücksichtigten:
- Für Berechtigungsfestlegungen für die Anwendung „Daten automatisch importieren“ sind Berechtigungen auf dem zu importierendem Business Entity erforderlich.
- Um einen automatischen Datenimport durchzuführen, sind Berechtigungen zum Lesen und Schreiben von Dateien im Quell-Ordner erforderlich, sofern Sie einen Ordner im Knowledge Store verwenden.
8.4 Berechtigungen für Geschäftspartner
Die Anwendung „Daten automatisch importieren“ ist für Geschäftspartner nicht freigegeben.