ecount – Tipps und Tricks beim Importieren 6. Mai 2010 – Zürich - BusinessCafe

„Tipps und Tricks beim Importieren“ Robotron – Titel der Präsentation „Tipps und Tricks beim Importieren“ Ralf Kamphues, Systemberater Daniel Widmer, System Ingenieur

Import Datenflüsse / Zusammenh. KomA ecount- Dateiimport ComImport Datenimport IMAP A Format X Kanäle POP3 B Format Y Datenquelle 1 FTP C GHI Datenquelle 2 Format Z Linien HTTP D Ablage [koma] [Datenbank] ./config/import/ ./config ../config.properties ../datenimport.ini ./[filter].properties, z.B.: ./ebix.properties Konfiguration ./config.properties Stammdatenautomatik Gerätehistorie (Datenimport) Jobs Datei-Import [xy]… Import File Workflow comimport[.cmd¦.sh] datenimport[.cmd¦.sh] typ. alle 5..10 Minuten

Kommunikationsserver: Verzeichnisstruktur Robotron – Titel der Präsentation Kommunikationsserver: Verzeichnisstruktur [Kommunikation – Basisverzeichnis] Start-Skripte [config] Allgemeine Konfigurationen, z.B. Config.properties, datenimport.ini [import] Einstellungen für Import-Filter: [FORMAT].properties [export] Einstellungen für Export-Filter: [FORMAT].properties [lib] Programmbibliotheken [log] Protokolle [tmp] Temporäre Dateien und Versionslistings Start- und Stop-Skripte für Jobs werden durch System-Scheduler gestartet, z.B. geplante Tasks unter Windows oder Cron unter Unix

KOMA: comimport KomA config.properties Job: comimport[.cmd¦.sh] <liest> config.properties Job: comimport[.cmd¦.sh] <liest> ecount /esales Datenbank Import -> Kommunikationseinstellungen (Formate, Verbindungen) Import -> Konfigurationsautomatisierung (Abfragezyklus, wichtige Konteneinstellungen)

Import -> Kommunikationseinstellungen Robotron – Titel der Präsentation Import -> Kommunikationseinstellungen Read-only: Verhindert das „Löschen“ der Dateien!. Ecount muss zusätzliche Informationen ablegen um sich die Dateien zu merken, welche bereits importiert wurden!

Kommunikationseinstellungen - Formate Format wie in datenimport.ini Import-Verzeichnis wie in datenimport.ini

Import -> Kommunikationsautomatisierung

Import-Kommunikation - Konten Kommunikations- einstellungen - Verbindung Kommunikations- einstellungen - Format Für Ermittelung von Antwort-Adressen erforderlich

comimport - zu beachten: Mit „zip“ Format wird sichergestellt, dass Konten-Attribute (Nachrichtenadresse, Datenquelle, Betreff…) erhalten bleiben. Mit Attribut „Server“ kann ein Import-Konto einem Koma-Server zugewiesen werden. Dies ermöglicht statische Lastverteilung auf mehrere KomA-Installationen Config.properties: importcom.comserver = 1 Hinweis: Das Skript „comimport“ beendet sich nie selbsständig, sondern muss explizit gestoppt werden. Der Skript comimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.

KOMA: datenimport KomA datenimport.ini config.properties Job: <liest> Job: datenimport[.cmd¦.sh] <schreibt> Zwischentabelle ecount /esales Datenbank Import -> Importdateien (Zwischentabelle) Hier können bereits erste Probleme erkannt werden!

ecount - Importdateien Datei von ComImport – Konto 4 Format EDI ID der Import-Datei Verbindung zur importierten Email-Nachricht

datenimport - zu beachten: Gepackte (zip,gz) Dateien sollen über comimport importiert werden (Zeichensatzproblematik!) Die Reihenfolge der Imports wird über die Reihenfolge der Einträge im „datenimport.ini“ festgelegt. ZIP Dateien sind für den Datenimport transparent. Der Datenimport kann für die Formate CSV und Excel mit dem Import-Konfigurator (lizenzpflichtig) komfortabel bearbeitet werden. Der Skript datenimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.

ecount: „Datei-Import“ Job Datenbank - Jobs: Datei-Import [xy] Import File Workflow ecount /esales Zwischentabelle ecount /esales Datenbank Wird übertragen wenn: GHI vorhanden oder Stammdatenautomatik eingerichtet „Datensumpf“ Import -> Importüberwachung - Zwischentabelle Statistik Problembehaftete Kanäle Unzugeordnete Kanäle Import Fehlerarten usw. Daten welche nicht zugeordnet oder fehlerhaft sind, verbleiben in der Zwischentabelle Analyse

ecount: „Datei-Import“ – zu beachten: Wenn der Import zeitkritisch ist, muss das Timing der Jobs richtig gewählt werden. Imports sollten regelmässig überwacht werden, und Regeln hinterlegt werden, wie mit fehlerhaften oder nicht importierten Zeitreihen zu verfahren ist. Z.b. „aussteuern“ oder manuell löschen. Unverarbeitete Daten verbleiben in der Zwischentabelle und können zu erheblichen Datenmengen anwachsen. (Backup, Performanceverlust, Ressourcennutzung)

Stammdatenautomatik Ermöglicht automatische Erstellung von - Zählpunkten - Linien - Gerätehistorien vorausgesetzt die Daten enthalten die für die automatische Generierung erforderlichen Informationen. Die Parametrierbarkeit muss pro Datenquelle lizensiert werden. SDAT Importe nutzen bereits ausgiebig die Möglichkeiten der Stammdatenautomatik

…Stammdatenautomatik… SDA Baukasten Zählpunkte Linien Zwischentabelle Geräte- historien ecount /esales ecount /esales Datenbank

Stammdatenautomatik…

…für Fragen – jetzt oder auch später! Wir sind für Sie da… Ralf Kamphues, Systemberater Tel.: +41 79 72 73 137 Email: ralf.kamphues@robotron.ch Daniel Widmer, System Ingenieur Tel.: +41 79 570 24 46 Email: daniel.widmer@robotron.ch …für Fragen – jetzt oder auch später!

Robotron – Titel der Präsentation Copyright Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch die Robotron Datenbank-Software GmbH nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden. Die von der Robotron Datenbank-Software GmbH oder deren Vertriebsfirmen angebotenen Softwareprodukte können Softwarekomponenten auch anderer Softwarehersteller enthalten. Microsoft®, WINDOWS®, NT®, EXCEL®, Word®, PowerPoint® und SQL Server® sind eingetragene Marken der Microsoft Corporation. IBM®, DB2®, DB2 Universal Database, OS/2®, Parallel Sysplex®, MVS/ESA, AIX®, S/390®, AS/400®, OS/390®, OS/400®, iSeries, pSeries, xSeries, zSeries, z/OS, AFP, Intelligent Miner, WebSphere®, Netfinity®, Tivoli®, Informix und Informix® Dynamic ServerTM sind Marken der IBM Corporation in den USA und/oder anderen Ländern. ORACLE® ist eine eingetragene Marke der ORACLE Corporation. UNIX®, X/Open®, OSF/1® und Motif® sind eingetragene Marken der Open Group. Citrix®, das Citrix-Logo, ICA®, Program Neighborhood®, MetaFrame®, WinFrame®, VideoFrame®, MultiWin® und andere hier erwähnte Namen von Citrix-Produkten sind Marken von Citrix Systems, Inc. HTML, DHTML, XML, XHTML sind Marken oder eingetragene Marken des W3C®, World Wide Web Consortium, Massachusetts Institute of Technology. JAVA® ist eine eingetragene Marke der Sun Microsystems, Inc. JAVASCRIPT® ist eine eingetragene Marke der Sun Microsystems, Inc., verwendet unter der Lizenz der von Netscape entwickelten und implementierten Technologie. MarketSet und Enterprise Buyer sind gemeinsame Marken von SAP AG und Commerce One. SAP, SAP Logo, R/2, R/3, mySAP, mySAP.com und weitere im Text erwähnte SAP-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und anderen Ländern weltweit. robotron*ecount, robotron*esales, robotron*eportal, robotron*SEA, robotron*EdifactKonverter und weitere im Text erwähnte Robotron-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der Robotron Datenbank-Software GmbH in Deutschland und anderen Ländern weltweit. Alle anderen Namen von Produkten und Dienstleistungen sind Marken der jeweiligen Firmen