HORIZONT 1 XINFO ® Das IT - Informationssystem HORIZONT Software für Rechenzentren Garmischer Str. 8 D München Tel ++49(0)89 / XINFO TWS Performanceanalyse mit XINFO IT-Charts

HORIZONT 2 XINFO ® Gründe für TWS Performance Analyse TWS ist ein Schlüssel-Subsystem in einer z/OS-Umgebung –Job-Scheduler müssen effizient arbeiten, um insgesamt eine gute Leistung zu erzielen Gerade kleine “Verschwender” im Scheduling können tiefgreifende Ergebnisse erzeugen: –Zum Beispiel: Auf einem System mit Jobs pro Tag, wenn von diesen Jobs auf dem kritischem Pfad statt einer Sekunde der Submit 2 Sekunden dauert, gehen über 33 Minuten pro Tag im Batchfenster verloren –Tatsächlich kann weitaus mehr verloren gehen, wenn die TWS Performance schlecht ist.

HORIZONT 3 XINFO ® Weitere Gründe für eine Analyse Erreichung von SLAs Zusammenführung verschiedener Systeme/Sysplexe und deren Scheduler (TWS Controller) Hohes Volumen an ETT-Jobs mit der Anforderung abgearbeitet zu werden wie eine Transaktion ‘in real time’ Eine Überprüfung der Performance von TWS und dem “Tuning” für effizienteres Arbeiten, kann eventuell Investitionen in Hardware vermeiden

HORIZONT 4 XINFO ® Komponenten mit Einfluß auf TWS JES und der Workload Manager (WLM) Wechselwirkungen zwischen den TWS Subtasks z/OS Performance insgesamt TWS I/O Aktivitäten, Plazierung von TWS Dateien, das DASD Subsystem, etc. TWS Processor Speicher (50% des CP ist in LSR Buffers gespeichert) TWS Dispatching Priorität und Prozessor Nutzung VTAM und/oder XCF-Performance

HORIZONT 5 XINFO ® TWS Subtask Wechselwirkungen EM Event Manager WSA Workstation Analyser CP Current Plan GS General Service Ready Tracker User JES/WLM submit PIF NMM Normal Mode Manager Backup JS JCL Repository Events, ETT [LOCK] Performance ist OK wenn alle Systeme gut zusammenarbeiten

HORIZONT 6 XINFO ® IBM Tuning Empfehlungen Eine sehr gute Veröffentlichung: SC IBM Tivoli Workload Scheduler for z/OS Customization and Tuning, Kapitel 13, 14 und 15, Analyzing performance, Tuning Controller & Tracker Erläutert Einflußfaktoren auf Performance relevante Probleme: –Grosse Queue von Computer Operationen mit Status ‘R’ –Verzögerungen zwischen Job Endezeiten und erfolgreicher Rückmeldung ans TWS. –…–…

HORIZONT 7 XINFO ® IBM Tuning Empfehlung Viele Ready-Operationen: Setzen eines hohen QUEUELEN Wertes Reduzierung der Anzahl ‘Suspended’ Events: Filter unrelevanter Information mit Exit EQQUX004 Beleuchtung der JES-Performance Nutzung von EQQUX002 Exit zur Lokalisierung und Bereitstellung der JCL …

HORIZONT 8 XINFO ® Performance Fragestellungen Alle diese Empfehlungen sollten dieser Sichtweise folgen: –Ist die TWS Queue Lengths ausreichend? –Sind zu viele “ready”-Operations in der Queue? –Gibt es lange Wartezeiten beim Submit von Jobs? –Taucht eine hohe Anzahl von “unrelevanten” (suspended) Events auf? –Ist die Antwortzeit noch akzeptabel? –…

HORIZONT 9 XINFO ® Performancedaten Performancedaten sind in einigen Quellen verfügbar ( RMF, SMF, VTAM GTF und TWS selbst) Detailierte TWS-Performancedaten können erstellt werden durch die Aktivierung des Parameters STATMSG im Initialization-Statement JTOPTS am Controller: –CPLOCK(Current Plan locking) –EVENTS(Event Prozessing) –WSATASK(Workstation Analyser Task) –GENSERV(General Service Subtask)

HORIZONT 10 XINFO ® Auswertung von Performance-Daten Eine Auswertung der Performancedaten gestaltet sich etwas schwierig: –MLOG: Sehr viele Meldungen und Werte –TRACKLOG: Sehr viele Daten mehr oder weniger ‘unlesbar’ –Aus den Daten müssen relevante Werte summiert werden –Hier ist ein hoher manueller Zeitaufwand erforderlich dies selbst mit z.B. Excel auszuwerten

HORIZONT 11 XINFO ® Auswertung Performancedaten mit XINFO XINFO bereitet Performancedaten automatisch auf und visualisiert das Ergebnis graphisch

HORIZONT 12 XINFO ® Was ist XINFO? XINFO analysiert: z/OS:JCL, DB2, IMS, SMF, Cobol, PL1, etc. Scheduler:UC4, TWS, Control-M, CA-7, etc. C/S:Space, Inventory, Process und SAP Ergebnis der Analyse wird in eine Datenbank geladen Dialogprogramme (Windows oder ISPF) Abfrageergebnisse werden tabellarisch oder grafisch dargestellt XINFO ist ein Informationssystem für Rechenzentren. Es ermöglicht den Zugriff auf alle relevanten Informationen:

HORIZONT 13 XINFO ® zOS, UNIX or Windows Additional input data.Main input data JCL SMF Scheduler XINFO Technischer Überblick JCL Scanner SMF Scanner Scheduler Scanner XINFO Database (DB2, ORACLE or MS-SQL) PC Client Etc.Cobol Catalog Unix, Windows Etc. Other Scanners Source Scanner Space Scanner Distributed Scanners

HORIZONT 14 XINFO ® IT-Charts Jobs pro Jahr / Monat / Tag Abbrüche pro Jahr / Monat / Tag Plattenplatz Anzahl der Dateien Trend-Analyse … “XINFO IT-Charts” ist ein XINFO Modul zum schnellen und einfachen Erstellen von Diagrammen aus vorhandenen XINFO-Daten: Offen für alle Daten

HORIZONT 15 XINFO ® Fehlerhafte Jobs Anzahl von fehlerhaften Jobs je Abend-Art

HORIZONT 16 XINFO ® Anzahl aller Jobs im Vergleich Vorjahr Aktuelles Jahr

HORIZONT 17 XINFO ® SLA (Service Level Agreement) Ausgangssituation: Ein bestimmer Job muss vor 09:00 fertig sein Ziel erreicht: Job endet vor 09:00 Ziel nicht erreicht, job endet nach 09:00

HORIZONT 18 XINFO ® Bereitstellung TWS Daten Controller EQQMLOG JT JARC Extend/Replan CP EQQTROUT EQQAUDIT TWS Activity-Report STATMSG(…) STATIM(60) EQQPARM Notwendige Optionen Durchführung von EQQBATCH/EQQAUDIT

HORIZONT 19 XINFO ® Analyse EQQMLOG und EQQAUDIT EQQE006I EVENT MANAGER EVENT TYPE STATISTICS FOLLOW: EQQE006I TYPE NTOT NNEW TTOT TNEW TAVG NAVG NSUS EQQE007I ALL EQQE007I EQQE007I EQQE007I 3S EQQE007I 3J EQQE007I 3P EQQE007I EQQE007I EQQE007I USER EQQE007I CATM EQQE007I OTHR EQQE004I CP ENQ LOCK STATISTICS SINCE PREVIOUS MESSAGE FOLLOW: EQQE004I NAME NEXCL NSHRD THELD TWAIT AHELD AWAIT EQQE005I NORMAL MODE MGR EQQE005I WS ANALYZER EQQE005I EVENT MANAGER EQQN017I THE JCL REPOSITORY DATA SET WILL BE COPIED EQQN016I DDNAME OF CURRENT JCL REPOSITORY DATA SET IS EQQJS1DS EQQG013I QUEUE SIZE EQQG013I QUEUE DELAY EQQG010I GENERAL SERVICE REQUEST STATISTICS FOLLOW: EQQG010I TYPE TOTAL NEWRQS TOTTIME NEWTIME TOTAVG NEWAVG EQQG011I ALL EQQG011I RL EQQG011I OPER EQQG011I OPRL EQQG011I PREP EQQG011I JCL EQQG011I MCP EQQG011I DEPC EQQG011I R3P EQQG011I C3C EQQG011I AD EQQG011I WS EQQG011I WSRL EQQG011I CP_G OP.CPDB_030 IN RZ01XX#TWS#CPBKUP IS SET TO S JOBNAME: R01TWS01 PROCESSED IJ-SUBMIT JCL AD/IA: RZ01XX#TWS#CPBKUP PROCESSED A1-JOB CARD READ R01TWS01(JOB52600) AT: PROCESSED A2-JOB START R01TWX01(JOB52600) AT: XINFO Scanner XINFO IT-Charts Tabelle

HORIZONT 20 XINFO ® Anzahl Jobs je Stunde Anzahl Jobs Stunden Eine hohe Anzahl an Jobs tagsüber (Normalen Online-Zeit)

HORIZONT 21 XINFO ® Anzahl Jobs je Workstation Hauptlast auf Workstation CPU3 Legende

HORIZONT 22 XINFO ® Submit-/Startzeiten je Workstation 30 Sekunden und mehr Zeit einen Job zu submitten ist inaktzeptabel Auch im Mittel 10 Sekunden sind schlecht Was könnte der Grund sein? Sekunden Zeitachse eines Tages Kleiner 1 Sekunde ist OK

HORIZONT 23 XINFO ® Zeitdifferenz von Status S  IJ-Event In diesem Falle brauchte TWSz zu lange beim Lesen der JCL (auf CPU1/2-Sysplex) Alle anderen Zeiten sind ok

HORIZONT 24 XINFO ® Zeitdifferenz von IJ  A1-Event Submit der JCL an INTRDR: Zeiten unter einer Sekunde sind ok

HORIZONT 25 XINFO ® Zeitdifferenz von A1  A2-Event Initiierung der Jobs im JES: Auf CPU3, Jobs benötigen zeitweise zu lange im JES (WLM) Auf den anderen Workstations sind die Zeiten ok Grund war: Niedrige (WLM) Priorität für TWS-Batch-Jobs, gegenüber höher priorisierten Paralleljobs

HORIZONT 26 XINFO ® XINFO‘s TWS Displays Current Plan Enqueues Submit-Prozeß Zeiten Event Manager Ready Queue General Service Task CP & JS Backup Zeiten Anzahl Jobs

HORIZONT 27 XINFO ® 01/ EQQE000I TOTAL NUMBER OF EVENTS PROCESSED BY THE EVENT MANAGER TASK IS: / EQQE000I NUMBER OF EVENTS SINCE THE PREVIOUS MESSAGE IS: / EQQE000I EVENT MANAGER QUEUE LENGTH STATISTICS FOLLOW: 01/ EQQE000I TOTAL Q1 Q2 Q5 Q10 Q20 Q50 Q100 >100 01/ EQQE000I / EQQE006I EVENT MANAGER EVENT TYPE STATISTICS FOLLOW: 01/ EQQE006I TYPE NTOT NNEW TTOT TNEW TAVG NAVG NSUS 01/ EQQE007I ALL / EQQE007I / EQQE007I / EQQE007I 3S / EQQE007I 3J / EQQE007I 3P / EQQE007I / EQQE007I / EQQE007I USER / EQQE007I CATM / EQQE007I OTHR / EQQE007I E2E … EQQMLOG, Event Manager Statistik

HORIZONT 28 XINFO ® Event Manager: Queue Length Hohe Anzahl an Events Events werden sofort verarbeitet, Queue ist selten größer 1

HORIZONT 29 XINFO ® Event Manager: Event Types Hohe Anzahl an Events Gleichmäßige Verteilung der Eventtypen (dies ist ok)

HORIZONT 30 XINFO ® Event Manager: Suspended Events Hohe Anzahl suspended A3P events Grund: Events kommen von einem anderen parallelen TWS Installation Lösung: Event filter exit

HORIZONT 31 XINFO ® EQQMLOG, Ready Queue Statistik 01/ EQQE008I READY OPERATIONS QUEUE LENGTH STATISTICS FOLLOW: 01/ EQQE008I Q10 Q100 Q1000 Q5000 Q10000 > / EQQE008I / EQQE008I OPERATIONS READ AND FOUND WAITING FOR SPECIAL RESOURCES: 01/ EQQE008I Q10 Q100 Q1000 Q5000 Q10000 > / EQQE008I / EQQE008I OPERATIONS READ TO SELECT A WINNER: 01/ EQQE008I Q10 Q100 Q1000 Q5000 Q10000 > / EQQE008I / EQQE009I READY QUEUE LAST VALUE 2 01/ EQQE009I NEW READY OPERATIONS 1 01/ EQQE009I NEW STARTED OPERATIONS 0 01/ EQQE009I NEW COMPLETED OPERATIONS 1 01/ EQQE009I SELECT WINNER CALLS 32

HORIZONT 32 XINFO ® Ready Queue: Queue Length Hohe Anzahl an Operationen im Ready Status

HORIZONT 33 XINFO ® Ready Queue: Waiting Special Resource Eine hohe Anzahl von Operationen warten auf SR (zw und 5000)

HORIZONT 34 XINFO ® Ready Queue: Select a Winner Zu hohe Anzahl an Jobs aus dem der nächste ermittelt werden muß TWS braucht Zeit zur Überprüfung grosser Queues, oftmals sind viele Operationen mit SR oder Zeitabhängigkeiten der Grund

HORIZONT 35 XINFO ® Ready Queue Usage Hoher Workload Grosse Anzahl von Operationen sind permanent in der Queue (seit letztem Check) Zuviele Operationen permanent in der Ready Queue, bedeutet lange Zeiten den nächsten Job zum Submit zu finden

HORIZONT 36 XINFO ® EQQMLOG, General Service Statistik 01/ EQQG012I GENERAL SERVICE QUEUE STATISTICS FOLLOW: 01/ EQQG012I TYPE TOTAL Q1 Q2 Q5 Q10 Q20 Q50 Q100 01/ EQQG013I QUEUE SIZE / EQQG013I QUEUE DELAY / EQQG010I GENERAL SERVICE REQUEST STATISTICS FOLLOW: 01/ EQQG010I TYPE TOTAL NEWRQS TOTTIME NEWTIME TOTAVG NEWAVG 01/ EQQG011I ALL / EQQG011I AD / EQQG011I OI / EQQG011I WSD / EQQG011I CALE / EQQG011I PERI / EQQG011I RACF / EQQG011I RD / EQQG011I ETT / EQQG011I JV

HORIZONT 37 XINFO ® General Service: Queue Size Teilweise Wartezeiten (Q>1) für User- und PIF- Anforderungen

HORIZONT 38 XINFO ® General Service: Queue Delay Hohe Anzahl von Delays Queue-Größe und Delays sind Indikatoren für schlechte Anwortzeit bei TWS-Usern

HORIZONT 39 XINFO ® Detailed General Service Requests Die Anzahl der Ready-List- Anforderungen ist ungewöhnlich hoch

HORIZONT 40 XINFO ® General Service Times Hohe Servicezeiten tagsüber lassen eine schlechte Antwortzeit vermuten

HORIZONT 41 XINFO ® EQQMLOG, CP ENQ Lock Statistik 01/ EQQE004I CP ENQ LOCK STATISTICS SINCE PREVIOUS MESSAGE FOLLOW: 01/ EQQE004I NAME NEXCL NSHRD THELD TWAIT AHELD AWAIT 01/ EQQE005I NORMAL MODE MGR / EQQE005I WS ANALYZER / EQQE005I EVENT MANAGER / EQQE005I GENERAL SERVICE

HORIZONT 42 XINFO ® CP ENQ Lock: Event Manager CP update Zeit des EM EM muss warten Grund: CP locked durch users, PIF, backup …?

HORIZONT 43 XINFO ® CP ENQ Lock: General Services User/PIF Anforderungen warten Grund: EM blockiert den CP

HORIZONT 44 XINFO ® CP ENQ Lock: Normal Mode Manager CP blokiert Grund: CP-Backup oder Switch vom NCP ? Hoher Workload

HORIZONT 45 XINFO ® Backup Copy Times Startzeit und Laufzeit eines CP Backups Finde eine besssere Zeit zur Durchführung von CP- und JS-Backup (keine Event getriebenen Backup)

HORIZONT 46 XINFO ® Zusammenfassung der Performance Analyse durch XINFO IT-Charts XINFO sammelt und akkumuliert automatisch die Daten aus EQQMLOG und Tracklog XINFO hält historische Daten vor und hilft diese im Vergleich zu sehen z.B. mit dem gleichen Zeitraum des Vorjahres XINFO ermöglicht Zwachstellen und Problemzonen aufzuzeigen

HORIZONT 47 XINFO ® Vielen Dank für Ihre Aufmerksamkeit! HORIZONT Software für Rechenzentren Garmischer Str. 8 D München Tel ++49(0)89 / Das IT - Informationssystem XINFO