HORIZONT 1 XINFO ® Das IT - Informationssystem HORIZONT Software für Rechenzentren Garmischer Str. 8 D- 80339 München Tel ++49(0)89 / 540 162 - 0 www.horizont-it.com.

Präsentation zum Thema: "HORIZONT 1 XINFO ® Das IT - Informationssystem HORIZONT Software für Rechenzentren Garmischer Str. 8 D- 80339 München Tel ++49(0)89 / 540 162 - 0 www.horizont-it.com."—  Präsentation transkript:

1 HORIZONT 1 XINFO ® Das IT - Informationssystem HORIZONT Software für Rechenzentren Garmischer Str. 8 D- 80339 München Tel ++49(0)89 / 540 162 - 0 www.horizont-it.com XINFO TWS Performanceanalyse mit XINFO IT-Charts

2 HORIZONT 2 XINFO ® Gründe für TWS Performance Analyse TWS ist ein Schlüssel-Subsystem in einer z/OS-Umgebung –Job-Scheduler müssen effizient arbeiten, um insgesamt eine gute Leistung zu erzielen Gerade kleine “Verschwender” im Scheduling können tiefgreifende Ergebnisse erzeugen: –Zum Beispiel: Auf einem System mit 50.000 Jobs pro Tag, wenn 2.000 von diesen Jobs auf dem kritischem Pfad statt einer Sekunde der Submit 2 Sekunden dauert, gehen über 33 Minuten pro Tag im Batchfenster verloren –Tatsächlich kann weitaus mehr verloren gehen, wenn die TWS Performance schlecht ist.

3 HORIZONT 3 XINFO ® Weitere Gründe für eine Analyse Erreichung von SLAs Zusammenführung verschiedener Systeme/Sysplexe und deren Scheduler (TWS Controller) Hohes Volumen an ETT-Jobs mit der Anforderung abgearbeitet zu werden wie eine Transaktion ‘in real time’ Eine Überprüfung der Performance von TWS und dem “Tuning” für effizienteres Arbeiten, kann eventuell Investitionen in Hardware vermeiden

4 HORIZONT 4 XINFO ® Komponenten mit Einfluß auf TWS JES und der Workload Manager (WLM) Wechselwirkungen zwischen den TWS Subtasks z/OS Performance insgesamt TWS I/O Aktivitäten, Plazierung von TWS Dateien, das DASD Subsystem, etc. TWS Processor Speicher (50% des CP ist in LSR Buffers gespeichert) TWS Dispatching Priorität und Prozessor Nutzung VTAM und/oder XCF-Performance

5 HORIZONT 5 XINFO ® TWS Subtask Wechselwirkungen EM Event Manager WSA Workstation Analyser CP Current Plan GS General Service Ready Tracker User JES/WLM submit PIF NMM Normal Mode Manager Backup JS JCL Repository Events, ETT [LOCK] Performance ist OK wenn alle Systeme gut zusammenarbeiten

6 HORIZONT 6 XINFO ® IBM Tuning Empfehlungen Eine sehr gute Veröffentlichung: SC32-1265-03 IBM Tivoli Workload Scheduler for z/OS Customization and Tuning, Kapitel 13, 14 und 15, Analyzing performance, Tuning Controller & Tracker Erläutert Einflußfaktoren auf Performance relevante Probleme: –Grosse Queue von Computer Operationen mit Status ‘R’ –Verzögerungen zwischen Job Endezeiten und erfolgreicher Rückmeldung ans TWS. –…–…

7 HORIZONT 7 XINFO ® IBM Tuning Empfehlung Viele Ready-Operationen: Setzen eines hohen QUEUELEN Wertes Reduzierung der Anzahl ‘Suspended’ Events: Filter unrelevanter Information mit Exit EQQUX004 Beleuchtung der JES-Performance Nutzung von EQQUX002 Exit zur Lokalisierung und Bereitstellung der JCL …

8 HORIZONT 8 XINFO ® Performance Fragestellungen Alle diese Empfehlungen sollten dieser Sichtweise folgen: –Ist die TWS Queue Lengths ausreichend? –Sind zu viele “ready”-Operations in der Queue? –Gibt es lange Wartezeiten beim Submit von Jobs? –Taucht eine hohe Anzahl von “unrelevanten” (suspended) Events auf? –Ist die Antwortzeit noch akzeptabel? –…

9 HORIZONT 9 XINFO ® Performancedaten Performancedaten sind in einigen Quellen verfügbar ( RMF, SMF, VTAM GTF und TWS selbst) Detailierte TWS-Performancedaten können erstellt werden durch die Aktivierung des Parameters STATMSG im Initialization-Statement JTOPTS am Controller: –CPLOCK(Current Plan locking) –EVENTS(Event Prozessing) –WSATASK(Workstation Analyser Task) –GENSERV(General Service Subtask)

10 HORIZONT 10 XINFO ® Auswertung von Performance-Daten Eine Auswertung der Performancedaten gestaltet sich etwas schwierig: –MLOG: Sehr viele Meldungen und Werte –TRACKLOG: Sehr viele Daten mehr oder weniger ‘unlesbar’ –Aus den Daten müssen relevante Werte summiert werden –Hier ist ein hoher manueller Zeitaufwand erforderlich dies selbst mit z.B. Excel auszuwerten

11 HORIZONT 11 XINFO ® Auswertung Performancedaten mit XINFO XINFO bereitet Performancedaten automatisch auf und visualisiert das Ergebnis graphisch

12 HORIZONT 12 XINFO ® Was ist XINFO? XINFO analysiert: z/OS:JCL, DB2, IMS, SMF, Cobol, PL1, etc. Scheduler:UC4, TWS, Control-M, CA-7, etc. C/S:Space, Inventory, Process und SAP Ergebnis der Analyse wird in eine Datenbank geladen Dialogprogramme (Windows oder ISPF) Abfrageergebnisse werden tabellarisch oder grafisch dargestellt XINFO ist ein Informationssystem für Rechenzentren. Es ermöglicht den Zugriff auf alle relevanten Informationen:

13 HORIZONT 13 XINFO ® zOS, UNIX or Windows Additional input data.Main input data JCL SMF Scheduler XINFO Technischer Überblick JCL Scanner SMF Scanner Scheduler Scanner XINFO Database (DB2, ORACLE or MS-SQL) PC Client Etc.Cobol Catalog Unix, Windows Etc. Other Scanners Source Scanner Space Scanner Distributed Scanners

14 HORIZONT 14 XINFO ® IT-Charts Jobs pro Jahr / Monat / Tag Abbrüche pro Jahr / Monat / Tag Plattenplatz Anzahl der Dateien Trend-Analyse … “XINFO IT-Charts” ist ein XINFO Modul zum schnellen und einfachen Erstellen von Diagrammen aus vorhandenen XINFO-Daten: Offen für alle Daten

15 HORIZONT 15 XINFO ® Fehlerhafte Jobs Anzahl von fehlerhaften Jobs je Abend-Art

16 HORIZONT 16 XINFO ® Anzahl aller Jobs im Vergleich Vorjahr Aktuelles Jahr

17 HORIZONT 17 XINFO ® SLA (Service Level Agreement) Ausgangssituation: Ein bestimmer Job muss vor 09:00 fertig sein Ziel erreicht: Job endet vor 09:00 Ziel nicht erreicht, job endet nach 09:00

18 HORIZONT 18 XINFO ® Bereitstellung TWS Daten Controller EQQMLOG JT JARC Extend/Replan CP EQQTROUT EQQAUDIT TWS Activity-Report STATMSG(…) STATIM(60) EQQPARM Notwendige Optionen Durchführung von EQQBATCH/EQQAUDIT

19 HORIZONT 19 XINFO ® Analyse EQQMLOG und EQQAUDIT EQQE006I EVENT MANAGER EVENT TYPE STATISTICS FOLLOW: EQQE006I TYPE NTOT NNEW TTOT TNEW TAVG NAVG NSUS EQQE007I ALL 213 213 1.0 1.0 0.00 0.00 14 EQQE007I 1 8 8 0.1 0.1 0.02 0.02 0 EQQE007I 2 15 15 0.0 0.0 0.00 0.00 0 EQQE007I 3S 8 8 0.0 0.0 0.00 0.00 0 EQQE007I 3J 45 45 0.2 0.2 0.00 0.00 4 EQQE007I 3P 48 48 0.3 0.3 0.00 0.00 4 EQQE007I 4 0 0 0.0 0.0 0.00 0.00 0 EQQE007I 5 39 39 0.0 0.0 0.00 0.00 6 EQQE007I USER 0 0 0.0 0.0 0.00 0.00 0 EQQE007I CATM 0 0 0.0 0.0 0.00 0.00 0 EQQE007I OTHR 43 43 0.1 0.1 0.00 0.00 0 EQQE004I CP ENQ LOCK STATISTICS SINCE PREVIOUS MESSAGE FOLLOW: EQQE004I NAME NEXCL NSHRD THELD TWAIT AHELD AWAIT EQQE005I NORMAL MODE MGR 1 0 0.0 0.1 0.00 0.11 EQQE005I WS ANALYZER 2 0 1.3 1.0 0.69 0.54 EQQE005I EVENT MANAGER 2 0 1.1 1.3 0.57 0.69 EQQN017I THE JCL REPOSITORY DATA SET WILL BE COPIED EQQN016I DDNAME OF CURRENT JCL REPOSITORY DATA SET IS EQQJS1DS EQQG013I QUEUE SIZE 687 687 0 0 0 0 0 0 EQQG013I QUEUE DELAY 687 687 0 0 0 0 0 0 EQQG010I GENERAL SERVICE REQUEST STATISTICS FOLLOW: EQQG010I TYPE TOTAL NEWRQS TOTTIME NEWTIME TOTAVG NEWAVG EQQG011I ALL 687 687 758.9 758.9 1.10 1.10 EQQG011I RL 4 4 0.0 0.0 0.02 0.02 EQQG011I OPER 214 214 235.4 235.4 1.10 1.10 EQQG011I OPRL 1 1 0.0 0.0 0.00 0.00 EQQG011I PREP 1 1 0.0 0.0 0.00 0.00 EQQG011I JCL 19 19 19.2 19.2 1.01 1.01 EQQG011I MCP 17 17 26.8 26.8 1.57 1.57 EQQG011I DEPC 38 38 6.6 6.6 0.17 0.17 EQQG011I R3P 11 11 0.0 0.0 0.00 0.00 EQQG011I C3C 86 86 188.1 188.1 2.18 2.18 EQQG011I AD 13 13 0.1 0.1 0.01 0.01 EQQG011I WS 126 126 76.1 76.1 0.60 0.60 EQQG011I WSRL 1 1 0.0 0.0 0.00 0.00 EQQG011I CP_G 106 106 203.3 203.3 1.91 1.91 OP.CPDB_030 IN RZ01XX#TWS#CPBKUP IS SET TO S JOBNAME: R01TWS01 PROCESSED IJ-SUBMIT JCL AD/IA: RZ01XX#TWS#CPBKUP0511100600 PROCESSED A1-JOB CARD READ R01TWS01(JOB52600) AT: 02.17.43.87 PROCESSED A2-JOB START R01TWX01(JOB52600) AT: 02.17.46.35 XINFO Scanner XINFO IT-Charts Tabelle

20 HORIZONT 20 XINFO ® Anzahl Jobs je Stunde Anzahl Jobs Stunden Eine hohe Anzahl an Jobs tagsüber (Normalen Online-Zeit)

21 HORIZONT 21 XINFO ® Anzahl Jobs je Workstation Hauptlast auf Workstation CPU3 Legende

22 HORIZONT 22 XINFO ® Submit-/Startzeiten je Workstation 30 Sekunden und mehr Zeit einen Job zu submitten ist inaktzeptabel Auch im Mittel 10 Sekunden sind schlecht Was könnte der Grund sein? Sekunden Zeitachse eines Tages Kleiner 1 Sekunde ist OK

23 HORIZONT 23 XINFO ® Zeitdifferenz von Status S  IJ-Event In diesem Falle brauchte TWSz zu lange beim Lesen der JCL (auf CPU1/2-Sysplex) Alle anderen Zeiten sind ok

24 HORIZONT 24 XINFO ® Zeitdifferenz von IJ  A1-Event Submit der JCL an INTRDR: Zeiten unter einer Sekunde sind ok

25 HORIZONT 25 XINFO ® Zeitdifferenz von A1  A2-Event Initiierung der Jobs im JES: Auf CPU3, Jobs benötigen zeitweise zu lange im JES (WLM) Auf den anderen Workstations sind die Zeiten ok Grund war: Niedrige (WLM) Priorität für TWS-Batch-Jobs, gegenüber höher priorisierten Paralleljobs

26 HORIZONT 26 XINFO ® XINFO‘s TWS Displays Current Plan Enqueues Submit-Prozeß Zeiten Event Manager Ready Queue General Service Task CP & JS Backup Zeiten Anzahl Jobs

27 HORIZONT 27 XINFO ® 01/29 13.27.32 EQQE000I TOTAL NUMBER OF EVENTS PROCESSED BY THE EVENT MANAGER TASK IS: 2301 01/29 13.27.32 EQQE000I NUMBER OF EVENTS SINCE THE PREVIOUS MESSAGE IS: 2259 01/29 13.27.32 EQQE000I EVENT MANAGER QUEUE LENGTH STATISTICS FOLLOW: 01/29 13.27.32 EQQE000I TOTAL Q1 Q2 Q5 Q10 Q20 Q50 Q100 >100 01/29 13.27.32 EQQE000I 2209 2207 1 0 0 0 1 0 0 01/29 13.27.32 EQQE006I EVENT MANAGER EVENT TYPE STATISTICS FOLLOW: 01/29 13.27.32 EQQE006I TYPE NTOT NNEW TTOT TNEW TAVG NAVG NSUS 01/29 13.27.32 EQQE007I ALL 2301 2259 0.3 0.1 0.00 0.00 0 01/29 13.27.32 EQQE007I 1 11 11 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 2 9 9 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 3S 29 23 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 3J 11 9 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 3P 13 11 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 4 0 0 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I 5 1 1 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I USER 0 0 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I CATM 0 0 0.0 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I OTHR 2227 2195 0.1 0.0 0.00 0.00 0 01/29 13.27.32 EQQE007I E2E 0 0 0.0 0.0 0.00 0.00 0… EQQMLOG, Event Manager Statistik

28 HORIZONT 28 XINFO ® Event Manager: Queue Length Hohe Anzahl an Events Events werden sofort verarbeitet, Queue ist selten größer 1

29 HORIZONT 29 XINFO ® Event Manager: Event Types Hohe Anzahl an Events Gleichmäßige Verteilung der Eventtypen (dies ist ok)

30 HORIZONT 30 XINFO ® Event Manager: Suspended Events Hohe Anzahl suspended A3P events Grund: Events kommen von einem anderen parallelen TWS Installation Lösung: Event filter exit

31 HORIZONT 31 XINFO ® EQQMLOG, Ready Queue Statistik 01/29 13.27.32 EQQE008I READY OPERATIONS QUEUE LENGTH STATISTICS FOLLOW: 01/29 13.27.32 EQQE008I Q10 Q100 Q1000 Q5000 Q10000 >10000 01/29 13.27.32 EQQE008I 32 0 0 0 0 0 01/29 13.27.32 EQQE008I OPERATIONS READ AND FOUND WAITING FOR SPECIAL RESOURCES: 01/29 13.27.32 EQQE008I Q10 Q100 Q1000 Q5000 Q10000 >10000 01/29 13.27.32 EQQE008I 32 0 0 0 0 0 01/29 13.27.32 EQQE008I OPERATIONS READ TO SELECT A WINNER: 01/29 13.27.32 EQQE008I Q10 Q100 Q1000 Q5000 Q10000 >10000 01/29 13.27.32 EQQE008I 32 0 0 0 0 0 01/29 13.27.32 EQQE009I READY QUEUE LAST VALUE 2 01/29 13.27.32 EQQE009I NEW READY OPERATIONS 1 01/29 13.27.32 EQQE009I NEW STARTED OPERATIONS 0 01/29 13.27.32 EQQE009I NEW COMPLETED OPERATIONS 1 01/29 13.27.32 EQQE009I SELECT WINNER CALLS 32

32 HORIZONT 32 XINFO ® Ready Queue: Queue Length Hohe Anzahl an Operationen im Ready Status

33 HORIZONT 33 XINFO ® Ready Queue: Waiting Special Resource Eine hohe Anzahl von Operationen warten auf SR (zw. 1000 und 5000)

34 HORIZONT 34 XINFO ® Ready Queue: Select a Winner Zu hohe Anzahl an Jobs aus dem der nächste ermittelt werden muß TWS braucht Zeit zur Überprüfung grosser Queues, oftmals sind viele Operationen mit SR oder Zeitabhängigkeiten der Grund

35 HORIZONT 35 XINFO ® Ready Queue Usage Hoher Workload Grosse Anzahl von Operationen sind permanent in der Queue (seit letztem Check) Zuviele Operationen permanent in der Ready Queue, bedeutet lange Zeiten den nächsten Job zum Submit zu finden

36 HORIZONT 36 XINFO ® EQQMLOG, General Service Statistik 01/29 17.01.29 EQQG012I GENERAL SERVICE QUEUE STATISTICS FOLLOW: 01/29 17.01.29 EQQG012I TYPE TOTAL Q1 Q2 Q5 Q10 Q20 Q50 Q100 01/29 17.01.29 EQQG013I QUEUE SIZE 312 312 0 0 0 0 0 0 01/29 17.01.29 EQQG013I QUEUE DELAY 311 312 0 0 0 0 0 0 01/29 17.01.29 EQQG010I GENERAL SERVICE REQUEST STATISTICS FOLLOW: 01/29 17.01.29 EQQG010I TYPE TOTAL NEWRQS TOTTIME NEWTIME TOTAVG NEWAVG 01/29 17.01.29 EQQG011I ALL 311 311 2.4 2.4 0.00 0.00 01/29 17.01.29 EQQG011I AD 75 75 0.8 0.8 0.01 0.01 01/29 17.01.29 EQQG011I OI 5 5 0.0 0.0 0.00 0.00 01/29 17.01.29 EQQG011I WSD 93 93 0.7 0.7 0.00 0.00 01/29 17.01.29 EQQG011I CALE 5 5 0.0 0.0 0.00 0.00 01/29 17.01.29 EQQG011I PERI 25 25 0.2 0.2 0.00 0.00 01/29 17.01.29 EQQG011I RACF 14 14 0.0 0.0 0.00 0.00 01/29 17.01.29 EQQG011I RD 84 84 0.4 0.4 0.00 0.00 01/29 17.01.29 EQQG011I ETT 5 5 0.0 0.0 0.00 0.00 01/29 17.01.29 EQQG011I JV 5 5 0.0 0.0 0.00 0.00

37 HORIZONT 37 XINFO ® General Service: Queue Size Teilweise Wartezeiten (Q>1) für User- und PIF- Anforderungen

38 HORIZONT 38 XINFO ® General Service: Queue Delay Hohe Anzahl von Delays Queue-Größe und Delays sind Indikatoren für schlechte Anwortzeit bei TWS-Usern

39 HORIZONT 39 XINFO ® Detailed General Service Requests Die Anzahl der Ready-List- Anforderungen ist ungewöhnlich hoch

40 HORIZONT 40 XINFO ® General Service Times Hohe Servicezeiten tagsüber lassen eine schlechte Antwortzeit vermuten

41 HORIZONT 41 XINFO ® EQQMLOG, CP ENQ Lock Statistik 01/29 17.00.42 EQQE004I CP ENQ LOCK STATISTICS SINCE PREVIOUS MESSAGE FOLLOW: 01/29 17.00.42 EQQE004I NAME NEXCL NSHRD THELD TWAIT AHELD AWAIT 01/29 17.00.42 EQQE005I NORMAL MODE MGR 43 0 0.0 0.0 0.00 0.00 01/29 17.00.42 EQQE005I WS ANALYZER 16 0 0.1 0.0 0.00 0.00 01/29 17.00.42 EQQE005I EVENT MANAGER 1527 0 0.4 0.2 0.00 0.00 01/29 17.00.42 EQQE005I GENERAL SERVICE 0 5 0.0 0.0 0.00 0.00

42 HORIZONT 42 XINFO ® CP ENQ Lock: Event Manager CP update Zeit des EM EM muss warten Grund: CP locked durch users, PIF, backup …?

43 HORIZONT 43 XINFO ® CP ENQ Lock: General Services User/PIF Anforderungen warten Grund: EM blockiert den CP

44 HORIZONT 44 XINFO ® CP ENQ Lock: Normal Mode Manager CP blokiert Grund: CP-Backup oder Switch vom NCP ? Hoher Workload

45 HORIZONT 45 XINFO ® Backup Copy Times Startzeit und Laufzeit eines CP Backups Finde eine besssere Zeit zur Durchführung von CP- und JS-Backup (keine Event getriebenen Backup)

46 HORIZONT 46 XINFO ® Zusammenfassung der Performance Analyse durch XINFO IT-Charts XINFO sammelt und akkumuliert automatisch die Daten aus EQQMLOG und Tracklog XINFO hält historische Daten vor und hilft diese im Vergleich zu sehen z.B. mit dem gleichen Zeitraum des Vorjahres XINFO ermöglicht Zwachstellen und Problemzonen aufzuzeigen

47 HORIZONT 47 XINFO ® Vielen Dank für Ihre Aufmerksamkeit! HORIZONT Software für Rechenzentren Garmischer Str. 8 D- 80339 München Tel ++49(0)89 / 540 162 - 0 www.horizont-it.com Das IT - Informationssystem XINFO