CompactPCI 2.14 FT-Mechanismen Folie 1 Carsten Trinitis Lehrstuhl für Rechnertechnik und Rechnerorganisation (LRR), TU-München Fehlertoleranzmechanismen im offenen Industriestandard PICMG 2.14 Diskussionskreis Fehlertoleranz, St. Augustin bei Bonn Carsten Trinitis

CompactPCI 2.14 FT-Mechanismen Folie 2 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Überblick 1.CompactPCI-Systeme und Spezifikationen 2.Aufbau eines CompactPCI-Systems 3.PCI Industrial Computers Manufacturers Group (PICMG) 4.PICMG 2.14 MultiComputing-Spezifikation 5.Teilbereich Hochverfügbarkeit in PICMG Zusammenfassung und Ausblick

CompactPCI 2.14 FT-Mechanismen Folie 3 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 CompactPCI-Systeme sind Systeme mit VME-Bus Eurocard- Formfaktor und erweitertem PCI-Busprotokoll. Hauptvorteil: CompactPCI ist Hot-Swap fähig. Einsatzbereich daher in erster Linie für hochverfügbare Systeme. Zuständige Standardisierungsorganisation: PCI Industrial Computer Manufacturers Group (PICMG). CompactPCI-Systeme

CompactPCI 2.14 FT-Mechanismen Folie 4 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Zur PICMG gehören ca. 675 Firmen, die CompactPCI- Komponenten herstellen. Einige der bekanntesten sind: Intel, Motorola, SUN, HP, Compaq, XILINX, Microsoft, FORCE Computers,... Aber auch der Lehrstuhl für Rechnertechnik und Rechnerorganisation der TU München. Neben der CompactPCI Core-Spezifikation gibt es eine Reihe weiterer Spezifikationen, die verschiedene Aspekte der Systeme und ihrer Anwendungen beschreiben. CompactPCI-Systeme

CompactPCI 2.14 FT-Mechanismen Folie 5 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 CompactPCI 2.0 R3.0 Core Specification (Oktober 1999): beschreibt in erster Linie mechanische und elektrische Eigenschaften der Systeme. CompactPCI 2.1 R2.0 Hot-Swap Specification (Januar 2001): beschreibt die Anforderungen an Hot-Swap fähige CompactPCI-Systeme. CompactPCI 2.9 System Management Specification (Februar 2000): Test und Maintencance mittels I 2 C-Bus. CompactPCI 2.12 Software Interoperability (Mai 2000): Definiert hardwareunabhängige Softwareschnittstelle für Hot- Swap. CompactPCI-Spezifikationen

CompactPCI 2.14 FT-Mechanismen Folie 6 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Noch ausstehende/gerade verabschiedete Spezifikationen: CompactPCI 2.13 Redundant System Slot Specification (pending) CompactPCI 2.14 MultiComputing Specification (verabschiedet) CompactPCI 2.16 IP Backplane for CompactPCI (verabschiedet) Daneben existieren noch eine Reihe weiterer Spezifikationen z.B. zum Zuweisen der Pins für bestimmte Zusatzprotokolle, zur Definition der Spannungsversorgung von CompactPCI-Systemen etc. CompactPCI-Spezifikationen

CompactPCI 2.14 FT-Mechanismen Folie 7 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Passive Backplane mit bis zu 8 Steckplätzen, davon 1 System Slot für System Board, hier erfolgen Busarbitrierung, Takteinspeisung, PCI-Konfigurationszyklen sowie Steuerung von Hot-Swap Ereignissen 7 Peripheral Slots, in der Regel für Single Board Computer Aufbau eines CompactPCI-Systems

CompactPCI 2.14 FT-Mechanismen Folie 8 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Passive Backplane: System Slot 1 Peripheral Slots 2-8 Aufbau eines CompactPCI-Systems

CompactPCI 2.14 FT-Mechanismen Folie 9 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Teilnahme an den Standardisierungskomitees 2.13 und : Redundant System Slot, noch nicht verabschiedet 2.14: aktive Teilnahme an der Erstellung der Spezifikation PICMG-Treffen

CompactPCI 2.14 FT-Mechanismen Folie 10 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Implementierung einer OSI Data Link Layer (Schicht 2) über CompactPCI. Entdecken und Initialisieren (heterogener) Geräte nach einer Neuinitialisierung des Systems bzw. nach einem Hot-Swap Vorgang. Kommunikation über Buffer-Strukturen und Nachrichtenaustausch. PICMG 2.14: Ziele

CompactPCI 2.14 FT-Mechanismen Folie 11 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Unterstützung für Broadcast/Multicast, Promiscuous Mode, Hot-Swap, Reset, Driver Unload Unterstützung nichttransparenter Bridges Byte Ordering Hochverfügbarkeit, Kompatibilität mit PICMG 2.13 PICMG 2.14: Ziele

CompactPCI 2.14 FT-Mechanismen Folie 12 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Initialisierung (Motorola / StarGen) System Map Distribution (Intel) Ressourcenverwaltung und –management (FORCE/Intel) Broadcast/Multicast (FORCE) Hochverfügbarkeit (LRR-TUM) PICMG 2.14: Arbeitsgruppen

CompactPCI 2.14 FT-Mechanismen Folie 13 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Terminologie: CompactPCI versus Multicomputing CompactPCI-System: (Redundant ausgelegter) System Host (SH) im System Slot (siehe Folie 8) der CompactPCI-Backplane. Ein oder mehrere Peripheral Nodes (PH) in den Peripheral Slots (siehe Folie 8) der CompactPCI-Backplane.

CompactPCI 2.14 FT-Mechanismen Folie 14 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Multicomputing-System (MCNet): Ein (redundant ausgelegter) System Node (SN), dieser konfiguriert und steuert das Multicomputing-System. Ein oder mehrere Peripheral Nodes (PN), diese kommunizieren untereinander über das MCNet-Protokoll. Ein PN ist eine Software-Einheit, die auf einem Board liegt. Terminologie: CompactPCI versus Multicomputing

CompactPCI 2.14 FT-Mechanismen Folie 15 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Ziel: Das Multicomputing-System muß unempfindlich gegen geplante Entnahmen und ungeplante Ausfälle von Knoten (Software-Einheiten) bzw. Boards (Hardware-Einheiten) sein. Geplante Entnahmen und ungeplante Ausfälle

CompactPCI 2.14 FT-Mechanismen Folie 16 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Geplante Entnahmen (Planned Removals): Ein Knoten oder ein Board wird aus dem Multicomputing- System entnommen. Die entsprechenden Datenstrukturen (System Map etc.) werden zuvor aktualisiert. Beispiel: Hot-Swap. Geplante Entnahmen und ungeplante Ausfälle

CompactPCI 2.14 FT-Mechanismen Folie 17 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Ungeplanter Ausfall (Unplanned Failure): Recoverable Unplanned Failure: Ausfall eines Knotens, der entdeckt wird, bevor Störungen auf dem Bus erfolgen. Unrecoverable Unplanned Failure: Ausfall eines Knotens oder Boards mit Störungen auf dem Bus und unverhersehbaren Konsequenzen für das Multicomputing- System. Geplante Entnahmen und ungeplante Ausfälle

CompactPCI 2.14 FT-Mechanismen Folie 18 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Realisierung: Definition von 5 Hochverfügbarkeitsmodi abhängig vom zur Verfügung stehenden System (No HA, Hybrid HA, Minimal HA, Comprehensive HA, Full HA). Knotenentnahmeprotokoll (Node Removal Protocol). Heartbeat-Protokoll mit hierarchischer Proxy-Struktur. PICMG 2.14: Arbeitsgruppe Hochverfügbarkeit

CompactPCI 2.14 FT-Mechanismen Folie 19 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 0: No High Availability In den MCNet-Kontrollstrukturen sind keine Redundanz- /Switchover-Mechanismen implementiert. SH und SN sind nicht redundant ausgelegt. Durch Ausfall eines Knotens kann das gesamte System ausfallen. Billigste Variante. Sinnvoll bei einfachen Anwendungen.

CompactPCI 2.14 FT-Mechanismen Folie 20 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 0: No High Availability Higher Layers Data Link Layer Physical Layer Peripheral Node (PN) Application Networking Software PICMG 2.14 Software (PN) Peripheral Node (PN) Application Networking Software PICMG 2.14 Software (PN) Peripheral Node (PN) Application Networking Software PICMG 2.14 Software (PN) System Host (SH) System Node (SN) Application Networking Software PICMG 2.14 Software (SN) CompactPCI Bus

CompactPCI 2.14 FT-Mechanismen Folie 21 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 1: Hybrid High Availability SH und SN sind nicht redundant ausgelegt. Die Knoten des MCNet-Systems können Hot-Swap unterstützen bzw. einen Heartbeat-Mechanismus implementieren. Gewährleistet ein minimales Maß an Hochverfügbarkeit bei Verwendung einfacher Hardware-Komponenten. Sinnvoll bei Systemen, in denen nicht alle Boards Hot-Swap- fähig sind. Backplane muß allerdings Hot-Swap unterstützen.

CompactPCI 2.14 FT-Mechanismen Folie 22 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 1: Hybrid High Availability Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) System Host (SH) System Node (SN) Networking Software PICMG 2.14 Software (SN) CompactPCI Bus Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Hot Swap Control Unit Application HA Software Application HA Software

CompactPCI 2.14 FT-Mechanismen Folie 23 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 2: Minimal High Availability Realisiert in Systemen ohne redundanten SH/SN. Maximales Maß an Hochverfügbarkeit bei Single SH/Single SN. Alle Boards mussen Hot-Swap-fähig sein. Alle Boards müssen Heartbeat unterstützen.

CompactPCI 2.14 FT-Mechanismen Folie 24 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 2: Minimal High Availability Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) System Host (SH) System Node (SN) Networking Software PICMG 2.14 Software (SN) CompactPCI Bus Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Hot Swap Control Unit Application HA Software Application HA Software

CompactPCI 2.14 FT-Mechanismen Folie 25 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 3: Comprehensive High Availability Realisiert in Systemen ohne redundanten SH. Maximales Maß an Hochverfügbarkeit durch redundanten SN. SH ist letzter verbleibender Single Point of Failure. Daher sollte er nur minimale Funktionalität wie Takteinspeisung, Busarbitrierung, Hot-Swap-Steuerung und PCI-Konfigurations- zyklen bieten. Redundanter SN (RSN) wird über den Status des MCNet auf dem Laufenden gehalten.

CompactPCI 2.14 FT-Mechanismen Folie 26 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 3: Comprehensive High Availability System Node (SN) CompactPCI Bus Networking Software PICMG 2.14 Software (SN) Application HA Software Redundant System Node (RSN) Networking Software PICMG 2.14 Software (PN) HA Software Application Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Application HA Software Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Application HA Software SystemHost (SH) Clock, Arbitration Hot Swap Control Unit PCI Configuration Cycles

CompactPCI 2.14 FT-Mechanismen Folie 27 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 4: Full High Availability Realisiert in zukünftigen PICMG 2.13 kompatiblen Dual-Host- Systemen. SH und SN sind redundant ausgelegt. SNs laufen auf den beiden SHs. Aufwendigste Variante mit maximaler Hochverfügbarkeit.

CompactPCI 2.14 FT-Mechanismen Folie 28 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 High Availability Mode 4: Full High Availability System Host (SH) System Node (SN) CompactPCI Bus Networking Software PICMG 2.14 Software (SN) Application HA Software Networking Software PICMG 2.14 Software (SN) HA Software Application Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Application HA Software Peripheral Node (PN) Networking Software PICMG 2.14 Software (PN) Application HA Software Hot Swap Control Unit Redundant System Host (RSH) Redundant System Node (RSN )

CompactPCI 2.14 FT-Mechanismen Folie 29 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Heartbeat-Protokoll Heartbeat dient zum Entdecken von Recoverable Unplanned Failures. Unterstützt von HA Modes 2-4, kann von Mode 1 unterstützt werden. Als überwachende Knoten werden Broadcast-Proxies eingesetzt. Die Proxy-Baumstruktur entspricht der des Broadcast-Systems. Zu überwachende Knoten senden Heartbeat-Ticks an überwachende Knoten (unidirektionale Kommunikation).

CompactPCI 2.14 FT-Mechanismen Folie 30 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Heartbeat-Proxybaum SN Proxy End Node End Node End Node End Node End Node End Node End Node End Node End Node End Node End Node End Node

CompactPCI 2.14 FT-Mechanismen Folie 31 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Heartbeat-Protokoll Heartbeat-Gruppe wird als spezielle Broadcast-Gruppe definiert. Knoten, die überwacht werden sollen/wollen, treten der Heartbeat-Gruppe bei. Diese erhalten dann eine Policy vom Gruppenverwalter (SN), die die Proxies benennt, an die sie ihre Heartbeats schicken sollen. Der zu überwachende Knoten baut dann eine Control Connection zum überwachenden Knoten auf. Policies könne sich während des Betriebes ändern.

CompactPCI 2.14 FT-Mechanismen Folie 32 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Heartbeat-Protokoll Zu überwachender Knoten initiiert Heartbeat-Verbindung mit MCNODE_HEARTBEAT_REQ Nachricht. Diese enthält: Start/Stop/Failure-Parameter, Minimale zulässige HB-Rate innehalb eines spezifizierten Intervalls, Maximal zulässige Anzahl von nicht empfangenen Heartbeat- Ticks sowie Maximale zulässiges Intervall zwischen zwei Heartbeat-Ticks.

CompactPCI 2.14 FT-Mechanismen Folie 33 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Heartbeat-Protokoll Überwachender Knoten kann den Heartbeat Request annehmen oder abweisen. Dies hängt davon ab, ob er in der Lage ist, die Heartbeat-Sequenz zu verarbeiten. Bei Änderung der Policy sendet der zu überwachende Knoten ein MCNODE_HEARTBEAT_REQ(HB_STOP) an den überwachenden Knoten, wenn dieser nicht mehr in der neuen Policy entalten ist.

CompactPCI 2.14 FT-Mechanismen Folie 34 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Zusammenfassung und Ausblick CompactPCI-Systeme sind spezielle hochverfügbare Systeme, die von der PICMG spezifiziert werden. Als Mitglied der PICMG aktive Teilnahme des LLR-TUM an der Multicomputing-Spezifikation. Dabeio zuständig für den Teilbereich Hochverfügbarkeit: Definition verschiedener Modi, Heartbeat-Mechanismen. In künftigen Versionen Kompatibilität zu Dual-Host-Systemen für höhere Hochverfügbarkeitsmodi. Künftige Projekte sollen sich mit Hochverfügbarkeit in höheren Schichten beschäftigen (Middleware-Framework).

CompactPCI 2.14 FT-Mechanismen Folie 35 Carsten Trinitis Fehlertoleranzmechanismen in CompactPCI 2.14 Vielen Dank für Ihre Aufmerksamkeit!