28.03.2017 Scheduling von Prozess-Netzwerken Axel Sanwald CES - Chair for Embedded Systems Department of Computer Science University of Karlsruhe Description must be written here for your seminar.

Übersicht Was sind Prozess-Netzwerke? Wo kann man sie verwenden? 28.03.2017 Übersicht Was sind Prozess-Netzwerke? Wo kann man sie verwenden? Grenzen/mögliche Probleme/Gefahren Gewünschte Eigenschaften eines Schedulers Statisches Scheduling Dynamisches Scheduling Zusammenfassung Was sind PNs - Definition Einsatzbeispiele Grenzen bzw. mögliche Probleme oder Gefahren Scheduler können hier evtl. helfen  Eigenschaften Statisches & dynamisches Scheduling Zusammenfassung

Was sind Kahn-Prozess-Netzwerke? 28.03.2017 Was sind Kahn-Prozess-Netzwerke? Modell für paralleles Rechnen, bestehend aus Prozessen und Kanälen Kanal: einziger Kommunikationsweg – gerichtet, asynchron, FIFO Prozess: Teilprogramm, dass parallel ausführbar ist Semantik: Ausgangskanäle jederzeit beschreibbar, Lesen blockiert bei leerem Eingangskanal Terminierung: alle Prozesse warten auf leeren Eingangskanal Darstellung kann als Graph erfolgen, hier ein Beispiel: Es handelt sich um ein Modell aus Prozessen, Kanälen Kanal – einziger Kommunikationsweg Prozess – Teilprogramm Semantik – was ist blockierend, was nicht Terminierung – wann terminiert ein programm Darstellung als Graph, Skizze erklären Kanal Nachricht= Token Prozess

Einsatzmöglichkeiten 28.03.2017 Einsatzmöglichkeiten Einige Beispiele: IPC oder RPC in µKernel- Betriebssystemen µKernel Console Network Memory Datenströme in eingebetteten Systemen Elementar- sensor Auf- bereitung Vor- verarbeitung Auswertung physikalische Größen ...01011101... ...5,7,13... ...2*5;8*1;... ...Hund;Auto;... Beispiele IPC im Kernel Modellierung von Netzwerken Konstruktion von Embedded Systems am Beispiel eines intelligenten Sensors Netzwerkverkehr in z.B. LAN, WAN oder peer-to-peer Netzen

Die Kehrseite des Kahn-Netzwerk-Modells 28.03.2017 Die Kehrseite des Kahn-Netzwerk-Modells Es kann immer nur von einem bestimmten Kanal gelesen werden!  z.B. select-syscall nicht modellierbar Programmablauf muss nicht deterministisch sein  unvorhersagbares Zeitverhalten einer Applikation Durch unbestimmten Programmablauf oder durch das Programm selbst ist  unendlicher Speicherbedarf möglich readFrom( any,...); NO! NO! Kein select-syscall möglich Kein Determinismus!  unvorhersagbares Zeitverhalten einer App Unendlicher Speicherbedarf möglich  siehe Skizze P2 P3 P1 P4

Gewünschte Eigenschaften eines Schedulers 28.03.2017 Gewünschte Eigenschaften eines Schedulers Ein Scheduler sollte die komplette Ausführung eines Kahn-Prozess-Netzwerkes der partiellen bevorzugen. Soll z.B. ein Programm niemals terminieren, dann darf es vom Scheduler auch nicht eingeschränkt werden. Ein Scheduler sollte, sofern möglich die Prozesse eines Netzwerks in einer Reihenfolge ausführen, so daß sich stets nur eine beschränkte Menge an Tokens auf jedem Kanal befinden. Im Konfliktfall ist 1. zu bevorzugen. Unterschied komplett und partiell Erklären Wie erkennen: Prozesse sind durch ein Write blockiert Ausführungsreihenfolge so das Beschränktheit Konfliktfall  bei unbounded Nets

Statisches Scheduling 28.03.2017 Statisches Scheduling Nur auf Synchrone-Datenfluß-Netzwerke, Spezialfall von Kahn- Prozess-Netzwerken, anwendbar: Topologiematrix Gamma aufstellen Lösung für Balancegleichung finden Anfangswertproblem lösen Ziel: Finden einer Ausführungsreihenfolge Wunscheigenschaften P1 P2 K1 1 1 1 K2 1 1 1 2 P3 1 P2 Erklären, was Synchrone-Datenfluß-Netzwerke sind Topologie Matrix Zeigen und Erklären Sagen, daß Balancegleichung positiv und nicht trivial sein darf! Ziel: das Finden einer Ausführungsreihenfolge 1 P1 1 3 P4 3 Mögliche Ausführungsreihenfolge: 1, 2, 1, 2, 1, 2, 3, 3, 3, 4

Dynamisches Scheduling I 28.03.2017 Dynamisches Scheduling I Ziel: Unzulänglichkeiten von statischem Scheduling umgehen Ein einfaches Daten gesteuertes Scheduling Verfahren: Suche alle Prozesse im Zustand bereit Starte alle gefundenen Prozesse Warte bis alle gestarteten Prozesse blockiert sind Springe zu 1. Wunscheigenschaften 1 2 Anwendung auf allgemeine Prozess Netzwerke Scheduling ist Datengesteuert Es erfüllt die komplette Ausführung – Wunsch 1

Dynamisches Scheduling II 28.03.2017 Dynamisches Scheduling II Zweites Ziel erfordert Semantik-Änderung des Netzwerks: Neu: beschränkte Kanäle und blockierendes Schreiben Allerdings können ‘künstliche Verklemmungen‘ entstehen! Folgender Algorithmus löst das Problem: Initialisiere alle Kanäle mit einer Startkapazität Führe Programm mit vorherigem Scheduler aus Bei Stop: prüfe ob es durch ein Write blockierte Prozesse gibt Ja: erhöhe Kanalkapazitäten aller blockierten Kanäle und springe zu 2. Nein: Terminiere Wunscheigenschaften 1 2 Lösung des unbounded Problems durch Netztransformation bzw. Semantikänderung Künstliche Deadlocks erklären 2x Möglichkeiten: entweder Semantikänderung (Beschränkte Kanäle und blockierendes Write) ODER Feedback Kanäle Erkläre Skizze: warum deadlock? k=1 1 2 P1 P2 k=1

Bereit Verklemmt Blockiert 28.03.2017 Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten k=0 1 1 P2 P3 1 1 1 1 k=0 k=1 k=0 k=3 Beispielskizze erklären Farben erklären 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert 28.03.2017 Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben k=0 1 1 P2 P3 1 1 1 1 k=0 k=1 k=0 k=3 Initialer Zustand 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert 28.03.2017 Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben k=0 1 1 P2 P3 1 1 1 1 k=1 k=1 k=0 k=3 Kapazität Kanal 1 wurde erhöht Netz läuft eine Weile Kapazitätsproblem am Kanal 3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben k=1 1 1 P2 P3 1 1 1 1 k=1 k=1 k=0 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=1 1 1 P2 P3 1 1 1 1 k=1 k=1 k=0 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=2 1 1 P2 P3 1 1 1 1 k=1 k=1 k=1 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=2 1 1 P2 P3 1 1 1 1 k=1 k=1 k=1 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Kanalkapazitäten entsprechend Initialzustand setzen, Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=3 1 1 P2 P3 1 1 1 1 k=1 k=1 k=2 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Scheduler starten Prozesse finden Deadlock bei Kanal 1 beheben Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=3 1 1 P2 P3 1 1 1 1 k=1 k=1 k=2 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bereit Verklemmt Blockiert Beispiel Prozesse finden Deadlock bei Kanal 1 beheben Scheduler starten Deadlock bei Kanal 3 beheben Deadlocks bei Kanälen 3,4 beheben k=4 1 1 P2 P3 1 1 1 1 k=1 k=1 k=3 k=3 1 P1 1 3 P4 3 Prozess Bereit Verklemmt Blockiert

Bewertung des Verfahrens 28.03.2017 Bewertung des Verfahrens Verfahren findet bei beschränkten Programmen eine Ausführungsreihenfolge, die mit beschränktem Speicher auskommt Andere Scheduler, die bereits Eigenschaft 1 erfüllen, sind kompatibel Reagiert im Konfliktfall wie gewünscht Möglicherweise große Anzahl an Stops Parallelität wird durch beschränkte Kanäle behindert Anmerken: alle Scheduler, die Eigenschaft 1 erfüllen sind kompatibel Solange das Programm bounded ist, wird Pfad gefunden ABER: viele Stops  schlechte Parallelität

28.03.2017 Zusammenfassung Ein Kahn-Prozess-Netzwerk ist einfaches aber mächtiges und vielseitig verwendbares Modell Allerdings kann es programmtechnisch oder durch ungeschicktes Scheduling zu unbeschränktem Hauptspeicherbedarf kommen Im Spezialfall synchroner-Datenfluß-Netzwerke können offline bzw. statische Scheduling-Verfahren verwendet werden Für den allgemeinen Fall ist es mittels einer Netztransformation und eines geeigneten Schedulers möglich ein beschränktes Programm mit endlichem Speicher auszuführen. Mächtiges Modell Unbeschränkter Hauptspeicherbedarf möglich Statische Scheduling verfahren sind nur eingeschränkt anwendbar Ansonsten Netztransformation oder Semantikänderung nötig.

28.03.2017 Fragen ? Für Aufmerksamkeit bedankten (Weitere) Fragen?

Beschreibung Synchrone-Datenfluß-Netzwerke 1 Synchronous data flow (SDF) differs from traditional data flow in that the amount of data produced and consumed by a data flow node is specified a priori for each input and output. This is equivalent to specifying the relative sample rates in signal processing system. This means that the scheduling of SDF nodes need not be done at runtime, but can be done at compile time (statically), so the runtime overhead evaporates. (Quelle: http://ptolemy.eecs.berkeley.edu/publications/papers/87/staticscheduling/)

Beschreibung Synchrone-Datenfluß-Netzwerke II A synchronous dataflow actor can consume a fixed positive number of tokens from each input channel and produces a fixed positive number of tokens at each output channel. Let the state of the graph be represented by the sequence consisting of the number of tokens present on each channel. Then the state transition graph of the network would have transitions between the states represented by the firings of the actors. We want a finite sequence of firings, called a finite complete cycle, which leaves the network in the same state. This sequence can be repeated forever and hence the graph can be executed in bounded memory. The are a number of advantages of this. Scheduling can be done statically. The buffer sizes for the channels can be computed in advance. Deadlocks can be detected. (Quelle: http://ptolemy.eecs.berkeley.edu/~eal/ee290n/lec19.scribe/node3.html)