Shellprogrammieren mit Bash

Präsentation zum Thema: "Shellprogrammieren mit Bash"—  Präsentation transkript:

1 Shellprogrammieren mit Bash
Ulrich Fiedler Shellprogrammieren mit Bash

2 Shellprogrammieren mit Bash
Inhaltsverzeichnis Einführung (15 min) Shell Typen Einführung in die Shell-Programmierung Variablen / vordefinierte Variablen (15 min) Substitution (Shell Preprocessing) (15 min) Quoting (Metazeichen) (15 min) Weiterführende Themen der Shell-Programmierung Test (10 min) Flusskontrolle (if, case,while, for, select) (10 min) Umleitung von Ein- und Ausgabe (15 min) Parameteruebergabe, Optionen abarbeiten (10 min) Funktionsaufrufe (10 min) Texte filtern: head, tail, grep, tr, sort, unique (10 min) Reguläre Ausdrücke (15 min) sed (10 min) Zusammenfassung Shellprogrammieren mit Bash

3 Am Anfang war die Shell …
Shellprogrammieren mit Bash

4 Die Shell (Englisch für Schale, Muschel)
Schnittstelle zum Betriebssystemkernel, die eine Eingabe und Interpretation von ausführbaren Kommandos ermöglicht. Die Eingabe erfolgt über Kommandozeile (interaktiv) Shellskripts (nicht interaktiv) Die erlaubte Komplexität der Eingaben ist vergleichbar ist mit der einer einfachen Programmiersprache Shellprogrammieren mit Bash

5 Interpretation der Kommandozeile
Ermöglicht eingebaute Kommandos auszuführen Z.B. eine Variable setzen in der Bash Shell Set DISPLAY Ermöglicht mit Utility Programmen (Binaries, compilierte Programme) zu arbeiten Z.B. Editor starten: emacs im Hintergrund starten („Job-Kontrolle“): emacs & Ein- oder Ausgabe eines Programms umlenken („Redirection“): ls > dir.txt Ausgabe eines Programm als Eingabe eines anderen Programms verwenden („pipelining“ – glue things together) tail –f logfile | more Shellprogrammieren mit Bash

6 Interpretation von Shellskripts
Ermöglicht es sich wiederholende Abläufe zu automatisieren Systemstart Einloggen - Startskripts der Login-Shell Systemgenerisches Skript Bsp. Bash-Shell: /etc/profile Login Shell Skript Bsp.: Bash-Shell: ~/.profile (oder ~/.bash_profile, ~/.bash_login) Starten einer neuen Shell – Startskript einer Nichtanmeldeshell (Bash) Hier können z.B.der Suchpfad für ausführbare Programme gesetzt werden Bsp.: Bash-Shell: ./bashrc Schliessen einer Shell – Abmeldeskript Bsp. Bash-Shell: ./bash_logout Systeme installieren Install configure usw. Systeme administrieren (z.B. neuen User einführen) Zusammenstecken von Anwendungsprogrammen Z.B. generieren einer Postskriptsdatei aus LaTex Quellen Shellprogrammieren mit Bash

7 Shellprogrammieren mit Bash
Shell Typen Unix/Linux bietet verschiedene Shells an: Bourne, Bash und Korn Shell Algol-ähnliche Syntax, User-Prompt: „$“ C, TC-Shell (terminal based C-Shell) C ähnliche Syntax, User-Prompt: „%“ Diese Shells können auch remote benützt werden rsh (remote shell): ssh (secure shell): Starke Authentisierung, sicher Verbindung Bemerkung: Eine Alternative zu Shellskripts für komplexere Aufgaben ist Perl Uebersichtliche Programmiersprachkonstrukte Verfügbar sowohl unter Windows/WSH als auch unter Unix/Linux Bourne Shell Einfach, auf allen Unix verfügbar Autor Ken Thompson, Steven Bourne C-Shell Quelle Berkeley Unix, Autor: Bill Joy (Autor von vi) Populär für interaktiven Gebrauch, da konfortabel: Aliasses, Kommando History, Job Kontrolle (erklären!) Bash GNU Version von Bourne Enthält sehr viel Funktionalität für den interaktiven Gebrauch von der C-Shell Korn Für interaktiven Gebrauch erweitere Bourne Shell Wenig verbreitet TC-Shell (Terminal based C-Shell) Im wesentlichen eine C-Shell mit Bugfixes Neue Features: Emacs-style command-line editing Interactive command Spelling correction of command Automatic logout after extended idle period Monitor logins. A shell with file name completion and command line editing. Shellprogrammieren mit Bash

8 Eigenschaften: Unix Shells
bash ksh csh tcsh Ursprung „das Original“ GNU System 5 R4 BSD Unterliegende Syntax Job Kontrolle - + Brauchbares I/O Redir Kommando History Kommandozeile editierbar Dateinamen Vervollständigung Eingebaute Arithmetik Shellprogrammieren mit Bash

9 Shellprogrammieren mit Bash
Shellpgm: Variablen I Skalare Variablen Definition: name=value Zulässige Variablennamen Zugriff: $name bzw. echo $name(Variable Subst.) Zugriffsrechte: readonly name Bash/Korn: Array Variablen Defintion; name[index]=value Alloziert nur für belegte Indices, ksh: index in 0,..,1023 Initialisierung: Bash: name=(value1 ... valuen) Zugriff: 1 Element: ${name[index]}, Alle: ${name[*]} oder wenn Elemente Leerzeichen enthalten Shellprogrammieren mit Bash

10 Shellpgm: Variablen II
Variablen freigeben Unset name (nicht für readonly Variablen) Scope von Variablen Lokale Variablen Environment Variablen Export name; Shell Variablen (von der Shell gesetzt) PWD,UID,SHLVL,IFS,PATH,HOME Shellprogrammieren mit Bash

11 Substitution (Shell Preprocessing)
Dateinamen Substitution (Globbing) * (Wildcard: suffix,prefix match),?,[a-zA-Z0-9 ],[!...] Value-based variable substitution (Tabelle machen!) Default zurückgeben falls Variable leer: ${parameter:-word} PS1=${HOST:-localhost}"$ " ; export PS1 ; Variable mit Default belegen leer: ${parameter:=word} Abbruch mit message falls Variable leer: ${parameter:?message} : ${HOME:?"Your home directory is undefined."} Default zurückgeben falls Variable gesetzt: ${parameter:+word} echo ${DEBUG:+"Debug is active."} Command substitution ´command´ DATE=´date´; USERS=´who | wc -l´; UP=´date ; uptime´ Arithmetic substitution Bash, Korn: $((expression)) foo=$(( ((5 + 3*2) - 4) / 2 )) Shellprogrammieren mit Bash

12 Shellprogrammieren mit Bash
Shellpgm: Quoting Quoting: Abschalten der Spezialbedeutung von sogenannten Metazeichen: * ? [ ] ' " \ $ ; & ( ) | ^ < > new-line space tab alle anderen Zeichen (Literale) werden nicht beeinflusst backslash ( \) Escaping = Substitution für den nächstes Zeichen ausschalten echo You owe \$1250 single quote ( ') Substitution für alle Zeichen ausschalten echo '<-$1250.**>; (update?) [y|n]' double quote ( ") Substitution ausschalten bis auf Variablen- und Kdosubst. echo "$USER owes <-\$1250.**>; [ as of (´date +%m/%d´) ]" Shellprogrammieren mit Bash

13 Shellprogrammieren mit Bash
Shellpgm: Quoting Regeln Backslash zwischen Doublequotes ist nur speziell für folgende Zeichen: $ „ ‚ \ Quoting ignoriert Wortgrenzen echo Hel"lo; w"orld Verschiedene Quoting Methoden dürfen in einem Kommando kombiniert werden echo The '$USER' variable contains this value \> "|$USER|" Leerzeichen zwischen Argumenten sind ein Trenner echo Name Address echo „Name Address“ mailx -s "Meeting tomorrow" fred jane < meeting.notice Zeileende kann mit Backslash gequotet werden $ cp file1 file2 file3 file4 file5 file6 file7 \ > file8 file9 /tmp Argumente, die Wildcards oder Escapesequenzen enthalten müssen gequotet werden Quotes benützen wenn auf ein File, welches Metazeichen enthält, zugegriffen werden soll rm 'ch1*' Reguläre Ausdrücke immer quoten grep '[0-9][0-9]*$' report2 report7 Escape Sequenzen werden mit gequotetem Backslash bilden echo -e "Line 1\nLine 2" Wildcards für cpio und find müssen gequotet werden: cpio -icvdum 'usr2/*' < /dev/rmt0 find / -name 'ch*.doc' -print Shellprogrammieren mit Bash

14 Shellpgm: Test build-in
Test expression oder [ expression ] schafft Voraussetzung für die Flusskontrolle z.B. mit if oder case Filetests Interaktives Bsp.: test -d $HOME; echo $? [ -d $HOME ];echo $? -d Ist Verzeichnis -e Existiert -f Existiert und ist reguläres File -rwx Ist les-, schreib-, ausführbar Shellprogrammieren mit Bash

15 Shellpgm: Test build-in
Stringvergleiche -z, -n (String ist leer, nichtleer) =, != (2 Strings sind gleich, ungleich) Bsp.: [ -n "$FRUIT_BASKET" ] [ "$FRUIT" = apple ] Numerische Vergleiche Syntax: [ int1 operator int2 ] -eq, -ne, -lt,-le,-gt, -ge Zusammengesetzte Ausdrücke ! E1 –a e2 E1 –o e2 Conditional Operators: e1 && e2, e1 || e2 Bsp [ -z "$DTHOME" ] && [ -d /usr/dt ] [ -z "$DTHOME" -a -d /usr/dt ] test ! -d $HOME/bin && mkdir $HOME/bin Shellprogrammieren mit Bash

16 Shellprogrammieren mit Bash
Flusskontrolle: if Basic Syntax if list1 then list2 elif list3 then list4 else list5 fi Unterschiede zu C/Java Es werden keine Klammern um Anfang und Ende der Expression (list1) und der statements (list2, …, list5) anzgeben. Die Funktionalität der Klammer wird komplett durch die Schlüsselworte if, elif, else und fi übernommen. then wird benötigt ( ;) vor dem then wird benötigt, falls dies nicht auf einer separaten Zeile steht elif anstatt else if fi am Ende des if statements Bsp if uuencode koala.gif koala.gif > koala.uu ; then echo "Encoded koala.gif to koala.uu" else echo "Error encoding koala.gif" fi Shellprogrammieren mit Bash

17 Shellprogrammieren mit Bash
Flusskontrolle: case Basic Syntax: case word in pattern1) list1 ;; <- Doppelstrichpunkt pattern2) list2 ;; esac Bsp:: FRUIT=kiwi case "$FRUIT" in apple) echo "Apple pie is quite tasty." ;; banana) echo "I like banana nut bread." ;; kiwi) echo "New Zealand is famous for kiwi." ;; esac Shellprogrammieren mit Bash

18 Flusskontrolle: While
Begriffe: loop, body, iteration, nested loop, infinite loop Syntax while command do list done Command kann irgendein UNIX Kdo sein, oft: test expression Bsp.: RESPONSE= while [ -z "$RESPONSE" ] ; do echo "Enter the name of the … directory:\c " read RESPONSE if [ ! -d "$RESPONSE" ] ; then echo "ERROR: Please enter a directory pathname." RESPONSE= fi done Schachtelung (Nesting) möglich Analog: until Kommando Shellprogrammieren mit Bash

19 Shellprogrammieren mit Bash
Flusskontrolle: For Basic Syntax for name in word1 word2 ... wordN do list done Bsp. for FILE in $HOME/bin/* ; do cp $FILE ${HOME}/WWW chmod a+r ${HOME}/WWW/${FILE} done Shellprogrammieren mit Bash

20 Shellprogrammieren mit Bash
Select Ksh, bash: select -> Auswahlliste anzeigen Syntax: select name in word1 word2 ... wordN do list done Antwort steht in $REPLY Bsp (üblich bei Softwareinstall Skripts): select COMPONENT in comp1 comp2 comp3 all none do case $COMPONENT in comp1|comp2|comp3) CompConf $COMPONENT ;; all) CompConf comp1; CompConf comp2; CompConf comp3 ;; none) break ;; *) echo "ERROR: Invalid selection, $REPLY." ;; esac done Shellprogrammieren mit Bash

21 Flusskontrolle: Loop Control
Break „exit loop“ Syntax break [level] Bsp.: infinite loop while : do read CMD case $CMD in [qQ]|[qQ][uU][iI][tT]) break ;; *) process $CMD ;; esac done Continue „exit current iteration“ Bsp.: for FILE in $FILES do if [ ! -f "$FILE" ] ; then echo "ERROR: $FILE is not a file." continue fi # process the file done Shellprogrammieren mit Bash

22 Ein-/Ausgabe Umleitung
Uebliche Voreinstellungen Standardeingabe: Tastatur (entspricht Dateideskriptor 0) Standardausgabe: Bildschirm (entspricht Dateideskriptor 1) Standardfehlerausgabe: Bildschirm (entspricht Dateideskiptor 2) Einfache Umleitungen < Datei anlegen, Eingabe umleiten > Ausgabe umleiten >> Datei anlegen, falls nicht existent, Eingabe anhängen Bsp.: sort namen.txt > sortierteNamen.txt Umleitung mit Filedeskriptoren <& fd – assoziiere Filedeskriptor fd mit der Eingabe >&fd – assoziiere Filedeskriptor fd mit der Ausgabe Zwei Filedeskriptoren aufeinander umleiten: fd1>&fd2 Filedeskriptor schliessen: fd>&- Bsp.: mypgm 1>mypgm.txt 2>&1 (Reihenfolge wichtig!) Shellprogrammieren mit Bash

23 Bsp: Umleitung der Eingabe
Mail von der Kommandozeile aus versenden: mailx < Exam_Answers Ein paar URLs auf dem Standarddrucker ausgeben lpr << MYURLS MYURLS Hinweis: Eingabe Umleitung kann mit Ausgabe Umleitung kombiniert werden. Bsp: root Einträge aus /etc/passwd auslesen: while read LINE do case $LINE in *root*) echo $LINE ;; esac done < /etc/passwd Shellprogrammieren mit Bash

24 Bsp.: Umleitung der Ausgabe
Einfaches Bsp.: date > now { date; uptime; who ; } >> mylog Bildschirmausgabe eines Programms zusätzlich in einem File loggen benütze das Tee Kommando Syntax: command | tee file if [ "$LOGGING" != "true" ] ; then LOGGING="true" ; export LOGGING ; exec $0 | tee $LOGFILE fi Shellprogrammieren mit Bash

25 Bsp.: Umleitung mit Filedeskriptoren
Hier einfacheres, eingängiges Bsp. Suchen !!! Bestimmen, wie viele Zeilen in einem Textfile sind i=0; while read LINE ; do i=´echo "$i + 1" | bc´ done < $file echo $i löst das Problem nicht, da die while Schleife in einer Subshell ausgeführt wird und $i hinterher nichtmehr bekannt ist. Vorschlag: exec 3<&0 <$file # stdin sichern und File über stdin einlesen i= while read LINE ; do i=´echo "$i + 1" | bc´ done echo $i exec 0<&3 3<&- # stdin wiederherstellen, SicherungsFD schliessen Shellprogrammieren mit Bash

26 Shellprogrammieren mit Bash
Shellpgm: Parameter Syntax für Programmaufruf command options <weitere Argumente> Options sind spezielle Argumente, die das Verhalten des Programms verändern Spezielle Variablen $0: pgmname, $1 – arg1, $2 – arg2, …, $#: Anz. Args $*: Alle Argumente insgesamt double quoted Vorsicht: mytar -t "my tar file.tar„ Mit shift kann das jeweils erste Argument weggeworfen werden. Alle Argumente einzeln double quoted $? Exit status des letzten Kommandos $$: PID of current Shell $!: PID des letzten Hintergrundkommandos Behandeln von Optionen Case statement Getopts Shellprogrammieren mit Bash

27 Shellpgm: Optionen abarbeiten
Einfaches Bsp.: Abarbeiten von Optionen mit case statement $cat mytar USAGE="Usage: `basename $0` [-c|-t] [file|directory]„ if [ $# -ne 2 ] ; then echo "$USAGE" ; # Usage statement ausgeben exit 1 ; fi case "$1" in t) TARGS="-tvf $2" ;; c) TARGS="-cvf $2.tar $2" ;; *) echo "$USAGE" exit 0 ;; esac tar $TARGS Shellprogrammieren mit Bash

28 Shellpgm: Option Parsing
Falls es eine grössere Anzahl Optionen gibt: getopts Syntax: getopts option-string var getopts untersucht alle Kommandozeilenargument und sucht nach Argumenten, welche mit – beginnen Diese werden, falls gefunden, mit dem option-string verglichen Bei Uebereinstimmung wird die zu die Option in der Variablen var gesetzt Ein evtl. gefundenes Argument steht in die Variable OPTARG Bei Nicht-Uebereinstimmung wird die Variable var auf ? gesetzt. Dies wird wiederholt bis alle Argument abgearbeitet sind Danach gibt getopts einen Exit Code zurück der von 0 verschieden ist Daher kann getopts einfach in Schleifen (Loops) eingestetzt werden. Die Spezialvariable OPTIND steht auf dem Index des letzten Arguments Dadurch kann auf weitere Argumente, die keine Optionen enthalten, einfach zugegriffen werden Shellprogrammieren mit Bash

29 Shellprogrammieren mit Bash
Bsp.: Option Parsing Bsp: Es sollen eine verbose Option geben und mit Optionen soll auch ein infile und ein outfile gestetzt werden können getopts v:i:o OPTION VERBOSE=false while getopts v:i:o OPTION ; do case "$OPTION" in v) VERBOSE=true ;; i) INFILE="$OPTARG" ;; o) OUTFILE="$OPTARG" ;; \?) echo "$USAGE" ; exit 1 ;; esac done Weitere Argument abarbeiten shift `echo „$OPTIND -1“ | bc` Nun ist $1 das erste verbleibende Argument Shellprogrammieren mit Bash

30 Shellprogrammieren mit Bash
Funktionen Name für eine Liste von Shellkommandos: Subroutine, Prozedur mit eigenen Argumenten und Exit code Funktionen laufen der Shell ab, in der die Funktion aufgerufen wird Syntax: Definition: name ( arg1 .. argN ) { list ; } auf arg1 .. argN kann innerhalb der Funktion mit $1 .. $N und zugegriffen werden Alle anderen lokalen Variablen haben global scope (anders als bei Subshell!) Return Code 0: Erfolg, >0: Fehlerfall Aufrufs: name arg1 .. argN Interpreter parst die Definition auf Syntax Errors Interpreter trägt den Funktionsnamen in die Liste der Shell Kommandos ein Funktion ist dann im Skript/Shell und in allen Subshells bekannt Löschen aus der Liste der Shell Kommandos mit: unset name Shellprogrammieren mit Bash

31 Shellprogrammieren mit Bash
Bsp.: Funktionen Definitionen einer Funktion zur Emulation von Aliases (alternativen Namen): Definition: source() { . ; } cd () { chdir ${1:-$HOME} ; PS1="´pwd´$ " ; export PS1 ; } Aufruf: source myshellskript.sh ; cd /home/fiedler/mydir Definition einer Funktion welche die Verzeichnisse PATH im Pfad nur setzt, falls benötigt (Anwendung: Gebrauch desselben Login-skripts auf verschiedensten Maschinen) SetPath() { for _DIR in ; do if [ -d "$_DIR" ] ; then PATH="$PATH":"$_DIR" ; fi done export PATH unset _DIR } Shellprogrammieren mit Bash

32 Texte filtern: Head, Tail, Grep
Shellskripts müssen oft Ausgaben umformatieren, manipulieren etc. Head: Fileanfang ausgeben Syntax: head [–n lines] file/filelist Default n=10 Bsp.: die 5 Files im Home-Verzeichnis, auf die zuletzt zugegriffen wurde auflisten ls -1ut /home/fiedler | head -5 Tail: Fileende ausgeben analog zu head zusätzlich follow Option: tail –f file/filelist Global regular expression print: Grep Datei auf Zeilen, die ein Wort/Wortgruppe/Regulären Ausdruck enthalten absuchen und diese ausgeben Syntax: grep options reg.exp. File/filelist Bsp.: grep –i pipe ch15.doc -- -i: Case insenstive grep –v ‚#‘ /etc/host -- -v: suche auf Zeilen, die das Wort/Wortgruppe/Regulären Ausdruck nicht enthalten grep –n ‚myvar‘ pgm.cc -- -n: Zeige Zeilennr an grep –l ‚myvar‘ *.cc -- -l: Zeige nur Dateiname an Shellprogrammieren mit Bash

33 Texte filtern: tr, sort, unique
Transliterate: tr Zeichen ersetzen Syntax: tr options ´set1´ ´set2´ Bsp.: Kleinbuchstaben durch Grossbuchstaben ersetzen: tr ´a-z´ ´A-Z´ Mehrfachleerzeichen durch eines ersetzen (squeeze): tr –s ´ ´ Alle Trennzeichen einer Datei durch Leerschlag ersetzen: cat file | tr ´[:punct:]´ ´ ´ | tr ´[:space:]´ ´ ´ | … Sortieren: sort Syntax: sort options file Bsp: sort –rn -- -n numerisch, -r: reverse (umgekehrt) sort –k 2,2 -- -k: Sortierschlüssel (Key) ist die 2. Spalte Unique: uniq Alle Zeilen nur 1x ausgeben, auch mehrfach vorkommende Syntax: uniq option Bsp: Unique –c file -- -c: Häufigkeit der Zeilen mitangeben Shellprogrammieren mit Bash

34 Shellprogrammieren mit Bash
Reguläre Ausdrücke Beschreiben eine Menge von Strings Werden oft verwendet um Texte zu suchen, zu filtern oder zu editieren Z.B. bei einer Suche mit grep Aufbau: normale Zeichen: A-Z,a-z,0-9, usw. Metazeichen: . Irgendein Zeichen ausser Newline * 0 oder mehrmalsl das Zeichen davor [ chars ] Irgendein Buchstabe der Menge chars - : Buchstabenintervalle z.B. A-Z ^ Zeilenanfang $ Zeilenende \ Metabedeutung ausschalten Shellprogrammieren mit Bash

35 Reguläre Ausdrücke: Bsp.
Wildcard /a*c/ matcht mit ace, yacc, arctic, „close the window“ Greedy match /a*a/ matcht mit „able was I, I saw elba“ Mengen von Buchstaben /[tT]he/ matcht mit „the“ und „The“ Reversing /^T/ matcht alles ausser T Anchoring /^the/ matcht „the“ am Zeilenanfang /friends$/ matcht „friends“ am Zeilenende /^$/ matcht Leerzeilen /^.*$/ matcht beliebige ganze Zeile Quoting /\$[0-9]*\.[0-9][0-9]/ matcht mit irgend einem Dollar Betrag Shellprogrammieren mit Bash

36 Shellprogrammieren mit Bash
SED Zeilenweise einlesen, kopieren, bei pattern matching action auf Kopie anwenden Geeignet für kleine Editieroperation z.B. in einer Pipeline Syntax: sed options ´script´ file Script: /regulärer Ausdruck/ action Action: p (print): Zeile kopieren und bei Match nochmals ausgeben Options: -n (noduplicate) d (delete), Zeile bei Match löschen s/reg. Ausdruck2/reg. Ausdruck3/qualifier (substitute) bei Match reg. Ausdruck2 durch reg. Ausdruck3 ersetzen & Operator in reg. Ausdruck 3: paste das, was im reg. Ausdruck gematcht hat Bsp.: alle Zeilen die HSR enthalten löschen: mv file1.txt file1.txt.$$ sed ´/HSR/d´ file1.txt.$$ > file1.txt Ueberall „Ulrich Fiedler“ durch „Dr. Ulrich Fiedler“ ersetzen mv cv.txt cv.txt.$$ sed s/Ulrich Fiedler/Dr. Ulrich Fiedler/g cv.txt.$$ > cv.txt da ein erster regulärer Ausdruck fehlt matchen alle Zeilen der Qualifier g (global) bewirkt, dass „Ulrich Fiedler“ nicht nur beim ersten Mal ersetzt wird sondern immerl Ueberall ein $ Zeichen vor den Preis hängen sed ´s/*[0-9][0-9]*\.[0-9][0-9]*/\$&/´ preisliste.txt Shellprogrammieren mit Bash

37 Shellprogrammieren mit Bash
Zusammenfassung Shellprogrammieren mit Bash