Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Formale Sprachen Teil 1 Klaus Becker 2006. 2 Sprachbeschreibung und -erkennung Sprachbeschreibung mit Grammatiken, Syntaxdiagrammen, regulären Ausdrücken.

Ähnliche Präsentationen


Präsentation zum Thema: "Formale Sprachen Teil 1 Klaus Becker 2006. 2 Sprachbeschreibung und -erkennung Sprachbeschreibung mit Grammatiken, Syntaxdiagrammen, regulären Ausdrücken."—  Präsentation transkript:

1 Formale Sprachen Teil 1 Klaus Becker 2006

2 2 Sprachbeschreibung und -erkennung Sprachbeschreibung mit Grammatiken, Syntaxdiagrammen, regulären Ausdrücken Spracherkennung mit endlichen Automaten Anwendungen

3 3 Teil 1 Einführung

4 4 -Adresse Vertippt! Sie wollen immer auf dem neuesten Stand sein und daher die entsprechende Newsletter abonnieren. Gott sei Dank bemerkt das System ihren Tippfehler. Quelle:

5 5 Gültige -Adressen Mit speziellen Programmen (sog. Validierern) kann man überprüfen, ob eine -Adresse korrekt gebildet ist. Nur – was heißt hier korrekt? Quelle:

6 6 Aufbau einer -Adresse Quelle: webtoolbox/index.htm 2822

7 7 Aufgabe Internet Message Format Status of this Memo This document specifies an Internet standards track protocol for the Internet community, and requests discussion and suggestions for improvements. Please refer to the current edition of the "Internet Official Protocol Standards" (STD 1) for the standardization state and status of this protocol. Distribution of this memo is unlimited. Copyright Notice Copyright (C) The Internet Society (2001). All Rights Reserved. Abstract This standard specifies a syntax for text messages that are sent between computer users, within the framework of "electronic mail" messages. This standard supersedes the one specified in Request For Comments (RFC) 822, "Standard for the Format of ARPA Internet Text Messages", updating it to reflect current practice and incorporating incremental changes that were specified in other RFCs.... Quelle: Werfen Sie einen Blick in die RFC Versuchen Sie zu verstehen, wie die korrekte Form einer -Adresse in diesem Dokument beschrieben wird.

8 8 Ein Blick in die RFC 2822 RFC 2822 Internet Message Format April Addr-spec specification An addr-spec is a specific Internet identifier that contains a locally interpreted string followed by the at-sign character ASCII value 64) followed by an Internet domain. The locally interpreted string is either a quoted-string or a dot-atom. If the string can be represented as a dot-atom (that is, it contains no characters other than atext characters or "." surrounded by atext characters), then the dot-atom form SHOULD be used and the quoted-string form SHOULD NOT be used. Comments and folding white space SHOULD NOT be used around the in the addr-spec. addr-spec = local-part domain local-part = dot-atom / quoted-string / obs-local-part domain = dot-atom / domain-literal / obs-domain domain-literal = [CFWS] "[" *([FWS] dcontent) [FWS] "]" [CFWS] dcontent = dtext / quoted-pair dtext = NO-WS-CTL / ; Non white space controls... Quelle: Formale Präzisierung Informelle Beschreibung

9 9 Standardisierung in RFC´s Die Requests for Comments (kurz RFC; zu deutsch Aufforderung zu Kommentaren) sind eine Reihe von technischen und organisatorischen Dokumenten des RFC-Editor zum Internet (ursprünglich ARPANET), die am 7. April 1969 begonnen wurden. Bei der ersten Veröffentlichung noch im ursprünglichen Wortsinne zur Diskussion gestellt, behalten RFC auch dann ihren Namen, wenn sie sich durch allgemeine Akzeptanz und Gebrauch zum Standard entwickelt haben.RFC-EditorInternetARPANET7. April1969Standard RFC Status Jeder RFC besitzt einen Status. Hier ein paar Beispiele. Informational – Hinweis, Idee, Nutzung. Experimental – Zum Experimentieren Proposed Standard – Vorschlag für Standard Draft Standard – Begutachtung von min. 2 unabhäng. Implementierungen Standard – Offizieller Standard STDn Historic – Nicht mehr benutzt Quelle:

10 10 Zielsetzung und Vorgehensweise Ziel ist es, Verfahren der Informatik zur präzisen Beschreibung sprachlicher Strukturen zu erarbeiten. Wir werden analog zur Darstellung in der RFC 2822 Präzisierungen für vereinfachte -Adressen entwickeln und die dabei benutzten Präzisierungsverfahren genauer studieren.

11 11 Teil 2 Sprachbeschreibung mit Grammatiken

12 12 Vereinfachte -Adressen Informelle Beschreibung: Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. Die Benutzerkennung ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Beispiele für korrekte -Adressen: Beispiele für inkorrekte -Adressen: // Die Domainangabe besteht aus nur einem Hier fehlt die Benutzerkennung. Hier ist zu viel.

13 13 Die Sprache der -Adressen Das Alphabet dieser Sprache ist die Menge der zur Bildung von -Adressen erlaubten Zeichen: = {a, b, Ein Wort über diesem Alphabet ist eine beliebige Folge von Zeichen aus dem Alphabet. Beispiele für Wörter über = {a, baba Die Sprache der -Adressen ist die Menge der Wörter über dem Alphabet, die eine korrekte -Adresse darstellen. Zur Sprache der -Adressen gehören u. a. folgende Wörter: Nicht zur Sprache der -Adressen gehören u. a. folgende Wörter: // Die Domainangabe besteht aus nur einem Hier fehlt die Benutzerkennung. Hier ist zu viel. Die Menge der korrekt gebildeten -Adressen wird in der Informatik als (formale) Sprache aufgefasst.

14 14 Formale Sprachen Ein Alphabet ist eine nicht-leere, endliche (geordnete) Menge von Zeichen. Alphabet für vereinfachte -Adressen: = {a, b, Durch Hintereinanderreihung endlich vieler Zeichen aus einem vorgege- benen Alphabet erhält man ein Wort (über diesem Alphabet). Die Menge aller möglichen Wörter über einem Alphabet wird mit * bezeichnet. Zu dieser Menge gehört auch das sogenannte leere Wort ( bzw. ), das keine Zeichen enthält. Wörter über : abab, Eine (formale) Sprache über dem Alphabet ist eine Teilmenge von *. Sprache der -Adressen: Menge der Wörter über, die korrekte -Adressen bilden. Zu dieser Sprache gehören: Nicht zu dieser Sprache gehören:, abab, L = {...,

15 15 Festlegung formaler Sprachen Ziel ist es, die Regeln zur Bildung der Wörter einer Sprache zu präzisieren. Aus den Regeln soll man zweifelsfrei ableiten können, ob ein Wort über dem gegebenen Alphabet zur Sprache gehört oder nicht. Zu präzisierende Sprache der vereinfachten -Adressen: Eine korrekte vereinfachte -Adresse wird folgendermaßen gebildet: - Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. - Die Benutzerkennung ist eine nicht-leere Folge der Kleinbuchstaben a, b, c. - Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge der Kleinbuchstaben a, b, c.

16 16 Syntaxdiagramme Buchstabe a bc Name Buchstabe Informelle Beschreibung: Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. Die Benutzerkennung ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Das obere Syntaxdiagramm legt fest, dass ein Buchstabe hier entweder ein a oder ein b oder ein c ist. Das untere Syntaxdiagramm beschreibt, wie ein Name aus Buchstaben zusammengesetzt wird. Jeder Weg durch diese Diagramme – beginnend im Diagramm Name – ergibt einen korrekt gebildeten Namen. Bsp.: bc; Weg: Name Buchstabe [ b ] Buchstabe [ c ]

17 17 Syntaxdiagramme Buchstabe a bc Name Buchstabe Informelle Beschreibung: Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. Die Benutzerkennung ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Wenn man den Pfeilen im Syntaxdiagramm folgt, so erhält man einen (dem Diagrammnamen entsprechenden) syntaktisch korrekten Ausdruck. Syntaxdiagramme können wie im Beispiel oben geschachtelt werden. Trifft man auf ein Rechteck, so muss man in das zugehörige Syntaxdiagramm springen. Trifft man auf ein Oval, so wird der zugehörige Inhalt in den zu bildenden Ausdruck übernommen.

18 18 Aufgabe Entwickeln Sie analog Syntaxdiagramme für eine Domainangabe und für eine -Adresse. Benutzen Sie dabei die bereits angegebenen Syntaxdiagramme. DomainAngabe Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Adresse Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. Die Benutzerkennung ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c).

19 19 Lösung DomainAngabe Die Domainangabe ist eine Folge von mindestens zwei Domainnamen, die mit einem Punkt getrennt werden. Ein Domainname ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c). Name. Adresse Eine vereinfachte -Adresse besteht aus einer Benutzerkennung, und einer Domainangabe. Die Benutzerkennung ist eine nicht-leere Folge von Kleinbuchstaben (hier nur a, b, c).

20 20 Aufgabe DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe Beispiele für korrekte -Adressen: Beispiele für inkorrekte Überprüfen Sie anhand der angegeben Beispiele, ob die entwickelten Syntaxdiagramme tatsächlich die Bildung von vereinfachten -Adressen korrekt beschreiben.

21 21 Die Grammatik einer formalen Sprachen Syntaxdiagramme legen die Regeln fest, mit denen die Wörter einer Sprache gebildet werden. Sie können daher als eine Art Grammatik der Sprache aufgefasst werden. Ziel ist es im Folgenden, den Grammatikbegriff der Informatik zu präzisieren und verschiedene Darstellungsformen aufzuzeigen. DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe

22 22 Bestandteile von Syntaxdiagrammen DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe Terminalsymbol Nichtterminalsymbol Terminalsymbole sind lexikalische Einheiten, die zur Bildung von - Adressen benötigt werden. Sie gehören also zum Alphabet der Sprache. Nichtterminalsymbole sind zusätzliche Platzhalter, die zur Beschreibung der zulässigen -Adressen benutzt werden.

23 23 Übersetzung in Produktionsregeln DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe B a B b B c N B N BN H.N H.NH D NH E Produktionsregeln

24 24 Ableitung eines Worts B a B b B c N B N BN H.N H.NH D NH E E DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe Eine Ableitung eines Worts mit den Produktionsregeln entspricht einem Weg durch die Syntaxdiagramme. Ableitung

25 25 Grammatikbegriff der Informatik Eine Grammatik besteht aus den folgenden Komponenten: - einer endlichen nichtleeren Menge T von Terminalsymbolen, - einer endlichen nichtleeren Menge NT von Nichtterminalsymbolen, - einer endlichen Menge P von Produktionen (Regeln) und - einem Startsymbol S N. Kurz: G = (T, N, P, S) Terminalsymbole: T = {a, b, // Alphabet d. Sprache Nichtterminalsymbole: NT = {E, D, H, N, B} // zusätzliche Platzhalter B a B b B c N B N BN H.N H.NH D NH E Produktionen: P = {B a, B b,..., E eigentliche Regeln Startsymbol: E// startet Ableitung Eine Produktion (Regel) hat immer die Gestalt u v. Die linke Seite u und die rechte Seite v sind dabei Wörter über dem Alphabet V = T N.

26 26 Worterzeugung als Ableitung Terminalsymbole: T = {a, b, // Alphabet d. Sprache Nichtterminalsymbole: NT = {E, D, H, N, B} // zusätzliche Platzhalter B a B b B c N B N BN H.N H.NH D NH E Produktionen: P = {B a, B b,..., E eigentliche Regeln Startsymbol: E// startet Ableitung Eine Ableitung beginnt immer mit dem Startsymbol. Sie endet, wenn alle Nichtterminalsymbole ersetzt sind. Ein Ableitungsschritt besteht darin, dass ein Teilwort innerhalb eines Worts mit Hilfe einer passenden Produktion zu ersetzen. Produktionen sind demnach Ersetzungsregeln. Beachte: Es gibt oft verschiedene Ableitungen eines Wortes. E E

27 27 Sprache zur Grammatik Eine Grammatik G = (T, N, P, S) erzeugt eine Sprache L(G) über dem Alphabet T. L(G) ist dabei die Menge der Wörter über T, die vom Startsymbol S mit Hilfe der Produktionen aus P abgeleitet werden können. Terminalsymbole: T = {a, b, // Alphabet d. Sprache Nichtterminalsymbole: T = {E, D, H, N, B} // zusätzliche Platzhalter B a B b B c N B N BN H.N H.NH D NH E Produktionen: P = {B a, B b,..., E eigentliche Regeln Startsymbol: E// startet Ableitung L(G) = {...,

28 28 Backus-Naur-Schreibweise B a B b B c N B N BN H.N H.NH D NH E Oft ist es zweckmäßig, die sog. Backus-Naur-Form als Kurzschreibweise für Produktionen zu benutzen. Statt Backus-Naur-Form wird auch die Abkürzung BNF verwendet. B a | b | c N B | BN H.N |.NH D NH E Grammatik in BNF Grammatik in Normalform

29 29 Ein Vergleich mit der RFC Die Struktur von -Adressen wird in der RFC 2822 in Backus-Naur-Form spezifiziert. Diese Art der Spezifikation findet man in sehr vielen professionell erstellten Sprachbeschreibungen. E N B | BN D NH H.N |.NH B a | b | c Vereinfachte -Adressen in BNF RFC 2822 Internet Message Format April Addr-spec specification addr-spec = local-part domain local-part = dot-atom / quoted-string / obs-local-part domain = dot-atom / domain-literal / obs-domain domain-literal = [CFWS] "[" *([FWS] dcontent) [FWS] "]"... dcontent = dtext / quoted-pair dtext = NO-WS-CTL / ; Non white space controls Adressen in BNF

30 30 JFlap Zum Experimentieren mit Grammatiken benutzen wir im Folgenden das Programm JFlap als Werkzeug. JFlap erhält man hier:

31 31 Aufgabe Starten Sie zunächst den Grammatik-Teil von JFlap und geben Sie die entwickelte Grammatik für vereinfachte -Adressen ein. Beachten Sie, dass das Startsymbol in der ersten Produktion auf der linken Seite stehen muss. JFlap erhält man hier:

32 32 Aufgabe Testen Sie die eingegebene Grammatik. Rufen Sie hierzu die Menüpunkte [Input] [Brute Force Parse] auf und geben Sie die zu untersuchende Zeichenkette ein (Achtung: Zeichenkette nicht zu lang wählen). Testen Sie auch Zeichenketten, die keine korrekte vereinfachte - Adresse darstellen sollen.

33 33 Aufgabe JFlap zeigt Ableitungen auch in einer Baumdarstellung an. Wie ist ein solches Baumdiagramm zu lesen?

34 34 Aufgabe Testen Sie die abgebildete alternative Grammatik für vereinfachte -Adressen. Vergleichen Sie diese alternative Grammatik mit der bisher betrachteten. A aB A bB A cB B aB B bB B cB C aD C bD C cD D aD D bD D cD D.E E aF E bF E cF F aF F bF F cF F.E F Was fällt auf, wenn Sie längere Wörter unter- suchen? Haben Sie eine Erklärung hierfür?

35 35 Aufgabe Versuchen Sie, die korrekte Darstellung von Zahlen (natürliche Zahlen wie 13 / ganze Zahlen wie –4 / Dezimalzahlen wie 3.14 / Dezimalzahlen mit Exponentenschreibweise wie E-2) exakt zu beschreiben. Verwenden Sie hierzu Syntaxdiagramme / eine Grammatik. Testen Sie die Ergebnisse mit JFlap.

36 36 Aufgabe Beschreiben Sie die folgenden Sprachen mit Hilfe einer Grammatik: - Die Sprache der korrekten Zeitangaben wie z. B. 12:15 - Die Sprache der Klassenbezeichner: 5a, 5b, 6a, 6b,..., 10a, 10b

37 37 Aufgabe Als der Münchner Dienstmann Alois in den Himmel kam, überreichte ihm Petrus eine Harfe und wies ihn in die himmlische Zungensprache "Frohlocken" ein. Ihre Sätze werden entsprechend der der folgenden Syntaxdiagramme gebildet.. ha frohlocken hosianna singen. lle lu u ja Quelle: Bundeswettbewerb Informatik 1990; siehe auch: Gasper, Leiß, Spengler, Stimm S. 177 Bilden Sie verschiedene Wörter, die zur himmlischen Zungensprache gehören. Beschreiben Sie diese Sprache mit Hilfe einer Grammatik.

38 38 Aufgabe Informieren Sie sich bei Wikipedia über die erweiterte Backus-Naur-Form (EBNF). Analysieren Sie die dort abgebildete Grammatik für eine einfache Programmiersprache und bilden Sie einige Wörter dieser Sprache. Beschreiben Sie diese Programmiersprache auch mit Hilfe von Syntaxdiagrammen. Quelle: (* ein einfaches Beispiel in EBNF - Wikipedia *) Programm = 'PROGRAM' Bezeichner 'BEGIN' { Zuweisung ";" } 'END' "." Bezeichner = Buchstabe { ( Buchstabe | Ziffer ) } Zahl = [ "-" ] Ziffer { Ziffer } String = '"' { AlleZeichen - '"'} '"' Zuweisung = Bezeichner ":=" ( Zahl | Bezeichner | String ) Buchstabe = "A" | "B" | "C" |... | "X" | "Y" | "Z" ; Ziffer = "0" | "1" | "2" | "3" | "4" | "5" | "6" | "7" | "8" | "9" AlleZeichen = ? alle sichtbaren Zeichen ?

39 39 Teil 3 Spracherkennung mit Automaten

40 40 Spracherkennungssysteme Ein Spracherkennungssystem soll bei Eingabe eines beliebigen Wortes entscheiden, ob dieses Wort zur vorgegebenen Sprache gehört oder nicht. Wortja / nein

41 41 Erzeugende Systeme Bisher haben wir zur Spracherkennung Systeme benutzt, die systematisch Ableitungen mit Hilfe von Grammatikregeln erzeugen und überprüfen, ob das gegebene Wort auf diese Weise erhalten werden kann. E D NH H.N H.NH N B N BN B a B b B c E // Sackgasse // Sackgasse Sackgasse Sackgasse Sackgasse Sackgasse

42 42 Aufgabe Laden Sie die Datei DA1.jff in JFlap und rufen Sie die Menüpunkte [Input] [Step by State] auf. Geben Sie einige korrekt bzw. nicht korrekt gebildete vereinfachte -Adressen ein und lassen Sie das System diese Wörter verarbeiten. Wie stellt das System die Korrektheit fest?

43 43 Analysierende Systeme cbacba q2 cbacba cbacba q3 cbacba. q4 cbacba q5 cbacba. q6 @ Das System analysiert das gegebene Wort Schritt für Schritt und überprüft, ob die Verarbeitung des Worts vom Anfangszustand i. e. Endzustand führt. :Eingabe Ausgabe: ja Endzustand Anfangszustand

44 44 Endlicher Automat als Akzeptor Ein erkennender Automat / Akzeptor besteht aus den folgenden Komponenten: - einer endlichen Menge Z von Zuständen, - einem Anfangszustand z a Z, - einer Menge Z e Z von Endzuständen, - einer endlichen Menge E von Eingabezeichen und - einer Überführungsfunktion : Z x E Z. Kurz: A = (Z, z a, Z e, E, )

45 45 Endlicher Automat als Akzeptor Zustände: Z = {q0, q1, q2, q3, q4, q5, q6} Anfangszustand: q0 Endzustände: {q5} Eingabezeichen: E = {a, b, Überführungsfunktion : Z x E Z : (q0, a) q1; : (q0, b) q1; : (q0, c) q1; : (q0,.) q6; : q6; : (q1, a) q1; : (q1, b) q1; : (q1, c) q1; : (q1,.) q6; : q2;...

46 46 Unter der Sprache L(A) eines Akzeptors A = (Z, z a, Z e, E, A, ) versteht man die Menge aller Wörter über dem Alphabet E, die den Automaten vom Anfangszustand z a in einen Endzustand aus Z e überführen. Die Sprache eines Akzeptors Eingabe: Ausgabe: ja

47 47 Aufgabe Entwickeln Sie einen Akzeptor für Bitfolgen: - mit gerader Anzahl von Nullen: die mindestens zwei aufeinander folgende Einsen oder Nullen enthalten, wie z. B. :

48 48 Aufgabe Entwickeln Sie Akzeptoren für verschiedene Zahldarstellungen: - ganze Zahlen: -3, -2, -1, 0, 1, +1, 2, +2,... - Dezimalzahlen: 3.14,... - Dezimalzahlen mit Exponentenschreibweise: E-2,...

49 49 Aufgabe In den Vereinigten Staaten gibt es die League Against Sexist Speach (LASS), die sich einen Akzeptor wünscht, der erkennt, ob in einem Wort die Zeichenfolge man vorkommt. Quelle: R. Baumann, Informatik für die SII, Band 2, S. 216.

50 50 Aufgabe Entwickeln Sie einen Akzeptor für die himmlische Zungensprache.. ha frohlocken hosianna singen. lle lu u ja

51 51 Teil 4 Exkurs: Sprachbeschreibung mit regulären Ausdrücke

52 52 Reguläre Ausdrücke Reguläre Ausdrücke sind ein weiteres in der Informatik gebräuchliches Hilfsmittel zur Beschreibung von Sprachen. Quelle: Artikel: Kluge Adressen Validation von Jan Winkler... Für das Prüfen mit Regulären Ausdrücken werden wir den folgenden Ausdruck verwenden: Im Einzelnen beschreibt dieser den Benutzernamen, die Domain, einen Punkt und 2 (z.B. de) bis 4 (z.B. info) Zeichen für die TLD. Bei der zweiten Variante werden wir die zerteilten Stücke der Adresse auf ihre Länge prüfen:...

53 53 Beispiele für reguläre Ausdrücke Beispiele für reguläre Ausdrücke: ab*a // Menge der Wörter über {a, b}, die mit a beginnen, dann eine beliebige Anzahl (evtl. auch keine) von b´s enthalten und mit a enden. Bsp.: aa, aba, abba, abbba,... b*ba // Menge der Wörter über {a, b}, die mit einer beliebige Anzahl (evtl. keine) von b´s beginnen und dann ein b gefolgt von einem a enthalten. Bsp.: ba, bba, bbba,... a(a+b)b // Menge der Wörter über {a, b}, die mit a beginnen, dann ein a oder ein b enthalten und mit b enden. Bsp.: aab, aba a(a+b)*b // Menge der Wörter über {a, b}, die mit a beginnen, dann eine beliebige Anzahl (evtl. keine) a´s oder b´s enthalten und mit b enden. Bsp.: ab, aab, abb, aaab, aabb, abab, abbb,... (aa*b)* // Menge der Wörter über {a, b}, die beliebig oft (evtl. gar nicht) die Zeichenfolge a gefolgt von beliebig vielen a´s gefolgt von einem b wiederholen. Bsp.:, ab, aaab, aabaaab,... b*(ab*ab*ab*)* // Menge der Wörter über {a, b}, die eine durch 3 teilbare Anzahl von a´s enthalten. Bsp.: bbababbba, aababbbbababbba,...

54 54 Verknüpfung von Wortmengen X und Y seien Wortmengen über dem Alphabet. XY = {xy | x X, y Y} ist die Menge aller Wörter, die sich ergeben, wenn man an ein beliebiges Wort aus X ein beliebiges Wort aus Y hängt. X 0 = { }; X 1 = X; X 2 = XX; X 3 = X 2 X = XXX;... X * = X 0 X 1 X 2 X 3 … ist die Menge aller Wörter, die sich ergeben, wenn man beliebig viele (auch keine) Wörter aus X aneinanderhängt. X + = X 1 X 2 X 3 X 4 … ist die Menge aller Wörter, die sich ergeben, wenn man beliebig viele Wörter, aber mindestens ein Wort aus X aneinanderhängt. Beispiele: Sei X = {a, b}; Y = {c}. XY = {ac, bc} X 0 = { }; X 1 = X = {a, b}; X 2 = XX = {aa, ab, ba, bb} X * = X 0 X 1 X 2 X 3 … = {, a, b, aa, ab, ba, bb,...} X + = X 1 X 2 X 3 X 4 … = {a, b, aa, ab, ba, bb,...}

55 55 Regeln für reguläre Ausdrücke Gebeben sei das Alphabet. ist ein regulärer Ausdruck, der die leere Menge {} bezeichnet. ist ein regulärer Ausdruck, der die Menge { } mit dem leeren Wort bezeichnet. Für jedes a ist a ein regulärer Ausdruck, der die Menge {a} bezeichnet. Sind x und y reguläre Ausdrücke, die die Mengen X und Y bezeichnen, so ist auch (x+y) ein regulärer Ausdruck, der die Menge X Y bezeichnet, xy ein regulärer Ausdruck, der die Menge XY bezeichnet, x* ein regulärer Ausdruck, der die Menge X* bezeichnet, x + ein regulärer Ausdruck, der die Menge X + bezeichnet, Beispiel: Sei = {a, b, c}. (a+b)* = ({a} {b}) 0 ({a} {b}) 1 ({a} {b}) 2 … = {, a, b, aa, ab, ba,...}

56 56 Aufgabe Beschreiben Sie die folgenden mit Hilfe regulärer Ausdrücke festgelegten Wortmengen: (0+( )( )*) (abc+a*) (a*b*+c) (aa+b)*(a+bb)*

57 57 Aufgabe Beschreiben Sie die folgenden Wortmengen mit Hilfe regulärer Ausdrücke: Die Menge der Wörter über {a, b}, die mit a beginnen und mit b enden. Die Menge aller Zeichenketten über dem Alphabet {0, 1}, die mit 00 enden. Die Menge aller Zeichenketten über dem Alphabet {a, b}, die nach jedem a genau zwei b´s haben. Die Menge folgender Klassenbezeichner: {5a, 5b, 5c,..., 10a, 10b, 10c}. Die Menge zulässiger Zeitangaben; z. B. 12:00

58 58 Aufgabe Beachten Sie, dass es verschiedene Darstellungen regulärer Ausdrücke benutzt werden. Versuchen Sie, den unten dargestellten Ausdruck zu verstehen. Quelle: Artikel: Kluge Adressen Validation von Jan Winkler... Für das Prüfen mit Regulären Ausdrücken werden wir den folgenden Ausdruck verwenden: Im Einzelnen beschreibt dieser den Benutzernamen, die Domain, einen Punkt und 2 (z.B. de) bis 4 (z.B. info) Zeichen für die TLD. Bei der zweiten Variante werden wir die zerteilten Stücke der Adresse auf ihre Länge prüfen:...

59 59 Aufgabe Beschreiben Sie die Menge der vereinfachten -Adressen mit Hilfe eines regulären Ausdrucks. Die Syntaxdiagramme können Ihnen bei der Konstruktion des Ausdrucks weiterhelfen. DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe

60 60 Lösung (a+b+c) DomainAngabe Name. Adresse Buchstabe a bc Name Buchstabe (a+b+c)(a+b+c)*.(a+b+c)(a+b+c)*(.(a+b+c)(a+b+c)*)* (a+b+c)(a+b+c)*

61 61 Teil 5 Anwendungen: Spracherkennung mit einem Parser-Generator

62 62 Zielsetzung Bisher wurden Verfahren zur Beschreibung und Erkennung von formalen Sprachen anhand einfacher Beispielsprachen entwickelt. Ziel ist es jetzt, formale Sprachen zu betrachten, deren Nähe zu praxisrelevanten Sprachen offensichtlich ist. Um mit solchen – auch etwas umfangreicheren – Sprachen experimentell umgehen zu können, wird im Folgenden ein geeignetes Werkzeug (ein sog. Parser-Generator) eingesetzt. Anders als JFlap, das mehr für das experimentelle Erlernen von Konzepten gedacht ist, ist der Parser-Generator ein auch in der Praxis einsetzbares Werkzeug. Als Beispielsprachen betrachten wir - ein vereinfachtes HTML - ein vereinfachtes XML - eine Sprache für mathematische Rechenausdrücke - eine einfache Programmiersprache zur Steuerung eines Roboters

63 63 Vereinfachtes HTML Informelle Beschreibung: Ein vereinfachtes HTML-Dokument besteht aus einem Kopf mit Titelangabe und einem Rumpf mit Abschnitten. Es sind keine Umlaute erlaubt. Es sollen auch keine Tabellen, Links, Bilder etc. integriert werden. Der unten abgebildete HTML-Quelltext ist in diesem Sinne ein vereinfachtes HTML-Dokument. Weiterbildungskurs Informatik Der Weiterbildungslehrgang Informatik in Rheinland-Pfalz ist ein Ersatzstudium der Informatik für Lehrerinnen und Lehrer, die bereits eine Lehrbefaehigung in einem naturwissenschaftlichen Fach haben. Der Lehrgang besteht aus sechs Wochenkursen, in denen jeweils typische Themen der Informatik bearbeitet werden. Der Lehrgang schliesst dann mit einer Pruefung zum Erwerb der Unterrichtserlaubnis fuer das Grundfach Informatik ab.

64 64 Lexik / Syntax Weiterbildungskurs Informatik Der Weiterbildungslehrgang... Der Lehrgang besteht aus... Der Lehrgang schliesst dann... Formale Sprachen, die in der Praxis vorkommen, sind oft zweistufig aufgebaut. Sie basieren auf bestimmten lexikalischen Einheiten, die vorgegeben sind bzw. nach vorgegeben Regeln gebildet werden können. Aus diesen lexikalischen Einheiten werden dann die Wörter der Sprache gemäß einer vorgegebenen Grammatik gebildet. Diese Grammatik beschreibt die Syntax der Sprache. Lexikalische Einheiten: - Tags wie - Zeichenketten (die üblicherweise einer natürlichen Sprache entstammen) Syntaxregeln: - Das gesamte Dokument wird mit den Tags... eingefasst. -...

65 65 Das Werkzeug GOLD Parser Builder Der Parser-Generator GOLD Parser Builder unterstützt die zweistufige Beschreibung einer formalen Sprache. Wir zeigen seine Benutzung am Beispiel des vereinfachten HTML (siehe oben). Siehe:

66 66 Lexikalische Einheiten Die lexikalischen Einheiten werden beim GOLD Parser Builder mit Hilfe von regulären Ausdrücken festgelegt. Diese bilden dann die Terminalsymbole bei der Festlegung der Grammatik. ! Terminalsymbole Ahtml = ' ' Ehtml = ' ' Ahead = ' ' Ehead = ' ' Atitle = ' ' Etitle = ' ' Abody = ' ' Ebody = ' ' Ap = ' ' Ep = ' Wort = {Alphanumeric}+ Satzzeichen = '.' | '!' | '?' | ',' | ';' | ':' | '-' MyHtml.grm

67 67 Syntaktische Regeln Die Syntax der Sprache wird mit Hilfe einer Grammatik in BNF-Notation beschrieben. Beachte: Nichtterminalsymbole werden im GOLD Parser Builder mit spitzen Klammern dargestellt – also zufälligerweise genauso wie HTML-Tags. "Start Symbol" = ! Produktionen ::= Ahtml Ehtml ::= Ahead Ehead ::= Atitle Etitle ::= Abody Ebody ::= ::= ::= Ap Ep ::= ::= ::= Wort | Satzzeichen MyHtml.grm

68 68 Aufgabe: HTML Testen Sie das Werkzeug GOLD Parser Builder. Laden Sie die Grammatik MyHtml1.grm, lassen Sie das Werkzeug den entsprechenden Parser generieren und testen sie ihn. Gehen Sie in einem zweiten Schritt hin und erweitern Sie den Sprachumfang um... Einfach: Überschriften:... Schwieriger: vereinfachte Tabellen Schwieriger: vereinfachte Verweise: IFB...

69 69 Aufgabe: HTML Machen Sie sich anhand der Grafik klar, dass man das gesamte vereinfachte HTML mit einem endlichen Automaten erkennen kann....Text......Text...

70 70 Aufgabe: Parser Builder Schauen Sie ein wenig hinter die Kulissen des Werkzeugs GOLD Parser Builder.... Machen Sie sich klar, dass der Parser Builder einen endlichen Automaten (DFA) zur lexikalischen Analyse benutzt und einen weiteren komplizierteren Automat zur syntaktischen Analyse (siehe LALR States).

71 71 Vereinfachte Rechenausdrücke Informelle Beschreibung: Wir betrachten nur Rechenausdrücke, die vollständig geklammert sind. Jede Rechenoperation muss umklammert werden. – wie z. B. bei (12+3). Eine Rechenoperation bezieht sich auf Zahlen oder Rechenterme – wie z. B. bei ((13 – 7) * 4). Rechenausdrücke können beliebig komplex verschachtelt werden – wie z. B. bei (((45 – 6) * (67 / 5)) – (6 * 5)). Die unten abgebildeten Ausdrücke sind in diesem Sinne vereinfachte Rechenausdrücke. (12 + 3) ((13 - 7) * 4) (((45 – 6) * (67 / 5)) – (6 * 5))...

72 72 Aufgabe: Rechenausdrücke Entwickeln Sie eine Grammatik für die Sprache der vereinfachten Rechenausdrücke und testen Sie sie mit dem Werkzeug GOLD Parser Builder. Zur Festlegung der Terminalsymbole können Sie die unten gezeigten Vereinbarungen benutzen. ! Terminalsymbole Zahl = {Digit}+! Achtung: Wir erlauben so auch Zahlen mit führenden Nullen, z. B Kauf = '(' Kzu = ') ' Plus = '+' Minus = '-' Mal = '*' Durch = '/'

73 73 Aufgabe: Rechenausdrücke Erweitern Sie die Grammatik so, dass auch Variablen in den Rechenausdrücken vorkommen können.

74 74 Aufgabe: Rechenausdrücke Kann man die Sprache der vereinfachten Rechenausdrücke mit einem endlichen Automaten erkennen? (12 + 3) ((13 - 7) * 4) (((45 – 6) * (67 / 5)) – (6 * 5))...

75 75 Programmiersprache für Karol Ziel ist es, für eine einfache Programmiersprache einen Interpreter und einen Compiler zu entwickeln. Die hier betrachtete Programmiersprache orientiert sich an der Sprache zur Steuerung des Roboters Karol. hinlegen schritt wiederhole solange NichtIstZiegel wiederhole solange NichtIstWand schritt *wiederhole linksDrehen *wiederhole

76 76 Die Programmiersprache Zur Vereinfachung der Darstellung verwenden wir abkürzende Bezeichner für die Anweisungen der Programmiersprache. hinlegen schritt wiederhole solange NichtIstZiegel wiederhole solange NichtIstWand schritt *wiederhole linksDrehen *wiederhole h s wh nz wh nw s *wh l *wh

77 77 Die Programmiersprache MyKa Elementare Anweisungen: hZiegel hinlegen aZiegel aufheben sSchritt vorwärts llinks drehen rrechts drehen h s wh nz wh nw s *wh l *wh Elementare Bedingungen: nznicht auf Ziegel nwnicht vor Wand Kontrollanweisung: wh wiederhole solange... *wh Ein MyKa-Programm setzt sich – wie im Beispiel gezeigt – aus elementaren und Kontrollanweisungen zusammen. Bei der Darstellung von MyKa-Programmen dürfen mehrere Anweisungen in eine Zeile geschrieben werden,...

78 78 Aufgabe: MyKa Entwickeln Sie eine Grammatik für die Programmiersprache MyKa und testen Sie diese Grammatik mit Hilfe des GOLD Parser Builder.

79 79 Vereinfachtes XML Informelle Beschreibung: Ein vereinfachtes XML-Dokument besteht aus ineinandergeschachtelten Elementen. Ein Element besteht aus einem Anfangstag, einem Bezeichner oder einer Elementliste und einem passenden Endtag. Ein Bezeichner besteht aus beliebigen alphanumerischen Zeichen. Der unten abgebildete XML-Quelltext ist in diesem Sinne ein vereinfachtes XML-Dokument. grammar S a S A A a

80 80 Aufgabe: XML Testen Sie folgenden Grammatik-Vorschlag für die Sprache der vereinfachten XML-Ausdrücke. Hier stimmt etwas nicht. Finden Sie den Fehler. Sehr schwierig: Geben Sie eine korrekte Grammatik an. ! Terminalsymbole ATag = ' ' ETag = ' Text = {Alphanumeric}+ "Start Symbol" = ! Produktionen ::= ATag Text Etag ::= ::= ::= ATag ETag

81 81 Literaturhinweise F. Gasper, I. Leiß, M. Spengler, H. Stimm: Technische und theoretische Informatik. Bsv E. Modrow: Automaten, Schaltwerke, Sprachen. Dümmlers Verlag R. Baumann: Informatik für die Sekundarstufe II, Band 2. Klett-Verlag Informatik heute, Band 2. Schroedel-Verlag U. Schöning: Theoretische Informatik – kurzgefasst. Spektrum Akademischer Verlag J. E. Hopcroft / J. D. Ullman: Einführung in die Automatentheorie, Formale Sprachen und Komplexitätstheorie. Addison-Wesley S. H. Rodger, T. W. Finley: JFLAP. Jones and Bartlett Publishers


Herunterladen ppt "Formale Sprachen Teil 1 Klaus Becker 2006. 2 Sprachbeschreibung und -erkennung Sprachbeschreibung mit Grammatiken, Syntaxdiagrammen, regulären Ausdrücken."

Ähnliche Präsentationen


Google-Anzeigen