Martin Glübert & Patrick Hess 23. Mai 2002 Bilderkennung Projektarbeit von Martin Glübert & Patrick Hess

Festlegung eindeutiger Merkmale Verständnis der Bildverarbeitung Unter dem Begriff Bildverarbeitung versteht man das aufnehmen eines Gegenstandes (mittels Kamera), der Verarbeitung (mittels intelligenter Hardware) und der Kontrolle (Vergleich mittels Referenzbild). Die Unterscheidungsfähigkeit zwischen beiden Bildern zeichnet ein Bilderkennungssystem aus. A G H T K D N A G D B E U D D J E S I W O D X M N S H A H W U R H S H A H D J H E N W J Q H E D H A J H D K H D D K J W H S K A J H S D F A A A R A A A A A A Die Messergebnisse bzw. - Genauigkeit hängt im wesentlichen davon ab, wie die Unterschiede zwischen einem guten Teil und einem schlechten Teil vorhanden sind. Ebenso spielt das verwendete Messwerkzeug (im weiteren Messtool genannt) eine Rolle. Daraus resultiert hauptsächlich die Messzeit. Ein Beispiel: Will man einen einzelnen Buchstaben auf einer vollbeschrieben DIN A4 Seite wiederfinden, so sollte man wissen das dieser Buchstabe sicherlich mehrfach vorhanden ist. Daher sollte man eindeutige Merkmale zur Erkennung aussuchen. Unterscheidbarkeit Festlegung eindeutiger Merkmale

Allgemeine Beschreibung Ausgangslage: Etikettiermaschine für hochwertige (friseurexklusive) Shampooflaschen mit manueller optischer Kontrolle des Etikettensitzes:  Vorhandensein der Etiketten Korrekte Lage des Etikettes Korrektes Etikett Fehlerhafte Etiketten . (Blasen, Kratzen, Fehldruck, ...) 80 Flaschen / Minute

Allgemeine Beschreibung Projektziele: Entwicklung eines datenbankgestützten Bilderkennungssystems : Personalentlastung Prüfgenauigkeit erhöhen Ausschussrate senken einfache Bedienung flexibles & erweiterbares System Datenbanken Anbindung Produktnuancen mit 4 unterschiedlichen Farben und 70 verschiedenen Artikeln

Struktur des Projektes Zielsetzung Planung Aufbau der Anlage Softwaredesign Regionen-Tool Lichtmesser-Tool Mustererkennungs-Tool Projektkosten

ein gutes Konzept bildet die Grundlage

Allgemeine Beschreibung (Video) Film

Aufbau des Bilderkennungssystems ZWECKFORM Etikettiermaschine WINDOWS NT 4.0 Betriebssystem Userinterface Verwaltung Prüfapplikation Steuerung Visual Basic Oberfläche Checkpoint CP900 PC Pentium III 600MHz 128 MB RAM 32 MB Grafik 9,3 GB HD _____________ Checkpoint CP900 Vision Board IO-Board (Eigenent-wicklung) Kamera 1 Vorderseite SPS in der Etikettiermaschine Beleuchtung Flasche Kamera 2 Rückseite

Aufbau des Bilderkennungssystems

Aufbau des Bilderkennungssystems Die Bilderkennungshardware (Checkpoint CP900 Vision-Board) 5V-TTL-Pegel auf 24V-Pegel der SPS

Bedienung der Etikettenprüfapplikation Menü Datei Menü Auswertung Menü Hilfe Aktive Kameraansicht Produktbezeichnung Wertanzeige Messung starten/stoppen Meldungen löschen Grafikanzeige

Prüfverfahren der Bilderkennung

Prüfverfahren der Bilderkennung Flaschenkörper finden: Wenn alle 4 Kanten gefunden wurden, wird eine Mittellinie durch Mittelpunkte der gefundenen Kantenpunktpaaren gezogen. Das Bild ist um 90° verdreht (wegen der besseren Bildauflösung) rechts entspricht hier der Oberseite der Flasche. Flaschenkante rechts oben Flaschenkante rechts unten Mittellinie Flaschenkante links oben Flaschenkante links unten

Prüfverfahren der Bilderkennung Flaschenboden/Ausrichtung finden: Wenn die mittlere Kante gefunden wurde, wird eine Linie senkrecht zur Mittellinie durch den mittleren Kantenpunkt gezogen. Die linke & rechte Kante dient dann der Rotationskontrolle Flaschenboden rechts unten Mittelsenkrechte Flaschenmitte Mittellinie Flaschenboden mitte Flaschenboden links unten

Prüfverfahren der Bilderkennung Ermittlung der Rotationsabstimmung die Flaschen stehen leicht verdreht auf dem Band. Die Verdrehung der Flasche wird ermittelt Ein Korrekturfaktor passt das Messbild an Kameras Produktionsrichtung Etikettierung Rückseite Flaschen Vorderseite Etikett Somit wurde das Etikett um die Verdrehung der Flaschenmittelachse verschoben gemessen. Mithilfe einer Kantenvermessung des Flaschenbodens konnte ein linearer Zusammenhang zwischen den gefundenen Maßen und der Verdrehung der Flaschen (somit der Verschiebung des Etikettes) gefunden werden. Korrekturfaktor

Beschreibung vom Kanten-Tool

Kanten-Tool Wie man das Kanten-Tool einstellt: Größenänderungen OK Cancel Größenänderungen verdrehen (rotieren) Kanten-Tool Such Richtung Bearbeite die Kante von ...

Kanten-Tool Wie man das Kanten-Tool einstellt: Die Position der Kante muss so gewählt werden, dass das Kanten -Tool von dem hellen Hintergrund zur Flasche sucht. 19

Kanten-Tool Wie funktioniert das Kanten-Tool: Schritt 1: Projektion aller Pixel in eine ein-dimensionale Liste Kanten Such-Richtung Projektions- richtung 1- dimensionales Bild Die Projektion verstärkt die Kanten in Richtung der Projektion indem die Grauwerte in jeder Spalte gemittelt werden.

Kanten-Tool Kanten- fenster Teil Projektions-richtung 1-dimensionales Bild gefiltertes Bild Kantenausschlag erste Kante zweite Kante Wendepunkte deuten auf mögliche Kanten. Schnelle Kontraständerungen resultieren in hohen Scheitelpunkten.

Kanten-Tool Beispiel: Suche nach Kantenpaaren nach Stärke und Position der Kanten über die Länge des Fensters. Graubereich Plot Gefilterter Projektions-Plot Minimale Kantenstärke

Beschreibung Region-Tool

Region-Tool Wie man das Region-Tool einstellt: Größenänderung OK Cancel Größenänderung verdrehen (rotieren) Rundheit Bearbeite die Region von ...

Beschreibung Lichtmesser-Tool

Lichtmesser-Tool Wie man das Lichtmesser-Tool einstellt: Lichtmesser OK Cancel Lichtmesser Region Bearbeite den Lichtmesser ...

Objekt Objektkanten Hintergrund Lichtmesser-Tool Wie funktioniert das Lichtmesser-Tool: Das Lichtmesser-Tool erzeugt ein Histogram. (hier wird die Anzahl der jeweils gefundenen Grauwerte angezeigt) Die einstellbare Toleranz erlaubt Grenzwerte festzulegen Helle Region – Kein Etikett vorhanden Dunkle Region – Etikett erkannt Objekt Objektkanten Hintergrund schwarz grau weiß

PatMax (Mustererkennung)-Tool PatMax-Tool Beschreibung PatMax (Mustererkennung)-Tool

PatMax-Tool Wie funktioniert das PatMax-Tool: Unabhängig vom Pixelraster, da geometrisch PatMax Model wird aus Bildmerkmalen generiert PatMax Model wird sowohl aus Bildmerkmalen als auch deren räumlichen Abhängigkeiten erstellt.

PatMax-Tool Wie funktioniert das PatMax-Tool: Graubild Merkmals Extraktion Übereinstimmung Graubild-Muster Inspektions- Ergebnisse Auswertung Muster Merkmals Extraktion 30

Das Projekt hat sich gelohnt Wirtschaftlichkeitsrechnung

Was ist alles passiert: Zielsetzung Planung Aufbau der Anlage Softwaredesign Regionen-Tool Lichtmesser-Tool Mustererkennungs-Tool Projektkosten Erfolgreiche Einführung

Elektrischer Aufbau des BV-Systems Parallele Anschlussleiste Anschlussarten Digitaler Eingang Digitaler Ausgang galvanisch getrennt intern extern

Elektrischer Aufbau des BV-Systems Schaltplan der Ein- / Ausgangssignale

Elektrischer Aufbau des BV-Systems Schaltplan der Ein- / Ausgangssignale

Elektrischer Aufbau des BV-Systems Schaltplan der Ein- / Ausgangssignale

Elektrischer Aufbau des BV-Systems Bestückungsdruck der Signal-Wandelplatine im PC D-Sub15 Stecker Signale von / zum Schaltschrank Linie 26 D-Sub15 Buchse Signale von / zum COGNEX Vision-Board Dsub in Dsub out

Koordinaten-System Raw (Ur-) Koordinaten-System Physikalisches Koordinaten-System

Koordinaten-System Symbole: Akquisition-Tool Tool Gruppe

Bedienung der Etikettenprüfapplikation Das Menü Datei enthält folgende Optionen: Mit der Option [Daten sichern] werden alle Einstellungen von den Registerkarten [Einrichten], [Flasche] und [System] von dem aktuellen Produkt gesichert. Mit der Option [Messtools sichern] werden die Werte aller Messtools der Registerkarte [Messtools] von dem aktuellen Produkt gesichert. Mit der Option [Toleranzen sichern] werden alle Werte der Registerkarte [Toleranz] des aktuellen Produktes gesichert. Mit der Option [Programm Beenden] wird ein weiteres Dialogfeld geöffnet. Dort kann gewählt werden wie man das Programm beendet. [Rechner abmelden] Programme für die Oberfläche und Checkpoint werden beendet, der Rechner meldet sich neu an. [Herunterfahren & abschalten] es erscheint noch eine Sicher- heitsabfrage danach werden die Programme für die Oberfläche und Checkpoint beendet, der Rechner fährt herunter und schaltet sich selbständig ab (Monitor muss von Hand abgeschaltet werden, nicht vergessen !). Programm nicht beenden (dieses Fenster schließen)

Bedienung der Etikettenprüfapplikation Das Menü Auswertung enthält folgende Optionen: Mit der Option [Zähler jetzt sichern] kann man die aktuellen Zählerstände aller erfassten Flaschen und Verpackungen (gesamt, gut, schlecht, Versatz, Etikett fehlt, etc.) sichern. Die Zählerstände werden ebenso automatisch gesichert, wenn die Messung steht, wenn das Produkt gewechselt oder neu angelegt wird und wenn das Programm beendet wird. Mit der Option [Auswertung erzeugen] erscheint eine Eingabemaske. Dort gibt man folgende Daten ein: [Beginn] des Zeitraumes von der Auswertung [Ende] des Zeitraumes von der Auswertung [Dateiname] der Auswertung (hierzu muss eine Diskette in dem Laufwerk A: eingelegt sein). Der Laufwerksbuchstabe braucht nicht mit angegeben werden. Die Dateiendung muss .txt sein. Sind alle Daten richtig eingegeben worden, so wird der [starten] Button anwählbar (bei Eingabefehlern erscheint eine rote Meldung) Mit dem [schließen] Button verlässt man diese Eingabemaske.

Bedienung der Etikettenprüfapplikation Die Datumsangabe kann auf zweifache Art erfolgen: Entweder man klickt auf den kleinen Pfeil rechts neben dem jeweiligen Feld und es erscheint ein Datumsfeld und man wählt dort den Tag aus. Klickt man auf den Monat oder das Jahr, so kann man blättern. Die Uhrzeit kann im Kalender nicht ausgewählt werden. Oder man gibt jeweils einzeln Tag.Monat.Jahr Stunde:Minute ein. Das Ende-Datum muss später als das Beginn-Datum sein. Sind alle Eingaben richtig eingegeben und man startet so werden die Datenaufzeichnungen innerhalb des angegebenen Zeitraumes in einer Textdatei auf Diskette zusammengefasst. Nach Beendigung des Vorgangs erhält man eine Meldung über die Anzahl der Datensätze welche zusammengefasst worden sind.

Bedienung der Etikettenprüfapplikation Mit der Option [Grafik] wird ausgewählt ob man die Grafikanzeigen für das Vorder- und Rückenetikett anzeigen möchte oder nicht. Grafikanzeige: Die Positionen beziehen sich auf die angezeigten Werte. Rasterweite jeweils 1mm, gesamt 4mm. Der Ursprung bezieht sich auf das eingestellte Referenzbild. Sind mehrere Merkmale eingestellt kann hier zwischen den jeweiligen Merkmalen umgeschaltet werden. Toleranzbereich des jeweiligen Merkmals X-Versatz (Verschiebung in horizontaler Richtung) Y-Versatz (Verschiebung in vertikaler Richtung) Das Kästchen ist der augenblickliche Wert (grün=Flasche o.k. , rot=Flasche fehlerhaft) Der gelbe Kreis ist der statistische Mittelwert gebildet aus den letzten 10 Werten.

Bedienung der Etikettenprüfapplikation Messung starten/stoppen : Ist ein aktuelles Produkt geladen, so startet und stoppt man die Messung mit diesem Button. Während der Messung ist dieser Button grün und folgende Funktionen sind nicht ausführbar: Das Menü Datei Das Menü Auswertung alle anderen Registerkarten außer [Status] Wird die Messung gestoppt so wird der Button rot und alle Funktionen sind wieder ausführbar. Meldungen löschen : Während der Messung kann die die Anzeige im Prüfinformationsfenster gelöscht werden.

Bedienung der Etikettenprüfapplikation Registerkarte [Einrichten] : Es kann immer nur eine Kamera zur Anzeige ausgewählt werden (auch während der Messung). Je nach gewählter Prüfung sind die jeweiligen Kameras anwählbar. Hier wird ausgewählt welche (wie viele) Merkmale auf jeder Seite geprüft werden sollen (Merkmale die hier ausgewählt wurden, sind auf der Registerkarte [Status] bei der Grafikanzeige anwählbar). Die [Z-Achsen Rotationsabstimmung] ist in der Lage eine Verdrehung der Flasche auf dem Band zu erkennen und diese bei der Messung herauszurechnen.

Bedienung der Etikettenprüfapplikation Die Produktauswahl geschieht mit einer Datenbank. Nach dem Starten der Oberfläche wird immer das zuletzt geladene Produkt gestartet. Bei Produkt- wechsel gibt man zur Vereinfachung die ersten Ziffern der Artikelnummer ein und es erscheinen in der Aus- wahl die passenden Artikel. Nun kann man den gewünschten Artikel auswählen. Ein nicht mehr verwendetes Produkt kann man löschen. Dann erscheint folgende Meldung: Ist ein Produkt in der Datenbank nicht vorhanden, so muss es neu angelegt werden. Wird ein neues Produkt eingegeben, so beziehen sich alle Einstellungen (auch die Messtools) auf das zuvor eingestellte Produkt (dies macht alle weiteren Einstellungen des neuen Produktes wesentlich einfacher). Erst wenn alle neuen Daten eingeben sind, kann man sie übernehmen (Artikelnummern können nicht doppelt vergeben werden).

Bedienung der Etikettenprüfapplikation Registerkarte [Toleranz] : Positionen Merkmale vorne dy+ dx- Tol#2 dx+ dy- dy+ dx- Tol #1 dx+ rot- rot+ dy- Position Merkmal hinten dy+ dx- Tol #1 dx+ rot- rot+ dy-

Bedienung der Etikettenprüfapplikation Registerkarte [Messtools] : Ist ein Tool ausgewählt erscheint ein Dialogfeld. Je nach Tool werden Plot, Histogram oder Modell angezeigt Das ausgewählte Tool wird bearbeitet Ein neues Bild wird aufgenommen Ein neues Referenzbild wird aufgenommen (Achtung! Das alte Referenzbild wird überschrieben und ist somit nicht mehr gültig !) Alle Tools werden auf Funktion (Status: Pass) hin überprüft (Meldung Flasche vorne/hinten o.k.) Sind alle Tools o.k. kann die aktuelle Flaschenseite kalibriert werden (Meldung Kalibrierung vorne/hinten o.k.)

Kanten-Tool Die Kanten-Tool Parameter Minimale Kantenstärke Filtergröße Akzeptierter Schwellwert Kantensortierung - keine - Nächste zur Fenstermitte - Erste gefundene - Kantenstärke Kantentyp - beliebig - Hell -> Dunkel - Dunkel -> Hell Kantenplot ein-/ausblenden Tool Ergebnis Ergebniswert gefundene Kantenstärke

Kanten-Tool Plot ein-/ausblenden : für die jeweils ange-wählte Kante wird hier der dazugehörige Kanten-plot angezeigt. Gefilterte Kante Schwellwertbereich Grauwertverlauf

Kanten-Tool Kanten Filtergröße = 1 mehrfache Scheitel wegen Rauschen. Kanten-Plot Filtergröße = 1 Graubereich Plot Kanten Filtergröße = 1 mehrfache Scheitel wegen Rauschen. Kanten-Plot Filtergröße = 4 Graubereich Plot Kanten Filtergröße = 4 Rauschen geglättet Zwei übrig gebliebene Scheitel sind die Kanten.

Kanten-Tool Wie funktioniert das Kanten-Tool: Schritt 3: Die Kanten werden bewertet und erhalten einen Ergebniswert: Alle Kanten, die unterhalb der minimalen Kantenstärke liegen, werden eliminiert. Ein Ergebniswert wird für alle Kanten erzeugt, indem die gesetzten Parameter genutzt werden. Kanten, dessen Ergebniswert unterhalb des Schwellwertes liegen, sind nicht gültig.

Region-Tool Die Region-Tool Parameter: Mittelpunkt X-Position Mittelpunkt Y-Position Breite vom Mittelpunkt Höhe vom Mittelpunkt Tool Ergebnis

Region-Tool Wie funktioniert das Region-Tool: Man zieht die Region über das entsprechende Etikett (Merkmal). Bei der Vorder- und Rückseite der Flasche wird das Region-Tool für die Bereichsfestlegung des Licht-Messer-Tools verwendet und für den Bildbereich des Fehlerbildes. Parameter Definition Position X Mittelpunkt X-Koordinate Position Y Mittelpunkt Y-Koordinate Breite Radius in X-Richtung Höhe Radius in Y-Richtung

Lichtmesser-Tool Die Lichtmesser-Tool Parameter: Mittelwert Mittelwert Toleranz +/- Standartabweichung Standart Toleranz +/- Tool Ergebnis Histogram ein-/ausblenden gefundene Standartabweichung gefundener Mittelwert

Lichtmesser-Tool Histogram ein/aus : für den jeweiligen Lichtmesser wird hier die Grauwertverteilung innerhalb der zuge-hörigen Region darge-stellt. Hier kann das Fenster geschlossen werden. Man kann zwischen linearem und logarith-mischem Plot wählen.

PatMax-Tool Die PatMax-Tool Parameter (Vorder- und Rückseite): Akzeptierter Schwellwert Elastizität Rotation +/- (Verdrehung) Skalierung +/- (Objekt größer/kleiner) Tool Ergebnis trainiertes Modell anzeigen gefundene Werte Ergebniswert

PatMax-Tool Wie man das PatMax-Tool einstellt (Vorder- und Rückseite): Layout Modus: Äußerer Rahmen ist der Suchbereich (dort wird nach dem trainierten Muster gesucht) Innerer Rahmen ist das Modell Fenster und enthält die Informationen die wiedergefunden werden sollen (trainierte Muster) Muster Ursprung - Punkt, auf diesen Punkt bezieht sich dann die Maßangabe (er sollte sich daher innerhalb des Musters befinden) 58

PatMax-Tool Modell anzeigen : für das jeweils ange-wählte Merkmal wird das Coarse(grob) Modell und Fine(fein) Modell vom PatMax angezeigt. Hier wird das jeweilige Fenster geschlossen.

PatMax-Tool Wie funktioniert das PatMax-Tool: Merkmalsextraktion- Randpunkte Ein Merkmal wird beschrieben durch eine Liste zusammen-hängender Randpunkte. Ein Randpunkt ist definiert durch seine Position, Winkel und seinen Verbindungen zu seinem rechten und linken Nachbarn.

PatMax-Tool PatMax Eigenschaften: Unabhängigkeit vom Pixelraster, erlaubt das Auffinden von Mustern, in welchen folgende Änderungen stattfinden können: Skalierung Rotation Translation (Übersetzung) Signifikante Änderungen in der allgemeinen Erscheinung Merkmals basierende Darstellung erhöht die Genauigkeit Bis zu 10 x besser als existierende Grauwert-Korrelationen Genauigkeit bleibt erhalten trotz Änderung von Skalierung und Rotation Sehr hohe Genauigkeit der Rotation und Skalierung

PatMax-Tool PatMax Gegenüberstellung: Wir verwenden aus Zeitgründen das PatQuick (Teilverfahren des PatMax Algorithmus)

Zeit hauptsächlich zur Merkmalsextraktion PatMax-Tool Effekt der Muster Rotation: Zeit hauptsächlich zur Merkmalsextraktion

Akzeptierter Schwellwert * 1000 PatMax-Tool Effekt des akzeptierter Schwellwert: Schwellwert fällt ins Rauschen Akzeptierter Schwellwert * 1000

Lichtmesser-Tool Wie funktioniert das Lichtmesser-Tool: Die Standartabweichung zeigt die unterschiedliche Grauwertverteilung innerhalb der Region an. Ein niedriger Wert gibt an, dass nur ähnliche oder gleiche Grauwerte in der Region vorhanden sind bzw. gesucht werden sollen (gleichmäßige Region = Flasche ohne Etikett). Ein hoher Wert gibt an, dass überwiegend stark verschiedene Grauwerte in der Region vorhanden sind bzw. gesucht werden sollen (ungleichmäßige Region = Flasche mit Etikett). Mit der StdTol +/- (Toleranzbereich der Standartabweichung) legt man wie weit sich die Standartabweichung ändern darf, um gültig zu sein.

Prüfverfahren der Bilderkennung Flasche kalibrieren: Kantenwerkzeug wird verwendet um das Maß für die Flaschenhöhe zu bestimmen. Der Flaschenboden ist durch die vorangegangene Messung bereits bestimmt. Kante Flaschenhals oben Mittellinie

Prüfverfahren der Bilderkennung Etikett(en) prüfen/finden: Region auf das Etikett setzen um zu erkennen, ob das Etikett vorhanden oder nicht platziert ist. PatMax Suchmodell um das gesuchte Merkmal platzieren. Applikationspunkt in die Mitte des Merkmals setzen. PatMax Suchfenster dort platzieren, wo das Merkmal erwartet wird. Region + Lichtmesser Etikett PatMax Suchmodell PatMax Applikationspunkt PatMax Suchfenster

PatMax-Tool Wie funktioniert das PatMax-Tool: Ein Merkmal ist eine fortlaufender Rand zwischen Bereichen von verschiedenen Pixels. Jeder Bereich kann eine unterschiedliche Intensität, Kontrast oder Textur haben. Ein Merkmal kann geöffnet oder geschlossen sein.

Kanten-Tool Wie funktioniert das Kanten-Tool: Schritt 2: Ein Kanten Filter wird auf die 1-dimensionale Liste angewandt. 1 1 Berechnung: Summe (rechter Felder) - Summe (linker Felder) = gefiltertes Ergebnis. (die Gewichtung bleibt fix auf 1) Gewichtung Gewichtung Filtergröße Filtergröße Filtergröße Filtergröße Kantenfilter 1-dimensionales Bild gefiltertes Bild

Elektrischer Aufbau des Systems Vision-Board Checkpoint 900 Kamera Breakout-Box wird nicht benutzt