Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Karlsruhe, Germany Description Logic for Vision-Based Intersection Interpretation Britta Hummel

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 2 Motivation Road Recognition: The Model-based Approach Low-dim. geometry model (clothoid, …) 2. Compare 1. Project 3. Update Parameters Solved for highly constrained domains (highways)

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 3 Motivation Intersection Recognition: [Heimes&Nagel02] 2. Compare 3. Update Parameters 1. Project How can we generalize to arbitrary intersections?

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 4 Motivation 1.High-dimensional hypothesis space 2.Few features - Narrow field of view - Massive occlusions - Omitted features 3.Presence of noise - Unmodelled objects - Bad feature quality Challenges Model-based approach becomes ill-posed!

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 5 Narrow down hypothesis space! Motivation More top-down information flow start higher up: use conceptual knowledge! move further down: parameterize feature detectors! Collective classification simultaneously reconstruct geometry and semantics! So …what now? FOL Representation and FOL Reasoning!

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 6 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 7 Architecture Enhance Model-Based Vision by Logic Update Pars Project Verify/Falsify GenerateConstrain Learn Generic Geometry Model Logical Configuration Model DL Road Network KB Feature detectors, other KBs, …

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 8 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 9 Model of Geometry GP1 GP3 GP2 Geometric Primitives Spatial Relations

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 10 Symbol Grounding Geometric Primitives Spatial Relations

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 11 TBox Geometric Constraints

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 12 TBox Constraints wrt Road Building Regulations

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 13 ABox Sensor Data Integration Partial observability OWA Structurally differing sensor data (e.g. from map, video) Distributed sensor data Non-UNA + identification reasoning Open/Closed Domain Data (Nominals) / Closed domain assumption: Conflicting/Uncertain Data BLPs/MLNs/…

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 14 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 15 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 16 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 17 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 18 Inference: Example I (Collective) Classification is Abox realization … l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 19 Inference: Example I Link Prediction is Instance Checking

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 20 Inference: Example II Link Prediction is Instance Checking l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 21 Video: Inference: Example III Data Association is Identification Reasoning Positioning Device & Map Matching: Digital Map:

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 22 Inference: Example IV Hypothesis Generation is …? Classical logical inference is deductive Bio./Mach. Vision is not deductive: lots of hypothetical reasoning, jumping to conclusions, backtracking if wrong Non-deductive / non-monotonic reasoning needed! …Abduction Poole, Shanahan, Möller …Introducing procedurality [Neumann&Möller06] …Model construction by transformation into Constraint Satisfaction Pr. [Reiter&Mackworth87] …Model construction under Answer Set Semantics We have started…

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. Beautiful Analogies… Scene Interpretation Problem Logical Reasoning Paradigm Partial / Full ObservabilityOWA /CWA Distributed Sensor DataNon-UNA (Non-)Restricted domain data(No) Local closed domain assumption Object classificationABox realization Link predictionInstance checking Data associationIdentification reasoning Hypothesis GenerationNonmonotonic reasoning

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 24 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 25 Application Geometry model generated from DL ground truth ABox

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 26 Application

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 27 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 28 Summary Road Recognition Intersection Interpretation –escape from toy world narrow down hypothesis space: not only bottom-up but also top-down reasoning collective classification Enhance model-based vision by logical reasoning –Expressive geometry model –Generate generic geometric model out of logical configuration model –Generate and constrain logical model through logical reasoning

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 29 Evaluation Vision: Sets of knowledge engineers coding&maintaining large, distributed, modular, semantically unambiguous KBs for SI DL: Wish List : –Foundational ontologies / best practices for KB design for SI –Faster Abox reasoning (>10 individuals prohibitively slow on our KB) –Language expressiveness: Spatial Relations: JEPD condition Feature chains Nominals –Nonmonotonic reasoning +- Analogies: reasoning and SI Object-oriented KR, syntactic sugar Tool support (GUI: Protégé, RacerPorter) Sophisticated reasoners availabe Active community KB design still takes a logic expert and years KB will most likely still be toy world KB will not be fully unambiguous due to required hacks

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 30 Outlook 1.Nonmonotonic reasoning with ASP 2.Incremental hypothesize & test 3.Integration with Irina Lulchevas MLN-based traffic participant classificator 4.Rule Learning from Training Data

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 31 Thanks… Thanks

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 32 Description Logic Decidable subset of 1st order logic Syntax: Semantics: Set-theoretic NameDescriptionExample Individualsobjects of the domainJohn Concepts ( classes) sets of individuals Human Rolesbinary relations on individualshasChild Constructorsto build complex expressions C, D C D | C D | ¬C | R.C | R.C | T | … R, S R | R - | R S Man hasChild.Т

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 33 Description Logic Axioms form sentences A DL Knowledge Base consists of Tbox: Set of terminological axioms general domain knowledge Abox: Set of assertional axioms knowledge about particular situation ( Rulebox ) Terminological Axioms C D R S Father Man hasChild.Т Father Person hasChild hasDescendent Assertional Axioms i : C (i,j) : R John:Human (John, Emily) : hasChild

Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 34 Description Logic Classical DL inference services: Satisfiability Check for TBox and Abox (Mother Male) is not satisfiable Classification of Tbox and Abox John:Father Instance Checking John: hasChild.Female Retrieval Retrieve all individuals which are instance of: 3 hasChild ¬Female Non-classical inference ….