Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
Veröffentlicht von:Ruperta Rahlf Geändert vor über 10 Jahren
1
Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Karlsruhe, Germany Description Logic for Vision-Based Intersection Interpretation Britta Hummel
2
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 2 Motivation Road Recognition: The Model-based Approach Low-dim. geometry model (clothoid, …) 2. Compare 1. Project 3. Update Parameters Solved for highly constrained domains (highways)
3
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 3 Motivation Intersection Recognition: [Heimes&Nagel02] 2. Compare 3. Update Parameters 1. Project How can we generalize to arbitrary intersections?
4
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 4 Motivation 1.High-dimensional hypothesis space 2.Few features - Narrow field of view - Massive occlusions - Omitted features 3.Presence of noise - Unmodelled objects - Bad feature quality Challenges Model-based approach becomes ill-posed!
5
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 5 Narrow down hypothesis space! Motivation More top-down information flow start higher up: use conceptual knowledge! move further down: parameterize feature detectors! Collective classification simultaneously reconstruct geometry and semantics! So …what now? FOL Representation and FOL Reasoning!
6
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 6 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation
7
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 7 Architecture Enhance Model-Based Vision by Logic Update Pars Project Verify/Falsify GenerateConstrain Learn Generic Geometry Model Logical Configuration Model DL Road Network KB Feature detectors, other KBs, …
8
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 8 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation
9
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 9 Model of Geometry GP1 GP3 GP2 Geometric Primitives Spatial Relations
10
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 10 Symbol Grounding Geometric Primitives Spatial Relations
11
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 11 TBox Geometric Constraints
12
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 12 TBox Constraints wrt Road Building Regulations
13
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 13 ABox Sensor Data Integration Partial observability OWA Structurally differing sensor data (e.g. from map, video) Distributed sensor data Non-UNA + identification reasoning Open/Closed Domain Data (Nominals) / Closed domain assumption: Conflicting/Uncertain Data BLPs/MLNs/…
14
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 14 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation
15
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 15 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22
16
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 16 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22
17
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 17 Inference: Example I (Collective) Classification is Abox realization l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21
18
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 18 Inference: Example I (Collective) Classification is Abox realization … l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21
19
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 19 Inference: Example I Link Prediction is Instance Checking
20
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 20 Inference: Example II Link Prediction is Instance Checking l 11 l 12 l 13 l 21 l 22 tr-l 11 -l 21
21
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 21 Video: Inference: Example III Data Association is Identification Reasoning Positioning Device & Map Matching: Digital Map:
22
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 22 Inference: Example IV Hypothesis Generation is …? Classical logical inference is deductive Bio./Mach. Vision is not deductive: lots of hypothetical reasoning, jumping to conclusions, backtracking if wrong Non-deductive / non-monotonic reasoning needed! …Abduction Poole, Shanahan, Möller …Introducing procedurality [Neumann&Möller06] …Model construction by transformation into Constraint Satisfaction Pr. [Reiter&Mackworth87] …Model construction under Answer Set Semantics We have started…
23
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. Beautiful Analogies… Scene Interpretation Problem Logical Reasoning Paradigm Partial / Full ObservabilityOWA /CWA Distributed Sensor DataNon-UNA (Non-)Restricted domain data(No) Local closed domain assumption Object classificationABox realization Link predictionInstance checking Data associationIdentification reasoning Hypothesis GenerationNonmonotonic reasoning
24
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 24 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation
25
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 25 Application Geometry model generated from DL ground truth ABox
26
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 26 Application
27
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 27 This Talk 1.Motivation 2.Architecture 3.DL Road Network KB 4.DL Inference for Scene Interpretation 5.Application 6.Evaluation
28
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 28 Summary Road Recognition Intersection Interpretation –escape from toy world narrow down hypothesis space: not only bottom-up but also top-down reasoning collective classification Enhance model-based vision by logical reasoning –Expressive geometry model –Generate generic geometric model out of logical configuration model –Generate and constrain logical model through logical reasoning
29
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 29 Evaluation Vision: Sets of knowledge engineers coding&maintaining large, distributed, modular, semantically unambiguous KBs for SI DL: Wish List : –Foundational ontologies / best practices for KB design for SI –Faster Abox reasoning (>10 individuals prohibitively slow on our KB) –Language expressiveness: Spatial Relations: JEPD condition Feature chains Nominals –Nonmonotonic reasoning +- Analogies: reasoning and SI Object-oriented KR, syntactic sugar Tool support (GUI: Protégé, RacerPorter) Sophisticated reasoners availabe Active community KB design still takes a logic expert and years KB will most likely still be toy world KB will not be fully unambiguous due to required hacks
30
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 30 Outlook 1.Nonmonotonic reasoning with ASP 2.Incremental hypothesize & test 3.Integration with Irina Lulchevas MLN-based traffic participant classificator 4.Rule Learning from Training Data
31
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 31 Thanks… Thanks
32
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 32 Description Logic Decidable subset of 1st order logic Syntax: Semantics: Set-theoretic NameDescriptionExample Individualsobjects of the domainJohn Concepts ( classes) sets of individuals Human Rolesbinary relations on individualshasChild Constructorsto build complex expressions C, D C D | C D | ¬C | R.C | R.C | T | … R, S R | R - | R S Man hasChild.Т
33
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 33 Description Logic Axioms form sentences A DL Knowledge Base consists of Tbox: Set of terminological axioms general domain knowledge Abox: Set of assertional axioms knowledge about particular situation ( Rulebox ) Terminological Axioms C D R S Father Man hasChild.Т Father Person hasChild hasDescendent Assertional Axioms i : C (i,j) : R John:Human (John, Emily) : hasChild
34
Universität Karlsruhe (TH), Germany Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Britta Hummel © 2008 Alle Rechte einschließlich Patentier-, Kopier- und Weitergaberechte bei uns. 34 Description Logic Classical DL inference services: Satisfiability Check for TBox and Abox (Mother Male) is not satisfiable Classification of Tbox and Abox John:Father Instance Checking John: hasChild.Female Retrieval Retrieve all individuals which are instance of: 3 hasChild ¬Female Non-classical inference ….
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.