Betriebsmittelsuche M.Hoppe

Präsentation zum Thema: "Betriebsmittelsuche M.Hoppe"—  Präsentation transkript:

1 Betriebsmittelsuche M.Hoppe
Suche in der Datenbank Betriebsmittelsuche M.Hoppe

2 Agenda Betriebsmittelsuche Aufgabenstellung Architektur Oracle Text
Aufbau & Konfiguration Indexpflege XML Überblick Lösungsansatz Einsatz Demo

3 Aufgabenstellung Suche nach Betriebsmittel (Bennennung, Beschreibungen) Einfache Suche für Anwender Hohe Suchqualität Zentrale Suchmaschine (Web) Eine zentrales Repository Zugriff von verschiedenen Applikationen Einfache Wartbarkeit

4 Aufgabenstellung Fremdsysteme Fremdsysteme Fremdsysteme System1
Suchmaschine Applikation (php) Applikation (java)

5 Aufgabenstellung Tabellenstruktur des Suchrepository Table1 Table2

6 Architektur ….. SQL-API Oracle Text Datenbank PHP PL/SQL C Java
Externe Datenquelle Externe Datenquelle Externe Datenquelle SQLNET JDBC Externe Datenquelle SQL-API Oracle Text Datenbank Oracle Text Repository Such Repository

7 Architektur Informationen in zentrale Tabelle (Crawler-Tabelle)
Suchinformationen in XML-Struktur XML-Struktur: Darstellung 1:n Beziehung der Tabellen ein Suchindex dedizierte Suchen nach XML-Tags dediziertes Indizierung Kombination XSLT …..

8 Oracle Text Bestandteil vor Oracle 9i und 10g(8i : interMedia text)
Bietet umfassende Möglichkeiten der Textverarbeitung: Suche (Volltext-, Kontext-, Ranking etc.) Filterung Klassifikation von Dokumenten Text Warehousing Internationalisation Unterstützung verschiedener Datenformate (HTML, XML, PDF etc.) ……

9 Oracle Text - Architektur
Indexerstellung DB

10 Erstellen von Indexen Parameter Lexer (Sprachabhängig,Stemming,….)
Wordlist (Für Fuzzy-Abfragen,….) Stoplist (Wörter, die nicht indiziert werden) Datastore (Lokal, Dateisystem, URL,…) Filter (Konvertierung nach HTML,Plaintext) Sectioner (Sektionen, z.B. XML-Tags) Beispiel Wordlist: begin CTX_DDL.set_attribute('SEARCH.DOC_WORDLIST','STEMMER', 'GERMAN'); end;

11 Oracle Text - Indexetypen
Indexe für verschiedene Einsatzgebiete: CONTEXT - Für Volltextabfragen auf Dokumenten (Word, HTML, XML etc.). Abfragen mit CONTAINS CTXCAT - gemischte Abfragen mit kleinen Textfragmenten. Abfragen mit CATSEARCH CTXRULE - Zuordnung von Dokumenten zu Klassen (Klassifikationen) aufgrund ihres Inhalts. Abfragen mit MATCHES

12 Oracle® Text - Abfragemöglichkeiten
Schlüsselwortsuche Finde alle Dokumente mit einem oder mehreren Schlüsselwörtern Kontextsuche Finde alle Dokumente, in den die Schlüsselwörter in einem bestimmten Kontext auftauchen Boolsche Operationen Finde alle Dokumente, in den das Wort A UND das Wort B, aber NICHT das Wort C vorkommen

13 Oracle® Text - Abfragemöglichkeiten(2)
Linguistische Methoden Finde alle Dokumente über etwas (Themensuche) Pattern Matching Finde Dokumente mit Wörtern, die einen String enthalten ……..

14 Oracle Text - Weitere Merkmale
Indexpflege und – Synchronisation !!!!! Paralleles Erstellen von Indexen Index-Partitionierung Document Services Hervorheben von Schlüsselwörtern Extrahieren von Themen Bestimmen von wichtigen Textabschnitten Hohe Performance

15 Erstellen einer Texttabelle
Beispiel Context Textindex: create index newindex on such_tab(such_text) indextype is ctxsys.context parameters ('datastore new_url filter ctxsys.null_filter wordlist new_word‘, section group ctxsys.auto_section_group');

16 Pflege von Indexen Fehler beim Indizieren: CTX_USER_INDEX_ERRORS !!
Allgemein Fehler beim Indizieren: CTX_USER_INDEX_ERRORS !! Ändern des Indexes: ALTER INDEX newindex REBUILD PARAMETERS(‘resume memory 2M‘); CONTEXT-Indexe Synchronisieren nach DML-Operationen: ALTER INDEX newindex REBUILD ONLINE PARAMETERS ('sync') Optimieren: ALTER INDEX REBUILD PARAMETERS('optimize full')

17 Abfragen Allgemein Eingabe: Suchausdruck
Ausgabe: Liste aller Dokumente, die dem Ausdruck genügen, mit einer Relevanzbewertung (SCORE) SELECT-Statement CONTEXT-Index: Operator CONTAINS CTXCAT-Index: Operator CATSEARCH CTXRULE-Index: Operator MATCHES

18 Abfragen Beispiel mit Relevanzbewertung:
Select id, such_text,score(1) from such_tab Where contains(such_text,‘ventil‘,1)>0 order by score(1) desc Beispiel Suche in XML-Struktur: select id, such_text,score(1) from such_tab where contains(such_text,‘ventil within BESCHREIBUNG‘,1)>0

19 Abfragen mit CONTAINS Grammatik Logische Operatoren: AND(&), OR(|),...
Bereichsoperatoren (HTML, XML): WITHIN, INPATH Kontextoperator: NEAR Synonyme: SYN Pattern Matching Operator: wildcards(%) Fuzzy-Operator: fuzzy() Themenoperator: ABOUT …

20 XML Überblick XMLTYPE XML- Schemaunterstützung, Speicherung der XML- Dokumente in Objekttypen,Tabellen… Updates, Elemente und Attributen XML- Indexe SQLX- Standard XSL- Transformation 2 Speichermethoden, textbasiert(CLOB) und datenorientiert (Objektrelational) Zugriff auf strukturierten XML- Daten

21 Lösungsansatz Sammeln der Informationen in XML –Struktur
<TABLE1> <NR>B4718</NR> <HERSTELLERID> </HERSTELLERID> <TEILENR>A5121/07</TEILENR> <KURZBESCHREIBUNG>WAERMEVENTILHEIZKÖRPER</KURZBESCHREIBUNG> <BESCHREIBUNG>Waermeventil mit thermostat</BESCHREIBUNG> <HERSTELLER>HANS MÜLLER-SÖHNE</HERSTELLER> <HERSTELLERBESTELLNR>1312/20</HERSTELLERBESTELLNR> <TABLE2>……… </TABLE1> Suchen mit CONTEXT über alles oder kombiniert mit whitin Werte mit extractvalue bzw. extract ermitteln

22 Lösungsansatz Darstellung in XSLT –Struktur
<xsl:stylesheet version ="1.0" xmlns:xsl=" <xsl:template match="/"> <html> <head> <title>Suchergebnisse Kurzinformation</title> </head> <body bgcolor="C6DFC3"> <h1> Suchergebnisse Kurzinformation</h1> <xsl:apply-templates/> </body> Mit xmltransform XML und XSLT kombinieren

23 Lösungsansatz Änderungen in Suchtabelle
Verwendung von Advanced Queueing zum Laden der Daten bzw. der XML- Struktur SQL-API selbstentwickelte SQL-API basierend auf PL/SQL Beispiel: select * from table(uf_sql_interface.DB_SEARCH('müller','Y','Y')) Suchbegriff: Fuzzysuche: Worterweiterung:

24 Einsatz Technische Daten 2,4 Mio Datensätze (XML- Strukturen)
Ständiger Datenabgleich mit AQ automatisches Indexabgleich Zukunft Ausbau des Datenbestandes Modifizierung der Suchanwendung