Lucene
Apache Lucene
Lucene ist eine in Java geschriebene Open Source- Bibliothek , die das Indizieren und Suchen nach Text ermöglicht. Es wird in einigen Suchmaschinen verwendet .
Es ist ein Projekt der Apache Foundation , das unter der Apache-Lizenz zur Verfügung gestellt wird . Es ist auch für die Sprachen Ruby , Perl , C ++ , PHP , C # und Python verfügbar .
Historisch
Lucene wird zuerst von Doug Cutting auf der SourceForge.net- Website in hochgeladenMärz 2000. Es wird dann unter der GNU Lesser General Public License veröffentlicht . Sein Transfer zu Apache Jakarta wird in angekündigtOktober 2001.
Das Lucene-Projekt stammt aus dem im Dezember 2004 veröffentlichten Buch Lucene in Action (Lucene in Action) . Es wird gemeinsam von Erik Hatcher, einem der Leiter der Open-Source-Projekte Ant , Lucene und Tapestry , und von Otis Gospodnetic, einem aktiven Mitglied des Apache Jakarta-Projekts, geschrieben.
Das 14. Februar 2005Lucene migriert zum Apache Jakarta- Projekt . Die Quellcodebasis wird in den SVN-Versionscontroller konvertiert .
Montag 12. Dezember 2005Grant Ingersol präsentiert auf der ApacheCon US eine Fallstudie in Java zur fortgeschrittenen Verwendung von Lucene-Komponenten, einschließlich technischer Details zur Verarbeitung natürlicher Sprache .
Heute wird Lucene für die Suchmaschine einer sehr großen Anzahl von Produkten und Websites auf der ganzen Welt verwendet.
Wie Lucene arbeitet
Indexierung
Bis zur Explosion des Internets war Deweys Dezimalklassifizierung sehr effektiv bei der Kategorisierung von Objekten in einer Bibliothek. Im Web ist die Masse der verfügbaren Daten jedoch so gigantisch geworden, dass jetzt alternative und dynamischere Mittel zum Auffinden von Informationen verwendet werden müssen.
Das Herzstück aller Suchmaschinen ist ein automatischer Indizierungsmechanismus : Die einmalige Verarbeitung von Rohdaten und die Bereitstellung mehrerer hocheffizienter Links beschleunigen den Suchvorgang. Das Konzept ähnelt dem Terminologieindex, der normalerweise am Ende eines Buches zu finden ist. Auf diese Weise können Sie schnell Seiten finden, die sich mit einem bestimmten Thema befassen.
Wenn Sie ein großes Dateifeld abdecken oder eine bestimmte Zeichenfolge in einer einzelnen Datei finden müssen, sollten Sie nicht jede Datei nacheinander nach der angegebenen Phrase durchsuchen. Denn je größer die Anzahl der Dateien ist, desto länger dauert die Suche nach Informationen . Es ist besser, einen Textindex in einem Format zu erstellen, das eine schnelle Suche ermöglicht, wodurch die sequentielle Methode vermieden wird. Dieser Vorgang wird als Indizierung bezeichnet .
Forschung
Die Forschung besteht darin, Wörter in einem Index nachzuschlagen, um Verweise auf Dokumente zu finden , wenn diese erscheinen. Die Qualität einer Suche wird anhand der Positionierung und Relevanz der Ergebnisse bewertet . Es gibt jedoch andere Faktoren, die bei einer Suche eine Rolle spielen. Geschwindigkeit ist ein entscheidender Faktor bei der Verarbeitung einer großen Menge an Informationen. Ebenso wichtig zu sein, einfache oder komplexe Abfragen zu unterstützen, Sätze, Zeichen abzufragen, Ergebnisse zu positionieren und zu sortieren, ist ebenso wichtig wie eine leicht zu erlernende Syntax für die Eingabe dieser Abfragen.
Klassen
Die folgenden Abschnitte enthalten eine kurze Einführung in die Hauptklassen , die zum Erstellen dieser Suchmaschine verwendet werden.
Indizierungsklassen
-
IndexWriter - Die IndexWriter-Klasse ist die zentrale Komponente des Indexierungsprozesses. Diese Klasse erstellt einen neuen Index und fügt einem vorhandenen Index Dokumente hinzu. Wir können es uns als ein Objekt vorstellen, mit dem wir in den Index schreiben können, das es jedoch nicht erlaubt, ihn zu lesen oder zu durchsuchen.
-
Verzeichnis - Die Verzeichnisklasse repräsentiert den Speicherort des Lucene-Index. IndexWriter verwendet eine der Implementierungen von Directory, FSDirectory , um seinen Index in einem Verzeichnis im Dateisystem zu erstellen . Eine andere Implementierung, RAMDirectory , speichert alle Daten im Speicher. Dies kann für kleinere Indizes nützlich sein, die vollständig in den Speicher geladen und bei Beendigung einer Anwendung zerstört werden können.
-
Analysator - Bevor sich Text im Index befindet, durchläuft er den Analysator. Dies ist eine abstrakte Klasse, die verwendet wird, um die wichtigen Wörter für den Index zu extrahieren und den Rest zu löschen. Diese Klasse ist ein wichtiger Bestandteil von Lucene und kann verwendet werden, um mehr als nur einen Eingabefilter zu erstellen.
-
Dokument - Die Dokumentklasse repräsentiert eine Sammlung von Feldern. Felder in einem Dokument stellen das Dokument oder die Metadaten dar, die diesem Dokument zugeordnet sind. Die Originalquelle (z. B. Datensätze aus einer Datenbank, ein Word-Dokument, ein Kapitel aus einem Buch usw.) ist für Lucene irrelevant. Metadaten wie Autor, Titel, Betreff, Datum usw. werden indiziert und separat als Felder in einem Dokument gespeichert.
-
Feld - Jedes Dokument ist ein Index mit einem oder mehreren Feldern, die in eine Klasse namens Feld eingefügt werden . Jedes Feld ( Feld ) ist ein Datenteil, der während der Suche abgefragt oder aus dem Index abgerufen wird.
Forschungsunterricht
-
IndexSearcher - Mit der IndexSearcher- Klasse wird gesucht, was IndexWriter indizieren soll. Wir können es uns als eine Klasse vorstellen, die einen Index im schreibgeschützten Modus öffnet.
-
Term - ein Begriff ist eine Grundeinheit für das Suchen, ähnlich dem Feld Objekt . Es ist eine Zeichenfolge: der Name des Feldes und sein Wert. Beachten Sie, dass die verwendeten Begriffe auch in den Indizierungsprozess einbezogen werden.
-
Abfrage - Die Query - Klasse ist eine abstrakte Klasse , die enthält BooleanQuery , PhraseQuery , PrefixQuery , PhrasePrefixQuery , RangeQuery , FilteredQuery und SpanQuery .
-
TermQuery - Dies ist die grundlegendste Abfragemethode von Lucene. Es wird verwendet, um Dokumente auszugleichen, die Felder mit bestimmten Werten enthalten.
-
QueryParser - Mit der QueryParser-Klasse wird ein analytischer Zerleger generiert , der einen Index durchsuchen kann.
-
Treffer - Die Klasse "Treffer" ist ein einfacher Indexcontainer zum Ranking der Suchergebnisse für Dokumente, die für eine bestimmte Abfrage angezeigt werden. Aus Leistungsgründen laden die Ranking-Beispiele nicht alle Dokumente für eine bestimmte Abfrage aus dem Index, sondern nur einige davon.
Ressourcen
Werkzeuge
- Luke (Lucene Index Toolbox) ist ein praktisches Diagnose- und Entwicklungstool, das auf vorhandene Lucene-Indizes zugreift und deren Inhalt auf verschiedene Arten anzeigen und bearbeiten kann. Luke ist bis auf einen Teil seines Codes von der Apache-Lizenz abgedeckt.
- LIMO (Lucene Index Monitor) bietet grundlegende Informationen zu den von der Lucene-Suchmaschine verwendeten Indizes. Es ist ein SourceForge-Projekt.
Ähnliche Projekte
Alle diese Projekte sind oder waren Unterprojekte von Apache Lucene und ermöglichen die Implementierung einer Suchmaschine.
Komponenten einer Suchmaschine
Anmerkungen und Referenzen
-
" LuceneTM Core News " (abgerufen am 3. Dezember 2020 )
-
Die Lucene-Seite auf SourceForge
-
Die auf der ApacheCon präsentierte Sitzung
-
(in) Liste der Anwendungen mit Lucene
Anhänge
Literaturverzeichnis
- " Einführung in Apache Lucene: Aufbau von Java Open Source-Volltext- Abrufsystemen" von Koshi Sekiguti; Gijutsu-Hyohron Co, Ltd; ( ISBN 4774127809 )
- " Lucene In Action " von Erik Hatcher und Otis Gospodnetić; Manning-Veröffentlichungen;Dezember 2004;; ( ISBN 1932394281 ) (en) [1]
- Manfred Hardt, Dr. Fabian Theis: " Suchmaschinen entwickelt mit Apache Lucene "; Software & Support Verlag, Frankfurt am Main;September 2004;; ( ISBN 3935042450 )
Zum Thema passende Artikel
Externe Links