Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.

--- talit:indexing [2024-09-02 14:09] – hof
+++ talit:indexing [2025-02-15 13:38] (aktuell) – hof
@@ Zeile 20: / Zeile 20: @@
 Anders als bei der Geodatenbank müssen wir hier noch den Text in einzelne Wörter (_en_. Tokens) zerlegen.
 ### Aufgabe 1 - Tokenizer
@@ Zeile 46: / Zeile 45: @@
 <code python>
 def query_index(index, query):
-    result_set = set()
     return index.get(query, set())
 query_index(toy_index, "James")
 </code>
 #### Fragen
   - Findet dein System einen Film über `'bond` (Kleinbuchstaben)?
@@ Zeile 162: / Zeile 161: @@
 Nehmen wir folgendes Beispiel: Wir indexieren alle Film-Artikel der 1980er Jahre und wollen möglichst gute Suchresultate für folgende Queries:
   * ''michael fox delorean''
+  * ''michael fox''
+  * ''michael fox wortdasesnichtgibt''
 Unsere Query-Funktion muss erstens mit mehreren Wörtern umgehen können - es bietet sich an, die `tokenize` Funktion auch hier anzuwenden und eine Suchanfrage für jedes Token in der Query durchzuführen. Die Frage ist allerdings, wie wir die einzelnen Resultatlisten kombinieren...
@@ Zeile 201: / Zeile 202: @@
 Die Vereinigungsmenge hingegen liefert sehr viele Resultate für eine Query wie ''michael fox delorean''.
+#### Wortfrequenzen
+Zuerst werden die Inverse Document Frequencies in ein Dictionary überführt, das einfach auszulesen ist:
+<code python>
+word_frequencies = {word: freq for word, freq in freqs}
+table = [['Term', 'Relative Document Frequency']]
+for token in tokenize("michael fox delorean"):
+    table.append([token, word_frequencies[token]])
+%pip install tabulate
+from tabulate import tabulate
+tabulate(table, headers="firstrow", floatfmt=".2%", tablefmt='html')
+</code>
 #### Inverse Document Frequency