Kurz gesagt
Ein Embedding ist eine Art, ein Stück Inhalt - ein Wort, einen Satz, ein Bild, einen Code-Ausschnitt - in eine Liste von Zahlen (einen Vektor) zu verwandeln, die seine Bedeutung erfasst, damit ein Computer Bedeutungen mathematisch vergleichen kann. Inhalte mit ähnlicher Bedeutung erhalten Vektoren, die nahe beieinander liegen, unzusammenhängende Inhalte landen weit auseinander. Das ist der ganze Trick: Sobald Bedeutung eine Menge von Koordinaten ist, wird aus "finde die relevanteste Passage" ein "finde die nächsten Vektoren", was eine Maschine sofort über Millionen von Einträgen erledigt. Embeddings sind der stille Motor hinter semantischer Suche, Empfehlungen, Clustering und vor allem hinter Retrieval-Augmented Generation (RAG).
Wie ein Embedding Bedeutung erfasst
Ein Embedding-Modell liest deine Eingabe und gibt einen Vektor fester Länge aus, oft ein paar hundert bis ein paar tausend Zahlen. Es wurde so trainiert, dass Eingaben in ähnlichem Kontext ähnliche Vektoren bekommen, sodass "Auto" und "Wagen" nahe beieinander landen, "Auto" und "Banane" aber nicht. Du liest die Zahlen nie selbst, du vergleichst sie.
- Eingabe: beliebiger Text, ein Bild oder Code, den du nach Bedeutung durchsuchbar machen willst.
- Ausgabe: ein Vektor - eine Liste von Zahlen fester Länge - der diese Bedeutung darstellt.
- Vergleich: die Nähe zweier Vektoren (Kosinus-Ähnlichkeit) zeigt, wie verwandt die Eingaben sind.
Embeddings und RAG
Embeddings sind das, was RAG möglich macht. Du bettest jeden Abschnitt deiner Dokumente einmal ein und speicherst die Vektoren in einer Vektordatenbank. Zur Anfragezeit bettest du die Nutzerfrage mit demselben Modell ein, findest die nächsten Abschnitts-Vektoren und gibst diese Abschnitte dem Sprachmodell als Kontext. Weil der Treffer über Bedeutung und nicht über exakte Stichworte läuft, findet auch eine anders formulierte Frage die richtige Passage.
Wo Embeddings eingesetzt werden
Über RAG hinaus treiben Embeddings semantische Suche (nach Bedeutung sortiert, nicht nach Stichworten), Empfehlungen ("mehr wie dieses"), Deduplizierung, Clustering und Klassifikation an. Für Builder ist der praktische Punkt: ein einziger Embedding-Schritt macht aus unstrukturiertem menschlichem Inhalt etwas, das du zuverlässig durchsuchen, gruppieren und verarbeiten kannst. Deshalb beginnt fast jede KI-Funktion, die deine eigenen Daten berührt, damit, sie einzubetten.