Intelligente Chatbots sind eine der spannendsten und sichtbarsten Anwendungen der Künstlichen Intelligenz (KI). Seit Anfang 2023 ermöglichen fortschrittliche Modelle den unkomplizierten Dialog mit großen KI-Sprachmodellen und bieten bereits eine beeindruckende Bandbreite an Unterstützung im Alltag. Ob Nachhilfe in Statistik, eine Rezeptidee für ein Dreigängemenü oder ein Haiku zum Vereinsjubiläum – moderne Chatbots liefern blitzschnell Antworten. Doch ein Problem bleibt: Diese Modelle sind keine Wissensdatenbanken und können daher gelegentlich inhaltliche Ungenauigkeiten produzieren, auch wenn sie überzeugend klingen.

Verbesserung durch eigene Dokumente

Um dieses Problem zu lösen, können große Sprachmodelle mit spezifischen Dokumenten gespeist werden, wodurch deren Genauigkeit und Relevanz der Antworten erhöht werden.

Warum muss KI Dokumente lesen können?

Große Sprachmodelle (LLMs) beeindrucken durch ihre kreativen Fähigkeiten und als Sammlungen komprimierten Wissens. Während des Trainingsprozesses lernt ein LLM nicht nur Grammatik, sondern auch Semantik und inhaltliche Zusammenhänge. Doch ohne erneutes Training auf weiteren Dokumenten bleibt der Wissensstand eines LLMs statisch, was zu mehreren Problemen führt:

• Eingeschränkte Wissensbasis: Ein trainiertes LLM kann keine Informationen aus nicht-öffentlichen Quellen liefern.

• Veraltetes Wissen: Der Trainings-Cutoff verhindert, dass LLMs Aussagen zu Ereignissen oder Dokumenten machen können, die nach dem Training entstanden sind.

• Halluzinationen: LLMs neigen dazu, Sachverhalte zu erfinden, wenn sie keine passende Antwort gelernt haben.

Die Lösung: Retrieval-Augmented Generation (RAG)

RAG kombiniert die Fähigkeit von LLMs mit einer "Knowledge-Retrieval"-Komponente. Dieser Workflow durchsucht eine Datenbank nach relevanten Dokumenten und nutzt ein generatives LLM, um auf Basis der gefundenen Passagen präzise Antworten zu generieren.

Der RAG-Workflow

1. Retrieval: Die semantische Suche in einer Datenbank von Dokumenten, basierend auf Vektorsuche, die die Ähnlichkeit zwischen numerischen Repräsentationen der Inhalte ermittelt.

2. Generation: Basierend auf den gefundenen Dokumenten generiert ein LLM eine Antwort zur gestellten Frage.

Umsetzung des Workflows

Der Workflow kann in vier Schritten umgesetzt werden:

1. Setup zur Verarbeitung von Dokumenten: Textauszüge aus gescannten Dokumenten werden extrahiert und in einer Vektordatenbank gespeichert.

2. Vervollständigung der Pipeline: Embeddings und Textgenerierungen werden automatisiert verarbeitet und abgelegt.

3. Antwort-Generierung: Durch sorgfältiges Design des Prompts werden präzise Antworten generiert und Halluzinationen minimiert.

4. Frontend-Entwicklung und Deployment einer funktionalen App: Eine benutzerfreundliche App ermöglicht die Interaktion mit dem RAG-System und den Upload neuer Dokumente.

Ergebnisse und Erkenntnisse

Eine sorgfältig umgesetzte Lösung zeigt beeindruckende Fähigkeiten und ist einfach zu nutzen. Wichtige Erkenntnisse aus der Implementierung umfassen:

• Datenbankenwahl: Eine KI-native Vektordatenbank erwies sich als vorteilhaft.

• Bedarfsabhängige Codeausführung: Ideal für die flexible und effiziente Verarbeitung von Daten.

• Einfache Deployment-Methoden: Erleichtern den Einsatz und die Skalierung der Anwendung.

• Essentielles Networking: Wichtig für die reibungslose Kommunikation zwischen verschiedenen Services.

• Flexibilität und Skalierbarkeit: Ermöglichen schnelle Anpassungen und Erweiterungen der Lösung.

Diese allgemeinen Prinzipien und Erkenntnisse lassen sich auf zahlreiche Anwendungsbereiche und Szenarien übertragen, in denen KI-gestützte Chatbots eingesetzt werden sollen.