Large Language Models und RAG
Zusammenfassung
Die Besonderheit an LLMs: sie können mit natürlicher Sprache befragt werden und antwoten auch mit natürlicher Sprache. Das dazu nötige Wissen wurde während des umfangreichen Trainings mit riesigen Datenmengen in den Parametern des LLM gespeichert („parametrischer Speicher“). Die manchmal unzureichende Qualität der Antworten, insbesondere in spezifischen Domänen lässt sich auf Basis von „In Context Learning“ – Ansätzen mit Methoden des Prompt-Engineerings oder des aufwändigeren Finetunings des LLMs verbessern. Dies ist eine von zwei Dimensionen der Verbesserungsmöglichkeiten, man ändert die Fähigkeiten des LLM und/oder die Qualität des zugeführten Kontextes.
Im letzten Beitrag dieser Serie zu generativer künstlicher Intelligenz wurde aufgezeigt, welche Eigenschaften und Schwachstellen LLMs aufweisen sowie Ansätze möglicher Verbesserungen. Bisher nicht genauer behandelt wurde eine weitere erwähnte Dimension der LLM-Verbesserung: die kontextuelle Erweiterung mittels eines Retrieval Augmented Generation (RAG)-Verfahrens, die es dem LLM ermöglicht externes Wissen zu nutzen, um aktuelle und fachspezifische Antworten zu geben. Im Rahmen dieses Blogbeitrags stellt Wilhelm Niehoff das RAG-Verfahren und aktuelle Entwicklungsansätze vor.
