Definition
LLM-als-Richter ist ein skalierbarer Bewertungsansatz, bei dem ein LLM Ausgaben gegen eine Rubrik bewertet. Es ist viel schneller als menschliche Bewertung, führt aber eigene Verzerrungen ein (Position, Länge, Selbstpräferenz). Best Practice: LLM-als-Richter mit menschlichen Stichprobenkontrollen kombinieren, Rubriken mit Beispielen verwenden und das Richter-Modell selbst mit einem beschrifteten Set validieren.
Beispiel
Ein Evaluations-Harness verwendet Claude als Richter, um 1.000 RAG-Antworten auf Treue, Relevanz und Zitatkorrektheit zu bewerten.
Wie Vedwix das verwendet
Wir verwenden LLM-als-Richter für hochvolumige Eval-Runden mit menschlicher Überprüfung bei einer 5-10%-Stichprobe.
Sie arbeiten an einem Projekt rund um LLM-als-Richter?
LLM-als-Richter.
Beschreiben Sie Ihr Projekt in drei Sätzen oder weniger.
Projekt starten