LLARS – Open-Source-Plattform für LLM-Evaluation & Labeling
LLARS (LLM Assisted Research System) ist eine kostenlose, quelloffene
Plattform (MIT-Lizenz) zur kollaborativen Evaluation und zum Labeling
von LLM-Ausgaben. Sie verbindet menschliche Bewertungen mit
LLM-Assessoren und misst die Inter-Rater-Reliabilität (u. a. ordinales
Krippendorff's Alpha). Entwickelt für Forschungsteams.
Funktionen
- Sieben Evaluationstypen: Rating, Ranking, Vergleich, Labeling, Authentizität, Mail-Rating, Kommunikationsvergleich
- Labeling Co-Pilot: LLM-Vorschläge mit Begründung und Textbeleg – klar gekennzeichnet, nie vorausgewählt
- Kollaboratives Prompt Engineering und Batch-Generierung
- RAG-Pipeline (ChromaDB), LLM-Evaluatoren, Übereinstimmungs-Metriken
- Self-Hosting per Docker, Authentik-SSO, rollenbasierte Rechte
Konto erstellen ·
Dokumentation ·
Quellcode auf GitHub
Hinweis: Für die interaktive Nutzung von LLARS wird JavaScript benötigt.