LLARS – Quelloffene Plattform für LLM-Evaluation & Labeling
LLARS (LLM Assisted Research System) ist eine quelloffene, für
Forschung kostenlose Plattform (PolyForm Noncommercial 1.0.0) zur
kollaborativen Evaluation und zum Labeling
von LLM-Ausgaben. Sie verbindet menschliche Bewertungen mit
LLM-Assessoren und misst die Inter-Rater-Reliabilität (u. a. ordinales
Krippendorff's Alpha). Entwickelt für Forschungsteams.
Funktionen
- Sieben Evaluationstypen: Rating, Ranking, Vergleich, Labeling, Authentizität, Mail-Rating, Kommunikationsvergleich
- Labeling Co-Pilot: LLM-Vorschläge mit Begründung und Textbeleg – klar gekennzeichnet, nie vorausgewählt
- Kollaboratives Prompt Engineering und Batch-Generierung
- RAG-Pipeline (ChromaDB), LLM-Evaluatoren, Übereinstimmungs-Metriken
- Self-Hosting per Docker, Authentik-SSO, rollenbasierte Rechte
Konto erstellen ·
Dokumentation ·
Quellcode auf GitHub
Hinweis: Für die interaktive Nutzung von LLARS wird JavaScript benötigt.