LLARS Testanforderungen - Gesamtübersicht

Version: 1.0 | Stand: 30. Dezember 2025

---

Systemübersicht

Technologie-Stack

Schicht	Technologie	Test-Tool
Frontend	Vue 3.4 + Vuetify 3.5	Vitest + Vue Test Utils
Backend	Flask 3.0 + SQLAlchemy	pytest + pytest-flask
Database	MariaDB 11.2	pytest (SQLite in-memory)
Vector DB	ChromaDB 0.5.20	pytest + Mocks
Realtime	Socket.IO + YJS	pytest + Playwright
Auth	Authentik OIDC	pytest + Mocks
E2E	-	Playwright

System-Metriken

Metrik	Anzahl
Backend Blueprints	38
API Endpoints	364+
Socket.IO Events	50+
Frontend Seiten	54+
DB Models	20+
Services	40+
Permissions	43
Rollen	4

---

Kritische Pfade (Müssen IMMER funktionieren)

1. Authentifizierung

Login → Token erhalten → API-Zugriff → Logout

Tests: Token-Validierung, Expired Tokens, Invalid Tokens, Logout

2. RAG Pipeline

Upload → Chunking → Embedding → ChromaDB → Suche → Ergebnis

Tests: File-Upload, Chunk-Größe, Embedding-Dimensionen, Search-Ranking

3. Chatbot-Erstellung

Wizard Start → Dokumente hochladen → Embedding → Konfiguration → Chat

Tests: Wizard-Flow, Collection-Binding, LLM-Antworten

4. LLM-as-Judge

Session erstellen → Vergleiche konfigurieren → Starten → Ergebnisse

Tests: Session-Status, Queue-Management, Worker-Streaming

5. Kollaboratives Editieren

Workspace öffnen → Dokument editieren → Sync → Andere User sehen Änderungen

Tests: YJS-Sync, Conflict Resolution, Reconnection

---

Alle Test-Bereiche im Überblick

A. Frontend-Seiten (54+ Seiten)

Seite	Route	Priorität	Dokument
Login	/login	P0	01_SEITEN_NAVIGATION.md
Home	/Home	P0	01_SEITEN_NAVIGATION.md
Ranker	/Ranker	P1	02_EVALUATION_FEATURES.md
Rater	/Rater	P1	02_EVALUATION_FEATURES.md
Judge	/judge	P1	02_EVALUATION_FEATURES.md
OnCoCo	/oncoco	P1	02_EVALUATION_FEATURES.md
Markdown Collab	/MarkdownCollab	P1	03_COLLAB_EDITOREN.md
LaTeX Collab	/LatexCollab	P1	03_COLLAB_EDITOREN.md
Chat	/chat	P1	04_CHAT_CHATBOTS.md
Admin	/admin	P0	05_ADMIN_DASHBOARD.md
Anonymize	/Anonymize	P2	01_SEITEN_NAVIGATION.md
KAIMO	/kaimo	P2	02_EVALUATION_FEATURES.md

B. Backend-Routen (364+ Endpoints)

Modul	Endpoints	Priorität	Dokument
Auth	10	P0	01_AUTH_ROUTES.md
Permissions	12	P0	01_AUTH_ROUTES.md
Users	15	P1	02_API_ROUTES.md
RAG	35	P0	02_API_ROUTES.md
Chatbot	40	P1	02_API_ROUTES.md
Judge	50	P1	02_API_ROUTES.md
Rating/Ranking	30	P1	02_API_ROUTES.md
Collab	40	P1	02_API_ROUTES.md
Crawler	10	P2	02_API_ROUTES.md
Socket.IO	50	P1	03_SOCKETIO_EVENTS.md

C. Features

Feature	Komponenten	Priorität	Dokument
RAG Pipeline	Upload, Chunking, Embedding, Search	P0	01_RAG_PIPELINE.md
LLM Integration	Chat, Streaming, Models	P0	02_LLM_INTEGRATION.md
YJS Collaboration	Sync, Awareness, Recovery	P1	03_YJS_COLLABORATION.md
LaTeX Kompilierung	pdflatex, biber, SyncTeX	P1	04_LATEX_KOMPILIERUNG.md
Anonymisierung	NER, Regex, Pseudonymisierung	P2	05_ANONYMISIERUNG.md

D. Security

Bereich	Tests	Priorität	Dokument
RBAC Permissions	43 Permissions	P0	01_BERECHTIGUNGEN.md
Rollen-Matrix	4 Rollen × Features	P0	02_ROLLEN_MATRIX.md
Route Protection	Alle 364+ Routes	P0	03_ROUTE_PROTECTION.md

---

Test-Kategorien nach Priorität

P0 - Kritisch (Muss vor jedem Deploy grün sein)

• Login/Logout funktioniert
• Token-Validierung korrekt
• Admin kann Admin-Dashboard sehen
• Evaluator kann NICHT Admin-Dashboard sehen
• Researcher kann nur seine Kacheln sehen
• RAG Upload funktioniert
• Chatbot antwortet
• LLM-Streaming funktioniert
• Embeddings werden erstellt
• Suche findet Dokumente

P1 - Wichtig (Sollte vor Release getestet werden)

• Alle Kacheln auf Home klickbar
• Ranker Drag & Drop funktioniert
• Rater Bewertung speichert
• Judge Session startet
• Markdown Editor synchronisiert
• LaTeX kompiliert zu PDF
• Collab-Farbe änderbar
• Avatar änderbar
• Chatbot-Wizard durchlaufen
• Szenarien anlegen funktioniert

P2 - Nice-to-have

• Performance unter Last
• Edge Cases
• Mobile Responsiveness
• Error Recovery
• Offline-Handling

---

Quick Reference: Rollen-Zugriff

Feature	Admin	Researcher	Chatbot_Manager	Evaluator
Home Dashboard	✅	✅	✅	✅
Ranking/Rating	✅	✅	❌	✅ (view)
Judge	✅	❌	❌	❌
Chatbot erstellen	✅	❌	✅	❌
Chatbot nutzen	✅	✅	✅	✅
RAG verwalten	✅	❌	✅	❌
Markdown Collab	✅	✅	✅	✅ (view)
LaTeX Collab	✅	✅	✅	✅ (view)
LaTeX AI	✅	✅	✅	❌
Anonymize	✅	✅	❌	✅
KAIMO	✅	✅	❌	✅
Admin Dashboard	✅	❌	⚠️ (nur Chatbots)	❌
User Management	✅	❌	❌	❌
Docker Monitor	✅	❌	❌	❌
DB Explorer	✅	❌	❌	❌
System Settings	✅	❌	❌	❌

---

Nächste Schritte

1. Lies die Detail-Dokumente in den Unterordnern
2. Führe den Smoke Test aus: SMOKE_TEST.md
3. Implementiere Tests nach dem Leitfaden

---

Letzte Aktualisierung: 30. Dezember 2025