Phase 4 · Operational Step 3 von 9
Antwortqualität messbar machen
Testfragen mit Erwartung, RAG-Vergleichslauf, Quellen, Pfade und Erfolgssignale machen GraphRAG-Qualität wiederholbar prüfbar.
Was du mitnimmst
GraphRAG wird erprobbar, wenn Testfragen mit Erwartung wiederholbar zeigen, wo Graphkontext Qualität verbessert.
Betriebsziel
Welche Betriebsfähigkeit du herstellst
Du machst sichtbar, woran eine gute Antwort erkannt wird und wie GraphRAG im Vergleich zum RAG-Ausgangspunkt abschneidet.
Input
Ausgangsartefakt aus Entwerfen
Aus Klären kommen Testfragen mit Erwartung. Aus Entwerfen kommt der Entwurf mit RAG-Vergleichslauf und GraphRAG-Zielbild. Absichern macht daraus ein Eval-Set für die Erprobung.
Prinzip
Betriebsprinzip
Jede Testfrage mit Erwartung braucht eine erwartete Antwort, tragende Quellen, einen erwarteten Pfad, ein klares Erfolgssignal und einen RAG-Vergleichslauf.
Die Frage wird zuerst gegen den einfachen RAG-Ausgangspunkt geprüft: Welche Quelle findet das System, welche Antwort entsteht und wo fehlt Beziehungskontext? Danach läuft dieselbe Frage mit GraphRAG: Quelle, Pfad und Antwort werden gemeinsam geprüft. Der Vergleich zeigt, ob der Graph wirklich die entscheidende Lücke schließt.
Operational Artefact
Betriebsartefakt
Das Betriebsartefakt ist ein kleines Eval-Set. Es ist eher ein Messblatt als ein technisches Testskript: Jede Zeile beschreibt eine Frage, die erwartete gute Antwort und woran die Erprobung erkennt, ob GraphRAG Mehrwert liefert.
| Feld | Festlegung |
|---|---|
| Testfrage mit Erwartung | Welche Projekte sind betroffen, wenn CRM jährlich geprüft werden muss? |
| Gute Antwort | Projekt Alpha und Customer Core werden genannt. |
| Tragende Quellen | Richtlinie A Abschnitt 4.2, Systemkatalog CRM, Projektliste Alpha |
| Erwarteter Pfad | Richtlinie A -> CRM -> Projekt Alpha -> Customer Core |
| RAG-Vergleichslauf | findet die Richtlinie, erklärt den Projektpfad schwach |
| GraphRAG-Erfolg | nennt Quelle, Pfad, Projekt, Team und Trace nachvollziehbar |
Control
Kontrollfrage
Diese Frage muss beantwortbar sein
Kann die Erprobung zeigen, bei welcher Frageklasse Graphkontext die Antwort nachvollziehbarer macht?
Risk
Betriebsrisiko
Worauf du achten musst
Einzelne Antwortbeispiele werden zu früh als Qualitätsbeleg gelesen. Tragfähig wird die Evaluation, wenn jede gute Antwort Quelle, Pfad, Trace und Erfolgssignal zeigt.
Prüfen
Woran du es erkennst
Prüfpunkt
Die Erprobung ist evaluierbar, wenn jede kritische Antwort mit Quelle, Pfad, Trace und Erfolgssignal gegen den RAG-Vergleichslauf gelesen werden kann.
Üben
Mini-Aufgabe
Ergänze zwei weitere Testfragen mit Erwartung: eine einfache Quellenfrage und eine Beziehungspfad-Frage. Definiere je ein Erfolgssignal.
Musterlösung
Quellenfrage: "Was steht in Richtlinie A Abschnitt 4.2?" Erfolg: Der korrekte Abschnitt wird genannt und die Antwort bleibt beim Quelleninhalt. Pfadfrage: "Welche Teams sind betroffen, wenn CRM geprüft werden muss?" Erfolg: Customer Core wird über CRM -> Projekt Alpha -> Customer Core mit Quelle genannt.
Reflektieren
Prüffragen
1.Was gehört zu einer Testfrage mit Erwartung?
Eine erwartete Antwort, tragende Quellen, ein erwarteter Graphpfad, Erfolgssignale und der RAG-Vergleichslauf.
2.Was prüft der Qualitätsloop zusätzlich zur Antwort?
Er prüft, ob Quelle, Pfad und Trace zur Antwort passen und ob der zusätzliche Graphkontext die Frageklasse nachvollziehbarer macht.
3.Was zeigt der RAG-Vergleichslauf?
Er zeigt, welche Fragen der einfache RAG-Ausgangspunkt trägt und wo Graphkontext den fehlenden Zusammenhang ergänzt.
Kernaussage
GraphRAG wird erprobbar, wenn Testfragen mit Erwartung wiederholbar zeigen, wo Graphkontext Qualität verbessert.