Shadow Mode Ergebnisse: v4 schlägt v3 deutlich — und die Daten zeigen schon den Weg zu v5
Mitte Juni haben wir die ersten Shadow-Mode-Daten von VoteBroker veröffentlicht. Das Fazit damals war ehrlich: Das Modell erkannte fast alle guten Posts (Recall 98 %), war aber viel zu großzügig — nur rund zwei Drittel der Votes wären tatsächlich gute Entscheidungen gewesen.
Das Versprechen damals:
Die Aufgabe besteht nun nicht mehr darin, mehr gute Posts zu finden, sondern die Auswahlqualität zu erhöhen.
Genau dafür wurde das v4-Modell gebaut. Es lief in den letzten Wochen parallel zum bisherigen v3 im Shadow Mode — beide Modelle bewerten dieselben Posts, keiner von beiden votet. Inzwischen sind genug Entscheidungen gegen echte Payouts aufgelöst, um den ersten fairen, direkten Vergleich zu ziehen.
Viele von euch haben auf diese Auswertung gewartet. Hier ist sie.
Wie der Vergleich funktioniert
Damit der Vergleich fair ist, gelten drei Regeln:
- Beide Modelle bewerten exakt dieselben Kandidaten-Posts zum selben Zeitpunkt.
- Keines der Modelle votet — es sind reine Shadow-Entscheidungen.
- Nach dem Payout-Fenster wird jede Entscheidung gegen den echten Payout auf der Blockchain aufgelöst. „Gut" heißt: Der Post hat am Ende mindestens 1 SBD erreicht.
Grundlage der folgenden Zahlen sind 1.300 aufgelöste Kandidaten, die beide Modelle bewertet haben (Stand: Anfang Juli 2026).
Die Ergebnisse
- Modell v3: Precision 78,9 % · Recall 88,8 %
- Modell v4: Precision 87,5 % · Recall 90,2 %
In Klartext übersetzt:
Von 100 Posts, die v4 gevotet hätte, waren später rund 87 tatsächlich gut. Bei v3 waren es rund 79. Und das erkauft sich v4 nicht durch Vorsicht — es übersieht sogar weniger gute Posts als v3.
Der stärkste Einzelbefund steckt aber in den Fällen, in denen die beiden Modelle sich widersprechen:
Es gab 109 Posts, die v3 verworfen hätte, v4 aber gevotet hätte. Alle 109 waren später gut.
Das ist der Unterschied zwischen „strenger sein" und „besser urteilen". v4 filtert nicht einfach mehr weg — es versteht besser, welche Posts es wert sind.
Zur Einordnung gegenüber dem Juni-Post: Damals lag die Precision der ersten Modellgeneration bei rund 66 %. Der Weg von 66 % über 79 % auf 87,5 % ist genau die Entwicklung, die der Shadow Mode möglich machen sollte.
v4 weiß, wie sicher es ist
Eine Eigenschaft von v4 ist vielleicht noch wichtiger als die reine Trefferquote: Das Modell gibt für jeden Post eine Wahrscheinlichkeit aus, dass er gut wird — und diese Wahrscheinlichkeit stimmt mit der Realität überein.
- Sagt v4 „etwa 30 % Chance", werden tatsächlich rund 33 % dieser Posts gut.
- Sagt v4 „etwa 90 % Chance", werden tatsächlich über 99 % dieser Posts gut.
Man nennt das ein kalibriertes Modell. Das klingt technisch, ist aber die Grundlage für alles Weitere: Ein Modell, dessen Konfidenz man trauen kann, erlaubt abgestufte Entscheidungen — statt eines simplen Ja/Nein.
Der unbequeme Befund: Was mit v3 wirklich los war
Der Vergleich hat auch etwas ans Licht gebracht, das wir ohne Shadow Mode vermutlich nie gesehen hätten.
Der v3-Score sollte Posts eigentlich ranken: hoher Score = guter Kandidat. Die Daten zeigen das Gegenteil:
- Posts mit niedrigem v3-Score (0–29) wurden zu 86–100 % gut.
- Posts mit mittlerem v3-Score (40–69) nur zu 63–69 %.
Das Ranking war teilweise invertiert. Die Ursache ließ sich exakt eingrenzen: Eine v3-Komponente belohnte Posts mit kleinem Reward-Pool („Sweetspot"-Logik) — aber genau diese Posts erreichen die 1-SBD-Schwelle am seltensten. Zwei Teile des Modells arbeiteten gegeneinander. Die Folge: Von den Posts, die v3 übersprungen hat, war die große Mehrheit in Wahrheit gut.
Als reiner Filter war v3 trotzdem brauchbar — knapp 79 % Precision sind kein schlechter Wert. Aber als Ranking-Instrument hatte es einen systematischen Konstruktionsfehler. Das ist genau die Art von Erkenntnis, für die der Shadow Mode gebaut wurde: Fehler finden, bevor echte Voting Power daran hängt.
Die tiefere Erkenntnis — und warum v5 schon in Arbeit ist
Beim Auswerten der inzwischen über 1.200 realisierten Votes (echte Votes, echte Curation Rewards) ist uns etwas aufgefallen, das die Zielrichtung der nächsten Modellgeneration verändert hat:
Die Frage „Erreicht der Post 1 SBD?" ist nicht dieselbe Frage wie „Lohnt sich dieser Vote?"
Posts unterhalb der 1-SBD-Schwelle lieferten pro eingesetzter Voting Power im Median sogar etwas mehr Curation-Ertrag als Posts darüber. Das Ja/Nein-Label, auf das v3 und v4 trainiert sind, misst also nicht das, worum es beim Kuratieren eigentlich geht: den erwarteten Ertrag pro eingesetzter Voting Power.
Und die Daten zeigen auch, was diesen Ertrag wirklich treibt: Die Identität des Autors erklärt allein rund 40 % der Unterschiede — deutlich mehr als jedes Timing-Signal.
Deshalb arbeiten wir bereits an v5. Der Kern:
- v5 klassifiziert nicht mehr „gut/schlecht", sondern schätzt den erwarteten Curation-Ertrag jedes möglichen Votes.
- Dafür haben wir eine neue Trainingsbasis gebaut: Die Blockchain speichert die vollständigen Vote-Listen jedes Posts dauerhaft. Daraus lässt sich rückwirkend exakt berechnen, was ein Vote gebracht hätte — auch für Posts, die nie gevotet wurden.
- Diese Berechnung wurde gegen echte eigene Votes validiert (mediane Abweichung ca. 15 %) und liefert statt bisher ~1.200 echten Ergebnissen jetzt rund 18.000 exakt gelabelte Entscheidungen als Trainingsbasis — inklusive der übersprungenen Posts, was eine bekannte Verzerrung behebt.
Und natürlich gilt auch für v5 dieselbe Regel wie für v4: Es läuft zuerst ausschließlich im Shadow Mode und muss sich dort gegen v3 und v4 beweisen, bevor es irgendeine produktive Rolle bekommt.
Was das für Nutzer bedeutet
Wichtig zur Einordnung: Keines dieser Modelle votet automatisch. VoteBroker schlägt vor, zeigt Daten und Begründungen — die Entscheidung trifft weiterhin der Nutzer.
Aber die Richtung ist klar: Jede Modellgeneration wird gegen die Realität der Blockchain gemessen, bevor sie Verantwortung bekommt. v4 hat diesen Test jetzt bestanden. Und wenn aus besseren Entscheidungen am Ende bessere Curation Rewards entstehen, ist das kein Nebeneffekt — sondern der Beweis, dass die Signale funktionieren.
Der Shadow Mode hat sich damit endgültig als das wichtigste Werkzeug des Projekts erwiesen: Er hat v4 validiert, einen versteckten Konstruktionsfehler in v3 aufgedeckt und die Datenbasis geliefert, aus der v5 entsteht.
Sobald v5 genug Shadow-Daten gesammelt hat, gibt es den nächsten Vergleich — dann mit drei Modellen nebeneinander.