CUPED · Varianz-Reduktion

CUPED (Controlled-experiment Using Pre-Existing Data) reduziert die Varianz der Zielmetrik, indem es eine Vorperioden-Kovariate herausrechnet. Gleiches Signal — weniger Rauschen — schärfere Tests.

Eingaben

Variante A (Kontrolle)

n_A (Besucher) Vorperiode Mittelwert X̄_A

Nachperiode Mittelwert Ȳ_A Vorperiode SD σ_X,A

Nachperiode SD σ_Y,A Korrelation ρ_A (X↔Y)

Variante B (Behandlung)

n_B (Besucher) Vorperiode Mittelwert X̄_B

Nachperiode Mittelwert Ȳ_B Vorperiode SD σ_X,B

Nachperiode SD σ_Y,B Korrelation ρ_B (X↔Y)

Testparameter

Signifikanzniveau α

Ergebnis

Naiv vs. CUPED — Standard Error

Wie CUPED funktioniert

CUPED justiert jeden Beobachtungswert Y um das, was die Kovariate X aus der Vorperiode erklärt:

Y_cuped = Y − θ̂ · (X − X̄_pool)

wobei θ̂ = cov(X, Y) / var(X) = ρ · σ_Y / σ_X auf den gepoolten Daten beider Varianten geschätzt wird — sonst würde die Schätzung den Treatment-Effekt verzerren.

Die Varianz sinkt auf: var(Y_cuped) ≈ var(Y) · (1 − ρ²)

Mit ρ = 0,6 sinkt die Varianz um 36 %, der Standard Error um 20 %. Das entspricht einer Stichproben-Ersparnis von 36 %: Du brauchst nur 64 % der ursprünglichen Besucher, um dieselbe Power zu erreichen.

Wichtig: CUPED ändert nichts am Erwartungswert des Treatment-Effekts — nur am Rauschen. Je höher ρ, desto mehr gewinnt man. Bei ρ = 0 ist CUPED wirkungslos.