Maximum-Likelihood-Methode

Maximum-Likelihood-Methode Definition

Die Grundidee der Maximum-Likelihood-Methode ist: Man betrachtet die Ergebnisse bzw. die Beobachtungen eines Zufallsexperiments und überlegt, welche aus mehreren möglichen Ursachen am wahrscheinlichsten ("maximum likelihood") dazu geführt haben könnte.

Beispiel

Jemand kommt zur Tür rein und ist klatschnass. Sie werden wohl vermuten, dass es draußen regnet. Es gibt noch andere Möglichkeiten (die Person ist in einen Teich gefallen oder unter den Strahl eines Rasensprengers geraten etc.), aber diese sind eher unwahrscheinlich. Sie entscheiden sich für die wahrscheinlichste Ursache (Regen).

Der Maximum-Likelihood-Schätzer eines Parameters (z.B. Erwartungswert) ist entsprechend der Wert des Parameters, der den Ergebnissen / Beobachtungen die größte Wahrscheinlichkeit zuordnet.

Beispiel

Beispiel: Maximum-Likelihood-Methode

Wir werfen eine Münze 10 mal und wollen herausfinden, wie hoch die Wahrscheinlichkeit p ist, dass "Kopf" kommt (und nicht "Zahl"). Wir kennen die Wahrscheinlichkeit für die spezielle Münze nicht (vielleicht ist die Münze gezinkt und deshalb ist die Wahrscheinlichkeit ggfs. nicht 0,5 bzw. 50 %).

Das Ergebnis der 10 Münzwürfe (mit K für "Kopf" und Z für "Zahl") sei: K K K Z Z K Z Z K K.

Es handelt sich dabei um eine Bernoulli-Kette bzw. eine Binomialverteilung und die Wahrscheinlichkeit für dieses Ergebnis (6 mal "Kopf" und 4 mal "Zahl") – mit p als (gesuchte) Wahrscheinlichkeit für "Kopf", (1 - p) als Gegenwahrscheinlichkeit (bzw. Wahrscheinlichkeit für "Zahl") und B (10 über 6) für den Binomialkoeffizienten – ist: B (10 über 6) × p × p × p × (1 - p) × (1 - p) × p × (1 - p) × (1-p) × p × p = 210 × p6 × (1 - p)4.

Jetzt könnte man ausprobieren, für welchen Wert von p dieses Ergebnis der sog. Likelihoodfunktion am wahrscheinlichsten ist (z.B. in Dezimal-Schritten von 0,1 bis 1,0):

  • p = 0,1 (10 %) ergibt B (10 über 6) × 0,16 × (1 - 0,1)4 = 210 × 0,16 × 0,94 = 0,000137781.
  • p = 0,2 (20 %) ergibt B (10 über 6) × 0,26 × (1 - 0,2)4 = 210 × 0,26 × 0,8 4 = 0,005505024.
  • p = 0,3 (30 %) ergibt B (10 über 6) × 0,36 × (1 - 0,3)4 = 210 × 0,36 × 0,74 = 0,036756909.
  • ...
  • p = 0,6 (60 %) ergibt B (10 über 6) × 0,66 × (1 - 0,6)4 = 210 × 0,66 × 0,44 = 0,250822656.
  • p = 0,7 (70 %) ergibt B (10 über 6) × 0,76 × (1 - 0,7)4= 210 × 0,76 × 0,34 = 0,200120949.
  • ...

Hier wurde in Dezimal- bzw. 10 %-Schritten vorgegangen, in einem Spreadsheet könnte man dies in 1 %-Schritten tun; das Maximum liegt mit 0,250822656 bei p = 0,6 (60 %) und das ist auch wenig überraschend: wenn eine Münze eine 60 %-Chance für "Kopf" hat, dann würde man bei 10 Würfen 6 mal "Kopf" erwarten.

Man kann dies eleganter als durch ausprobieren berechnen, indem man den Logarithmus der Likelihoodfunktion maximiert: 6 × log(p) + 4 × log(1 - p)

Das Maximum ist die 1. Ableitung davon nach p und gleich Null gesetzt: 6/p - 4/(1 -p) = 0

6 × (1 - p) - 4 × p = 0

6 - 6 p - 4 p = 0

6 = 10 p

p = 6/10 = 0,6 = 60 %.