Natur | Hypothesentest |
---|---|
Benannt in Anlehnung an | Jacob Cohen |
In der Statistik misst die κ (Kappa)-Methode die Übereinstimmung zwischen Beobachtern bei einer qualitativen Kodierung in Kategorien. Der Artikel Einführung des κ wird von Autor Jacob Cohen - daher seine Bezeichnung von Cohens κ - und in der Zeitschrift erschienen pädagogische und psychologische Messen in 1960 . Das κ ist nur ein Maß für die Übereinstimmung zwischen zwei Encodern. Um die Übereinstimmung zwischen mehr als zwei Encodern zu messen, wird das Fle von Fleiss (1981) verwendet.
Die Berechnung von κ erfolgt wie folgt:
wobei Pr( a ) der Anteil der Übereinstimmung zwischen Kodierern und Pr( e ) die Wahrscheinlichkeit einer zufälligen Übereinstimmung ist. Stimmen die Kodierer völlig überein, ist κ = 1. Stimmen sie ganz und gar nicht überein (oder stimmen nur zufällig zu), Eindeutigkeit ≤ 0.
Die Methode von Kappa misst den Grad der Übereinstimmung zwischen zwei Beurteilern im Verhältnis zum Zufall.
Nehmen wir an, zwei Bewerter (Marc und Mathieu) sind dafür verantwortlich, in einer Gruppe von 50 Studenten festzulegen, wer die Abschlussprüfung bestehen wird oder nicht. Jeder von ihnen kontrolliert die Kopie jedes Schülers und die Note als erhalten oder nicht erhalten (JA oder NEIN). Die folgende Tabelle zeigt die Ergebnisse:
Marc | |||
---|---|---|---|
JA | NEIN | ||
Mathieu | JA | beim | b |
NEIN | vs | d |
Marc | |||
---|---|---|---|
JA | NEIN | ||
Mathieu | JA | 20 | 5 |
NEIN | 10 | fünfzehn |
Die Einhaltung von Vereinbarungen zwischen Evaluatoren ist:
Um die Wahrscheinlichkeit einer Übereinstimmung "zufällig" zu berechnen, stellen wir Folgendes fest:
Somit ist die erwartete Wahrscheinlichkeit, dass die beiden Korrektoren "JA" schreiben:
Ähnlich ist die Wahrscheinlichkeit, dass die beiden Korrektoren "NEIN" schreiben:
Die Gesamtwahrscheinlichkeit, dass die Korrektoren übereinstimmen, ist daher:
Die Formel von Kappa ergibt dann:
In einem anderen Verhältnis hätten wir erhalten:
Marc | |||
---|---|---|---|
JA | NEIN | ||
Mathieu | JA | 25 | 2 |
NEIN | 3 | 20 |
Die Einhaltung von Vereinbarungen zwischen Evaluatoren ist:
Um die Wahrscheinlichkeit einer Übereinstimmung "zufällig" zu berechnen, stellen wir Folgendes fest:
Somit ist die erwartete Wahrscheinlichkeit, dass die beiden Korrektoren "JA" schreiben:
Ähnlich ist die Wahrscheinlichkeit, dass die beiden Korrektoren "NEIN" schreiben:
Die Gesamtwahrscheinlichkeit, dass die Korrektoren übereinstimmen, ist daher:
Die Formel von Kappa ergibt dann:
Landis und Koch schlugen die folgende Tabelle vor, um Cohens zu interpretieren. Dies sind Größenordnungen, über die in der wissenschaftlichen Gemeinschaft kein Konsens besteht, insbesondere weil die Anzahl der Kategorien die erhaltene Schätzung beeinflusst: je weniger Kategorien, desto höher κ.
Interpretation | |
---|---|
<0 | Uneinigkeit |
0,00 - 0,20 | Sehr schwache Übereinstimmung |
0,21 - 0,40 | Schwache Zustimmung |
0,41 - 0,60 | Moderate Zustimmung |
0,61 - 0,80 | Starke Übereinstimmung |
0,81 - 1,00 | Fast perfekte Übereinstimmung |