Kappa de Fleiss

Kappa de Fleiss (nommé d'après Joseph L. Fleiss) est une mesure statistique qui évalue la concordance lors de l'assignation qualitative d'objets au sein de catégories pour un certain nombre d'observateurs. Cela contraste avec d'autres kappas tel que le Kappa de Cohen, qui ne fonctionne que pour évaluer la concordance entre deux observateurs. La mesure calcule le degré de concordance de la classification par rapport à ce qui pourrait être attendu si elle était faite au hasard. Il n'y a pas de mesure significative convenue, bien que certaines lignes directrices aient été données.

Le Kappa de Fleiss peut être utilisé pour la classification binaire ou nominale. Il n'y a pas de version disponible pour les classifications de type ordonnée telles que celle de Likert.

Introduction

Le kappa de Fleiss est une généralisation de la statistique du Pi de Scott, Scott, W. (1955), une mesure statistique de concordance. Il est également lié à l'indicateur kappa de Cohen. Mais tandis que le Pi de Scott et le kappa de Cohen fonctionnent pour seulement deux observateurs, le kappa de Fleiss fonctionne pour n'importe quel nombre d'observateurs donnant une classification nominale, à un nombre fixe d'éléments. Il peut être interprété comme exprimant à quel point la valeur de concordance observée parmi les observateurs dépasse ce qui aurait pu être attendu si tous les observateurs avaient fait leur classification totalement au hasard. Il est important de noter que tandis que le kappa de Cohen considère que les deux mêmes observateurs classent un ensemble d'éléments, le kappa de Fleiss considère spécifiquement que bien qu'il y ait un nombre fixe d'observateurs (par exemple 3) par élément, les observateurs classant chaque élément sont sélectionnés aléatoirement (Fleiss, 1971, p. 378). Cela signifie que l'élément 1 est classé par les Observateurs A, B et C; mais l'élément 2 pourrait être classé par les Observateurs D, E et F. A fortiori, les éléments ne peuvent pas avoir tous été classifiés par exactement les mêmes sujets. La concordance peut être considérée comme suit, si un nombre fixe de personnes assigne des classes numériques à un nombre d'éléments, alors le kappa va donner une mesure de la fiabilité de la classification. Kappa, $\kappa \,$, peut être défini comme,

(1)

$\kappa ={\frac {{\bar {P}}-{\bar {P_{e}}}}{1-{\bar {P_{e}}}}}$

Le facteur $1-{\bar {P_{e}}}$ donne le degré de concordance qui est réalisable au-delà du hasard, et, ${\bar {P}}-{\bar {P_{e}}}$ donne le degré de concordance réellement atteint au-dessus du hasard, si les observateurs sont en accord complet, alors $\kappa =1~$. S'il n'y a pas de concordance parmi les observateurs (autre que ce qui aurait pu être atteint par hasard) alors $\kappa \leq 0$.

Un exemple d'utilisation du Kappa de Fleiss peut être le suivant: Considérons qu'un groupe de m psychiatres (avec m>14) doivent observer 10 patients. Pour chacun des patients 14 des psychiatres donne un des cinq diagnostics possibles. Le kappa de Fleiss peut être calculé par la matrice (voir l'exemple ci-dessous) pour montrer le degré de concordance entre les psychiatres au-dessus du niveau de concordance attendu si réalisé au hasard.

Équations

Soit N le nombre total de sujets, soit n le nombre de classification par sujet, et soit k le nombre de catégorie dans laquelle les attributions sont faites. Les sujets sont indexés par i = 1, ... N les catégories sont indexées par j = 1, ... k. Soit n_ij qui représente le nombre d'observateurs qui attribuent le i-ème sujet à la j-ème catégorie.

Calculons d'abord p_j, la proportion de toutes les attributions à la j-ème catégorie:

(2)

$p_{j}={\frac {1}{Nn}}\sum _{i=1}^{N}n_{ij},\quad \quad 1=\sum _{j=1}^{k}p_{j}$

Calculons maintenant $P_{i}\,$, qui représente à quel point les observateurs sont d'accord entre eux pour le i-ème sujet (c-à-d, combien d'observateurs--paires d'observateurs sont en accord comparativement au nombre total de l'ensemble des paires observateur-observateur possibles):

(3)

$P_{i}={\frac {1}{n(n-1)}}\sum _{j=1}^{k}n_{ij}(n_{ij}-1)$

$={\frac {1}{n(n-1)}}\sum _{j=1}^{k}(n_{ij}^{2}-n_{ij})$

$={\frac {1}{n(n-1)}}[(\sum _{j=1}^{k}n_{ij}^{2})-(n)]$

Maintenant calculons ${\bar {P}}$, la moyenne de $P_{i}\,$'s, et ${\bar {P_{e}}}$ utilisé dans la formule de $\kappa \,$:

(4)

${\bar {P}}={\frac {1}{N}}\sum _{i=1}^{N}P_{i}$

$={\frac {1}{Nn(n-1)}}(\sum _{i=1}^{N}\sum _{j=1}^{k}n_{ij}^{2}-Nn)$

(5)

${\bar {P_{e}}}=\sum _{j=1}^{k}p_{j}^{2}$

Exemple d'utilisation

Tableau de valeurs pour implémenter l'exemple

	1	2	3	4	5	$P_{i}\,$
1	0	0	0	0	14	1.000
2	0	2	6	4	2	0.253
3	0	0	3	5	6	0.308
4	0	3	9	2	0	0.440
5	2	2	8	1	1	0.330
6	7	7	0	0	0	0.462
7	3	2	6	3	0	0.242
8	2	5	3	2	2	0.176
9	6	5	2	1	0	0.286
10	0	2	2	3	7	0.286
Total	20	28	39	21	32
$p_{j}\,$	0.143	0.200	0.279	0.150	0.229

Dans l'exemple suivant, 10 "sujets" ($N$) se voient attribuer chacun par 14 observateurs ($n$) un total de 5 catégories ($k$). Les catégories sont reprises dans les colonnes, tandis que les sujets sont présentés dans les lignes. Chaque case donne le nombre d'observateurs qui sont d'accord sur le fait qu'un sujet appartienne à une certaine catégorie.

Données

Voir le tableau à droite.

$N$ = 10, $n$ = 14, $k$ = 5

Somme des cases = 140
Somme de $P_{i}\,$ = 3.780

Calculs

Par exemple, en prenant la première colonne,

$p_{1}={\frac {0+0+0+0+2+7+3+2+6+0}{140}}=0.143$

Et en prenant la seconde ligne,

$P_{2}={\frac {1}{14(14-1)}}\left(0^{2}+2^{2}+6^{2}+4^{2}+2^{2}-14\right)=0.253$

Pour calculer ${\bar {P}}$, nous devons connaitre $P_{i}$,

$\sum _{i=1}^{N}P_{i}=1.000+0.253+\cdots +0.286+0.286=3.780$

À travers l'ensemble de la page,

${\bar {P}}={\frac {1}{(10)}}(3.780)=0.378$

${\bar {P}}_{e}=0.143^{2}+0.200^{2}+0.279^{2}+0.150^{2}+0.229^{2}=0.213$

$\kappa ={\frac {0.378-0.213}{1-0.213}}=0.210$

Interprétation

Landis et Koch (1977) ont donné le tableau suivant pour interpréter la valeur de $\kappa$. Cependant ce tableau n'est "en aucun cas universellement accepté. Il ne donne aucune preuve de soutenir cela, se basant plutôt sur des opinions personnelles. Il a été remarqué que ces lignes directrices pourraient être plus dangereuses qu'aidantes, puisque le nombre de catégories et de sujets vont affecter l'importance de la valeur. Le kappa va être supérieur quand il y a moins de catégories.

$\kappa$	Interprétation
< 0	Pauvre concordance
0.01 – 0.20	Faible concordance
0.21 – 0.40	Légère concordance
0.41 – 0.60	Concordance moyenne
0.61 – 0.80	Concordance importante
0.81 – 1.00	Concordance presque parfaite

Lectures approfondies

• Fleiss, J. L. and Cohen, J. (1973) "The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability" in Educational and Psychological Measurement, Vol. 33 p. 613–619
• Fleiss, J. L. (1981) Statistical methods for rates and proportions. 2nd ed. (New York: John Wiley) p. 38–46
• Gwet, K. L. (2008) "Computing inter-rater reliability and its variance in the presence of high agreement", British Journal of Mathematical and Statistical Psychology, Vol. 61, p. 29–48
• Gwet, K. L. (2010) Handbook of Inter-Rater Reliability (2^d Edition). (Gaithersburg : Advanced Analytics, LLC) (ISBN 978-0-9708062-2-2)

Liens externes

• Kappa: Pros and Cons contient une bonne bibliographie d'articles sur les coefficients.
• Online Kappa Calculator calcule les variations du kappa de Fleiss
• Online inter-rater agreement calculator inclus Fleiss' kappa.