Calculadora de kappa de Fleiss
Calcula el kappa de Fleiss para la concordancia entre tres o más evaluadores: κ, acuerdo observado y por azar, prueba z, valor p, kappa por categoría y la escala de Landis y Koch.
Cómo funciona
pⱼ = Σᵢ nᵢⱼ ÷ (N·n); Pᵢ = [Σⱼ nᵢⱼ² − n] ÷ [n(n − 1)]; P̄ = promedio de Pᵢ; P̄e = Σ pⱼ²; κ = (P̄ − P̄e) ÷ (1 − P̄e); EE₀ = √2 ÷ [Σpⱼqⱼ·√(N·n(n−1))] · √[(Σpⱼqⱼ)² − Σpⱼqⱼ(qⱼ − pⱼ)]
El kappa de Fleiss (1971) mide cuánto coinciden varios evaluadores cuando cada uno asigna cada sujeto a una de varias categorías, descontando el acuerdo que se esperaría por azar. A diferencia del kappa de Cohen, funciona con cualquier número de evaluadores, que incluso pueden ser distintos para cada sujeto. La prueba z usa el error estándar para muestras grandes bajo κ = 0 de Fleiss, Nee y Landis (1979), y la etiqueta de fuerza sigue la escala de Landis y Koch (1977).
Ejemplo resuelto
Con el ejemplo clásico de diez sujetos, catorce evaluadores y cinco categorías se obtiene P̄ = 0.3780, P̄e = 0.2128 y κ = 0.210: una concordancia aceptable (fair) más allá del azar.
Fuentes: Fleiss (1971), Measuring nominal scale agreement among many raters, Psychological Bulletin · Landis & Koch (1977), The measurement of observer agreement for categorical data · Fleiss' kappa — Wikipedia
Preguntas frecuentes
¿Kappa de Fleiss o kappa de Cohen?
El kappa de Cohen es para exactamente dos evaluadores; el de Fleiss sirve para tres o más (o para evaluadores distintos en cada sujeto) que clasifican en categorías nominales.
¿Cómo se interpreta el valor de kappa?
Según Landis y Koch: menos de 0 pobre, 0 a 0.20 leve, 0.21 a 0.40 aceptable, 0.41 a 0.60 moderada, 0.61 a 0.80 considerable y 0.81 a 1 casi perfecta.
¿Cómo ingreso mis datos?
Una fila por sujeto y un número por categoría: cuántos evaluadores eligieron esa categoría. Cada fila debe sumar el número total de evaluadores.
¿Sirve para calificaciones ordinales?
Trata las categorías como nominales, así que confundir 1 con 2 pesa lo mismo que confundir 1 con 5. Para escalas ordinales o continuas usa un kappa ponderado o el coeficiente de correlación intraclase.
Calculadoras relacionadas
Herramienta educativa: revisa los supuestos de la prueba (tamaño de muestra, independencia, distribución) antes de usar el resultado en una decisión real.