Medidas de acuerdo y de sesgo entre jueces

Resumen

En este trabajo se aborda un analisis en profundidad de las medidas para evaluar el acuerdo entre jueces u observadores de un conjunto de itemes u objetos sobre una escala de medida de naturaleza numerica o categorica. El punto de partida es una clasificacion de las medidas de evaluacion del acuerdo en dos grandes grupos: a) medidas descriptivas y b) medidas basadas en modelos estadisticos. En el primer grupo destacan coeficientes de acuerdo clasicos tales como kappa para datos nominales y ordinales de Cohen (1960, 1968), de aplicacion generalizada en todas las areas de la psicologia; el coeficiente de correlacion de contingencia de Lin (1989), de gran difusion en medicina y ciencias biologicas, pero poco conocida en psicologia, y el coeficiente r wg de Finn (1970), de uso casi exclusivo en psicologia social y de las organizaciones. En el segundo grupo son relevantes los indices de acuerdo derivados de los modelos loglineales y mixtura de la familia de modelos de cuasi-independencia. El primer objetivo de este trabajo ha sido demostrar que cada una de las medidas descriptivas de acuerdo para datos numericos, pueden ser definidas mediante un coeficiente de correlacion intraclase derivado de un modelo ANOVA en dos sentidos mixto con los itemes u objetos como efectos aleatorios y los jueces u observadores como efectos fijos, aunque asumiendo una estimacion atipica de los componentes de la varianza. De la misma manera se ha procedido con todas las medidas descriptivas de acuerdo para datos categoricos, para cuya finalidad se han utilizado ANOVA para datos categoricos (CATANOVA) en la linea apuntada en los trabajos de Light y Margolin (1971). Frente a las medidas descriptivas clasicas y de empleo generalizado, las medidas basadas en el modelado estadistico se utilizan escasamente, pero tienen mayor potencial de aplicabilidad, aunque se restringen a datos categoricos. En este trabajo se desarrollan medidas de acuerdo para la familia de modelos mixtura de cuasi-independencia con una variable latente y dos clases, y su equivalencia con las medidas descriptivas clasicas tras la introduccion de algun tipo de restriccion estadistica. Uno de las cuestiones de mayor interes para el acuerdo concierne a la medida del sesgo entre observadores. Hasta ahora, todas las medidas de sesgo han sido de corte descriptivo, particularmente el indice BI de Ludbrook (2004). Como ultimo objetivo de este trabajo se define y se aplica una nueva medida de sesgo ¿ß¿Ã¿à basada en modelos estadisticos mediante una ampliacion del modelo mixtura a dos variables latentes y cuatro clases (Ato, Lopez y Benavente, 2008), que demuestra con simulacion Monte Carlo que es una medida mas precisa y rigurosa que el indice BI.