Un índice de sesgo entre observadores basado en modelos mixtura

  1. Ato García, Manuel
  2. López García, Juan José
  3. Benavente Reche, Ana
Revista:
Psicothema

ISSN: 0214-9915

Ano de publicación: 2008

Volume: 20

Número: 4

Páxinas: 918-923

Tipo: Artigo

Outras publicacións en: Psicothema

Resumo

Los modelos mixtura son procedimientos apropiados para la valoración del acuerdo entre dos (o más) observadores que asumen que los objetos a clasificar se extraen de una población que constituye una mezcla de dos subpoblaciones finitas, la primera de las cuales representa acuerdo sistemático y la segunda acuerdo aleatorio y desacuerdo. Una generalización del modelo mixtura básico a cuatro subpoblaciones que representan dos variables latentes con dos clases cada una permite preservar su naturaleza (el ajuste del modelo y la subpoblación de acuerdo sistemático son iguales) y distinguir además una subpoblación para el acuerdo aleatorio y dos subpoblaciones para el desacuerdo (una para el triángulo superior y otra para el triángulo inferior de la tabla de contingencia). En este contexto es posible definir una medida de sesgo entre observadores basada en modelos mixtura similar al índice descriptivo propuesto por Ludbrook.

Referencias bibliográficas

  • Agresti, A. (1989). An agreement model with kappa as parameter. Statistics and Probability Letters, 7, 271-273.
  • Agresti, A. (1992). Modelling patterns of agreement and disagreement. Statistical Methods in Medical Research, 1, 201-218.
  • Aickin, M. (1990). Maximum likelihood estimation of agreement in the constant predictive probability model, and its relation to Cohen’s kappa. Biometrics, 46, 293-302.
  • Ato, M., y López, J.J. (1996). Análisis estadístico para datos categóricos. Madrid: Síntesis.
  • Ato, M., Benavente, A., y López, J.J. (2006). Análisis comparativo de tres enfoques para evaluar el acuerdo entre observadores. Psicothema, 18(3), 638-645.
  • Ato, M., Benavente, A., Rabadán, R., y López, J.J. (2004). Modelos con mezcla de distribuciones para evaluar el acuerdo entre observadores. Metodología de las Ciencias del Comportamiento, V. Especial 2004, 47-54.
  • Ato, M., Losilla, J.M., Navarro, J.B., Palmer, A., y Rodrigo, M.F. (2005). Modelo lineal generalizado. Girona: EAP, S.L.
  • Benavente, A., Ato, M., y López, J.J. (2006). Procedimientos para detectar y medir el sesgo entre observadores. Anales de Psicología, 22(1), 161-167.
  • Bennet, E.M., Alpert, R., y Goldstein, A.C. (1954). Communications through limited response questioning. Public Opinion Quarterly, 18, 303-308.
  • Brennan, R.L., y Prediger, D. (1981). Coefficient kappa: Somes uses, misuses and alternatives. Educational and Psychological Measurement, 41, 687-699.
  • Byrt, T., Bishop, J., y Carlin, J.B. (1993). Bias, prevalence and kappa. Journal of Clinical Epidemiology, 46, 423-429.
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46.
  • Feinstein, A., y Cichetti, D. (1990). High agreement but low kappa: I. The problem of two paradoxes. Journal of Clinical Epidemiology, 43, 543- 549.
  • Fennig, S., Craig, T.J., Tanenberg-Karant, M., y Bromet, E.J. (1994). Comparison of facility and research diagnoses in first-admission psychotic patients. American Journal of Psychiatry, 151, 1423-1429.
  • Guggenmoos-Holtzmann, I., y Vonk, R. (1998). Kappa-like indices of observer agreement viewed from a latent class perspective. Statistics in Medicine, 17, 797-812.
  • Hoehler, F.K. (2000). Bias and prevalence effects on kappa viewed in terms of sensitivity and specificity. Journal of Clinical Epidemiology, 53, 499-503.
  • Hsu, L.M., y Field, R. (2003). Interrater agreement measures: Comments on , Cohen’s kappa, Scott’s and Aickin’s . Understanding Statistics, 2, 205-219.
  • Lantz, C.A., y Nebenzahl, E. (1996). Behavior and interpretation of the statistics: Resolution of the two paradoxes. Journal of Clinical Epidemiology, 49, 431-434.
  • Ludbrook, J. (2002). Statistical techniques for comparing measurers and methos of measurement: A critical review. Clinical and Experimental Pharmacology and Physiology, 19, 527-536.
  • Ludbrook, J. (2004). Detecting systematic bias between two raters. Clinical and Experimental Pharmacology and Physiology, 31, 113-115.
  • Martín, A., y Femia, P. (2004). Delta: A new measure of agreement between two raters. British Journal of Mathematical and Statistical Psychology, 57, 1-19.
  • Schuster, C. (2002). A mixture model approach to indexing rater agreement. British Journal of Mathematical and Statistical Psychology, 55, 289-303.
  • Schuster, C., y Smith, D.A. (2002). Indexing systematic rater agreement with a latent-class model. Psychological Methods, 7, 384-395.
  • Scott, W.A. (1955). Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly, 19, 321-325.
  • Shoukri, M.M. (2004). Measures of interobserver agreement. Boca Raton, Fl. CRC Press.
  • Tanner, M.A., y Young, M.A. (1985a). Modeling agreement among raters. Journal of the American Psychological Association, 80, 175-180.
  • Tanner, M.A., y Young, M.A. (1985b). Modeling ordinal scale disagreement. Psychological Bulletin, 98, 408-415.
  • Von Eye, A., y Mun, E.Y. (2005). Analyzing rater agreement. Mahwah, NJ: Lawrence Erlbaum Associates.