El modelo de efectos mixtos para la detección de variables moderadoras en meta-análisisuna comparación de procedimientos a través del método Monte Carlo = The mixted-effects model for the detection of moderator variables in meta-analysis : a comparison of procedures through the Monte Carlo method

Resum

Los análisis de moderadores han cobrado una gran importancia en el campo del meta-análisis a lo largo de las últimas décadas, ya que en la práctica es muy habitual encontrar inconsistencias entre los resultados de los diferentes estudios. Los modelos de meta-regresión de efectos mixtos constituyen la opción más empleada en la actualidad para el análisis de moderadores en meta-análisis. Debido a su creciente popularidad, en las últimas décadas se han propuesto diferentes métodos estadísticos para el ajuste de estos modelos. La presente Tesis Doctoral reúne un total de tres estudios empíricos de simulación en los que se compararon diferentes métodos propuestos para la estimación y contraste de la significación de los parámetros más relevantes en los modelos de meta-regresión de efectos mixtos. Uno de estos parámetros es la varianza inter-estudios residual, para el cual se comparó el funcionamiento de siete estimadores alternativos. Otro análisis es el contraste de la significación de los moderadores incluidos en el modelo, para el que se evaluó el funcionamiento de seis procedimientos diferentes. Por último, se comparó el funcionamiento de siete estimadores de la potencia predictiva del modelo. La interpretación conjunta de los hallazgos de los tres estudios de simulación permite desgranar varias conclusiones relativas a los métodos preferibles cuando se ajustan modelos de meta-regresión de efectos mixtos bajo unas condiciones dadas. En primer lugar, el método escogido para la estimación de la varianza inter-estudios residual no mostró un influjo en los resultados del contraste de la significación estadística de los coeficientes de regresión (tampoco para variables dependientes con distribución muestral asimétrica), pero sí en la estimación de la potencia predictiva de estos modelos utilizando la propuesta de Raudenbush; en este apartado, los estimadores DerSimonian-Laird, Máxima Verosimilitud Restringida y (especialmente) Bayes Empírico proporcionaron los resultados más precisos. Otra conclusión alcanzada a la luz de los resultados de las simulaciones de este trabajo está relacionada con el método para el contraste de los coeficientes en un modelo de meta-regresión de efectos mixtos. La prueba z tradicionalmente empleada para el contraste de la significación estadística de moderadores en estos modelos mostró resultados poco precisos, mientras que la aplicación del método de Knapp y Hartung no truncado mejoró los resultados de manera consistente. Estas tendencias se mantuvieron cuando la variable dependiente empleada en los análisis tenía una distribución muestral asimétrica. Según estos resultados, el uso del método de Knapp y Hartung no truncado debería generalizarse cuando se contraste estadísticamente la asociación de un moderador con los tamaños del efecto mediante modelos de meta-regresión de efectos mixtos. Por último, en cada una de las simulaciones se manipularon varios factores. De ellos, el número de estudios se mostró invariablemente como un factor crucial para obtener resultados precisos en modelos de meta-regresión de efectos mixtos; en concreto, los resultados de los estudios de esta Tesis Doctoral sugieren que se requieren alrededor de 40 estudios para poder llevar a cabo estos análisis con ciertas garantías, mientras que la interpretación de los resultados debería ser muy prudente en las situaciones donde el número de estudios incluidos en el meta-análisis esté por debajo de esta cifra. En cuanto a los demás factores, un mayor número de participantes por estudio en promedio conllevó la obtención de resultados más precisos, mientras que el grado de heterogeneidad entre los efectos paramétricos de cada meta-análisis ejerció una influencia desigual en función del objetivo concreto: una mayor heterogeneidad entre efectos paramétricos afectó negativamente a la precisión de los contrastes de la significación de moderadores, al tiempo que mejoró los resultados en la estimación de la potencia predictiva de los modelos objeto de estudio en esta Tesis Doctoral. Abstract Moderator analyses have become very relevant in the meta-analytic arena along the last decades, provided that it is very frequent in practice to find inconsistencies between the results from different studies. Mixed-effects meta-regression models constitute the most employed option nowadays for moderator analyses in meta-analysis. Due to their growing popularity, different statistical methods have been proposed for fitting such models along the last decades. The current Doctoral Thesis gathers a total of three empirical simulation studies in which different methods for the estimation and testing of the most relevant parameters in mixed-effects meta-regression models were evaluated. One of these parameters is the residual between-studies variance, for which the performance of seven alternative estimators was compared. Another analysis is the testing of the moderators included in the model, for which the performance of six different procedures was assessed. Lastly, the performance of seven estimators of the model predictive power was compared. The joint interpretation of the findings from the three simulation studies allows to pull out some conclusions with regards to the preferable methods when mixed-effects meta-regression models are fitted under a given scenario. Firstly, the method chosen for the estimation of the residual between-studies variance did not show any influence on the results of the statistical testing of the regression coefficients (and it did not affect the results of these significance tests when dependent variables with asymmetric sampling distribution either), but it did affect the estimation of the predictive power of these models with the method proposed by Raudenbush; to this respect, the DerSimonian-Laird, Restricted Maximum Likelihood and (specially) Empirical Bayes estimators yielded the most precise results. Another conclusion extracted on the light of the results from the simulations here presented is related to the method for testing the coefficients in a mixed-effects meta-regression model. The z test traditionally employed for the statistical testing of moderators in such models showed inaccurate results, whereas the implementation of the method of Knapp and Hartung untruncated improved the results consistently. These trends held when the dependent variable employed for the analyses has an asymmetric sampling distribution. According to these results, the use of the method of Knapp and Hartung untruncated should be spread when the association of a moderator with the effect sizes is statistically tested through mixed-effects meta-regression models. Lastly, several factors were manipulated in each of the simulation studies. Out of these factors, the number of studies invariably appeared as a crucial factor to obtain accurate results in mixed-effects meta-regression models; specifically, the results of the studies included in this Doctoral Thesis suggest that about 40 studies are required to carry out these analyses with enough accuracy, whereas the interpretation of the results should be very cautious when the number of studies included in the meta-analysis is below that cutoff. Regarding the remaining factors, a bigger sample size per study on average led to more accurate results, while the amount of heterogeneity among the parameter effects in each meta-analysis exerted an unequal influence depending on the specific goal: a greater amount of heterogeneity among the parameter effects negatively affected the accuracy of the significance tests of the moderators, but in turn it improved the results in the estimation of the predictive power of the models assessed along this Doctoral Thesis.