LAS MUESTRAS EN LOS INFORMES PISA

                                                           INFORME PISA 2022

REFLEXIÓN SOBRE LAS MUESTRAS

Al comienzo del artículo anterior, relativo a las puntuaciones de Finlandia en el PISA 2022, se hacían algunas consideraciones de carácter general a tener en cuenta al interpretar y comparar las de distintos países y regiones; ahora pretendo señalar algunas relativas a las muestras.

La muestra es la representación estadística del conjunto de población a estudiar.  En el caso del informe PISA la población a estudiar o población foco es el total del alumnado de 15 años de un país o región (o grado 7º para algunos países). En el caso español, la mayoría se encuentran en 4º de ES0 y algunos en 3º. Como sería imposible examinar a un volumen tan grande de estudiantes, se recurre a escoger una muestra más manejable que sea representativa de esa población.

El ”staff” de PISA, dependiente de la OCDE, es el que selecciona las muestras de los distintos países con métodos estadísticos apropiados (generalmente al azar y con la estratificación adecuada) a partir de los datos del total de centros escolares que los distintos gobiernos le envían. En algunos casos esta selección la hacen los propios países, supervisados de cerca por los técnicos de PISA, aunque este detalle (países que seleccionan la muestra ellos mismos) no he conseguido identificarlo, creo que no aparece en el texto original.

En principio PISA  establece un volumen mínimo de 150 centros con alumnado de esa edad para cada país, aunque cada país puede solicitar muestras mayores. Se entiende que cada centro de esos 150 tendrá matriculados, al menos 30 o 35 alumnos en ese rango de edad (a veces se hace alguna excepción y se agrupan estudiantes de más de un centro). No me extiendo con otros detalles, que los hay, y los más curiosos pueden ir a la fuente[1] donde yo he conseguido la información, para tener más conocimiento.

Mi intención no es enmendarle la plana a los técnicos estadísticos del informe PISA, yo solo soy un aficionado que lee, pero como para encontrar los datos de población y muestras hay que avanzar cien o doscientas páginas en el informe, pocas personas lo hacen, yo era una de ellas, hasta que en esta edición decidí comprobar este aspecto, que considero debería contemplarse al comienzo del informe.

Y la pregunta que me hago es ¿EL TAMAÑO DE LAS MUESTRAS TIENE ALGUNA RELACIÓN CON LA FIABILIDAD DE LOS RESULTADOS, ES DECIR, DE LAS PUNTUACIONES DIRECTAS QUE APARECEN EN LOS INFORMES PISA?   

A continuación muestro una tabla con una selección de países y sus datos referidos a las ediciones de 2018 y 2022, para hacer después algunos comentarios al respecto. He seleccionado algunos países muy grandes en población, otros medianos y algunos pequeños, sin criterios muy definidos, y finalmente he añadido una comunidad autónoma española.

  

En primer lugar, como puede apreciarse al poner la atención en las columnas que indican los porcentajes (años 2018 y 2022), estos son bastante similares en ambos años y, aunque no se reflejen aquí, los de ediciones anteriores no difieren demasiado de los presentados en la tabla. Esto quiere decir que las muestras son siempre parecidas, no exactamente iguales. En este caso hay una excepción, la muestra de Finlandia en 2022 casi dobla la de 2018.

En segundo término, una serie de países cuyos porcentajes de muestra se encuentran en torno al 1% (de 0,7 a 2 en 2018 y de  0,8 a 1,8 en 2022). La mayoría de países examinados que no aparecen aquí se encuentran en este rango. Son Reino Unido, Francia, Alemania y Turquía.

En tercer lugar, aparecen cuatro países (que exhiben porcentajes muy superiores a los detallados hasta ahora) y son Finlandia (17,4), Suecia (5,6), Australia (5), España (6,7) y la Comunidad Autónoma española de Castilla y León (8,9), Enel año 2022.  

Y finalmente se observa que dos países grandes, EE. UU. y México, tienen los porcentajes de muestra más pequeños, 0,1 y 0,4 respectivamente, digamos que se han conformado con las muestras mínimas que recomendaba PISA, alrededor de 150 centros educativos.

 No deja de ser sorprendente que un país como EE. UU. formado por 50 estados, bien diversos todos ellos, con más de tres  millones de estudiantes de 15 años, se conforme con una muestra de 4.552 en 2022. Si todos los estados tuvieran una población parecida, es una hipótesis, a cada uno le tocarían 91 alumnos, más o menos dos o tres centros. ¿Será posible que la estadística haga el milagro de que  los resultados de este país cumplan con los requisitos de fiabilidad y permitan la comparación con el resto? Me gustaría creerlo, pero tengo muchas dudas. Quizá si esta crítica llega a la OCDE y PISA puedan aclararlo, me gustaría.

He de añadir que el caso de México es algo parecido, aunque un poco menos fuerte.

Para terminar, quiero creer que los países que prefieren presentar muestras robustas, tienen un interés y una mayor preocupación por que los resultados de estos exámenes respondan a la realidad de su población.

[1] OECD (2023), PISA 2022 Results (Volume I): The State of Learning and Equity in Education, PISA, OECD Publishing, Paris,

https://doi.org/10.1787/53f23881-en.