FORTALEZA Y DEBILIDAD DE LOS INFORMES PISA

La recurrencia a los informes PISA (Programa para la Evaluación Internacional del Alumnado), que vienen siendo publicados cada tres años a partir del año 2000, sobre el rendimiento educativo en diversos países y regiones, es habitual entre los estudiosos de la Educación de todo el mundo.

Utilizar este recurso no significa estar de acuerdo con su planteamiento técnico, sus objetivos, contenidos y los sesgos derivados de la naturaleza de la institución que los promueve, la OCDE (1) (Organización para la Cooperación y el Desarrollo Económicos). Nada que objetar al derecho de los países a reunirse en torno a objetivos declarados y avanzados en el propio título, en la frase que la identifica. Aquí solo quiero dejar constancia de que el interés de la organización está teñido del color neoliberal que emergió con fuerza en el mundo desarrollado en  los años .80 del siglo pasado, siendo la Educación un objetivo instrumental en función de los propiamente económicos.

En todo caso conviene aclarar algunos matices que permitan valorar este programa con la mayor objetividad posible.

Algunos destacados profesores, como Julio Carabaña, participan con sus artículos en el análisis de resultados (lo han hecho en distintas ocasiones), tienen un conocimiento profundo de la metodología del análisis de datos y merece la pena leerlos (2). En mi caso, sin considerarme tan experto, vengo acudiendo a esta fuente, tanto en mi tesis doctoral como en diversos artículos que publico en mi blog, necesito dejar constancia de mi punto de vista sobre algunos aspectos.

En esta ocasión voy a señalar, sin extenderme demasiado,  las fortalezas y debilidades de estos informes, que dicho sea de paso, dan cuenta del rendimiento del alumnado de 15 años en Matemáticas, Lectura y Ciencias.

Veamos en primer lugar los puntos fuertes:

1.      El informe procede de una investigación que técnicamente reúne suficientes requisitos para ser considerada fiable.

2.      El hecho de realizarse, en el caso del último (2012), sobre 65 países del mundo le concede una importancia capital por la posibilidad de comparación entre los participantes.

3.      La extraordinaria muestra total de alumnado examinado que asciende a 510.000 (en España 25.313) añade un plus de validez al proceso y resultados.

4.      La posibilidad de que las Comunidades Autónomas españolas aumentaran la muestra con objeto de obtener suficientes datos fiables referidos a su territorio (14 CCAA lo hicieron) permite matizar los resultados del conjunto de España.

5.      El procedimiento de obtención de los datos de rendimiento del alumnado a través de exámenes “ad hoc”, realizados en el propio centro y no a partir de las notas que proporciona el profesorado, agrega un punto de objetividad a los informes.  

En cuanto a los puntos débiles tenemos:

1.      Los informes olvidan esa parte tan importante de la Educación que constituyen los hábitos, actitudes y valores relacionados con el ejercicio de la convivencia, como el uso de la libertad, los deberes y derechos ciudadanos, la forma de afrontar los conflictos, etc.

2.      No se abordan los posibles efectos de la metodología en las aulas.

3.      Se sacan conclusiones contundentes (3) sobre los resultados aunque la serie solo ha estudiado los últimos 12 años, sin tener en cuenta la situación de partida de cada territorio hace 30 ó 40 años. Si tenemos en cuenta que el estado de bienestar alcanzado en los países del Oeste europeo tardó en conseguirse más de 35 años, desde el fin de la 2ª Guerra Mundial hasta aproximadamente los años .80, consiguiendo, por ejemplo, niveles de escolarización y titulación antes desconocidos, se impone la cautela a la hora pontificar sobre el efecto de las políticas educativas, cambiantes y en bastantes casos de tendencia neoliberal, aplicadas en el curso de unos pocos años.

4.      La presentación de los resultados en un ranking ordenado de mayor a menor puntuación, como si fueran los participantes en una carrera ciclista, sin especificar el significado de las diferencias (10 puntos, por ejemplo, es una diferencia poco significativa), induce, a causa del efecto de halo, a valoraciones erróneas, teniendo en cuenta que muchísima gente solo atiende al gráfico de la clasificación obviando el conjunto de los informes.

5.      Las grandes diferencias culturales entre unos países y otros, en algunos casos extremas (como las existentes entre el Oeste europeo y el extremo oriental del continente asiático), imposibilitan de hecho una comparación directa (aunque las puntuaciones son aprovechables de otras maneras).

6.      La extracción de datos del estatus social, económico y cultural de las familias se obtiene por declaraciones del alumnado obviando  medios más objetivos.

7.      No se relacionan los resultados con la renta per cápita de cada país o región, aunque sí con la inversión educativa.

8.      No explica avances y retrocesos significativos de algunos países como los ocurridos por ejemplo en Suecia y Noruega.

El balance entre lo positivo y negativo es de suma “0”, es decir, lo importante es realizar análisis e interpretar los datos de manera crítica, teniendo en cuenta todos los matices expuestos y posiblemente otros que aquí no se han señalado.

Dicho esto, el voluminoso contenido de los informes PISA puede y debe seguir aprovechándose para indagar en las relaciones con otras variables externas que no siempre están presentes en los informes oficiales. Y esto es lo que voy a intentar hacer en algunos artículos posteriores.

(1)  OCDE  (Organización para la Cooperación y el Desarrollo Económicos), fundada en 1960, con sede en París, que agrupa a 34 países de los continentes europeo y americano, España entre ellos..

(2)  Programa para la Evaluación Internacional de los Alumnos 2012. Informe español. Volumen II. Análisis secundario. MECD, 2014.

(3)  En la nota de prensa de 3/12/2013 en la que el MECD dio a conocer los primeros datos, se decía sin consideraciones justificativas de ningún tipo que: Polonia y Portugal, países comparables por tamaño y situación geográfica respectivamente con España, han experimentado una considerable mejora en PISA en los últimos años que se debe, en parte, a políticas orientadas a una mayor autonomía de los centros educativos y a la introducción de mecanismos de rendición de cuentas.