INFORME PISA 2015 [1], ESPAÑA Y CASTILLA Y LEÓN

Pasada la vorágine de opiniones en medios de comunicación oral, escrita y visual alrededor de los resultados del último informe PISA correspondiente al año 2015, sexto de la serie que comenzó en 2000, publicado el 9/12/2016, después que  supuestamente la ciudadanía  ha visualizado el ranking y leído o escuchado diferentes opiniones al respecto, posiblemente habrá concluido que España va mal, Castilla y León va bien y con recortes la educación va mejor.

La verborrea de algunos políticos y comentaristas les lleva a exagerar la importancia de las puntuaciones y su clasificación, “arrimando el ascua a su sardina”, apuntándose méritos que no les corresponden, denotando, a veces, una gran ignorancia sobre la significación estadística  de los datos y, por otro lado, otros protestando y culpando de las malas notas a sesgos intencionados en la selección de los centros participantes.

También han aparecido, al igual que en otras ocasiones, artículos de estudiosos del ámbito educativo bien fundamentados[2] y análisis de organizaciones sindicales[3] que expresan con gran objetividad el sentido y valor del resultado de este examen, en el que participa una muestra del alumnado de 15 años escolarizado en Institutos de Educación Secundaria y en colegios privados.

En esta ocasión la muestra examinada se presenta en la tabla que sigue:

	Alumnado 15 años escolarizado	Alumnado examinado	% alumnado examinado sobre alumnado total	Nº. de centros participantes (incluye públicos y privados)
Total internacional		535.791		18.541
Total España	440.084	37.205	8,4	980
Castilla y León	18.004	1.858	10,3	57

Fuente: Elaboración propia a partir de datos del volumen I del informe PISA 2015 y de la página web de la Consejería de Educación de Castilla y León[4].

El porcentaje de alumnado examinado en relación con el total escolarizado es del 8,3 en España y del 10,3 en Castilla y León, lo que supone una muestra suficiente para obtener puntuaciones y conclusiones de carácter general.

Ahora bien, aquí quiero señalar, acaso debería decir subrayar (porque la mayor parte de estas aportaciones ya las han hecho y dicho otros en algún momento, de una u otra manera), algunas claves para entender mejor el informe PISA y especialmente los resultados de Castilla y León. Y de esto tratan los puntos siguientes.

1.    FORTALEZA Y DEBILIDAD DE LOS INFORMES PISA

Utilizar los datos del informe PISA[5] no significa estar de acuerdo con su planteamiento técnico, sus objetivos, contenidos y los sesgos derivados de la naturaleza de la institución que los promueve, la OCDE (Organización para la Cooperación y el Desarrollo Económicos). Nada que objetar al derecho de los países a reunirse en torno a objetivos declarados y avanzados en el propio título, en la frase que identifica a la institución. Aquí solo quiero dejar constancia de que el interés del organismo está teñido del color neoliberal que emergió con fuerza en el mundo desarrollado de  los años .80 del siglo pasado, siendo la Educación un objetivo instrumental en función de los propiamente económicos.

Veamos en primer lugar los puntos fuertes:

a)      El informe procede de una investigación que técnicamente reúne suficientes requisitos para ser considerada fiable.

b)      El hecho de realizarse, en el caso del último (2015), sobre 72 países del mundo le concede una importancia capital por la posibilidad de algún tipo de comparación entre los participantes.

c)      La extraordinaria muestra total de alumnado examinado que asciende a 535.791 (en España 37.205) añade un plus de validez al proceso y resultados.

d)      La posibilidad de que las Comunidades Autónomas españolas aumentaran la muestra con objeto de obtener datos suficientemente sólidos referidos a sus territorios (17 CCAA lo hicieron) permite matizar los resultados del conjunto de España.

e)      El procedimiento de obtención de los datos de rendimiento del alumnado a través de exámenes “ad hoc”, realizados en el propio centro y no a partir de las notas que proporciona el profesorado, agrega un punto de objetividad a los informes.  

En cuanto a los puntos débiles tenemos:

a)      Estos informes, aunque no olvidan totalmente esa parte tan importante de la Educación que constituyen los hábitos, actitudes y valores relacionados con el ejercicio de la convivencia, como el uso de la libertad, los deberes y derechos ciudadanos, la forma de afrontar los conflictos, etc., la relegan a un papel secundario y de estudio muy indirecto, y lo mismo ocurre con el contexto.

b)      No se abordan los posibles efectos de la metodología en las aulas.

c)      Se sacan conclusiones contundentes sobre los resultados aunque la serie solo ha estudiado los últimos 15 años, sin tener en cuenta la situación de partida de cada territorio hace 30 ó 40 años. Si tenemos en cuenta que el estado de bienestar alcanzado en los países del Oeste europeo tardó en conseguirse más de 35 años, desde el fin de la 2ª Guerra Mundial hasta aproximadamente los años .80, alcanzando, por ejemplo, niveles de escolarización y titulación antes desconocidos, se impone la cautela a la hora pontificar sobre el efecto de las políticas educativas, cambiantes y en bastantes casos de tendencia neoliberal, aplicadas en el curso de unos pocos años.

d)      La presentación de los resultados en un ranking ordenado de mayor a menor puntuación, como si fueran los participantes en una carrera ciclista, sin especificar de manera preferente el significado de las diferencias (10 puntos, por ejemplo, son una diferencia poco o nada significativa), induce, a causa del efecto de halo, a valoraciones erróneas, teniendo en cuenta que muchísimos lectores solo atienden al gráfico de la clasificación obviando el conjunto del informe.

e)      Las grandes diferencias culturales entre unos países y otros, en algunos casos extremas (como las existentes entre el Oeste europeo y el extremo oriental del continente asiático), imposibilitan de hecho una comparación directa (aunque las puntuaciones son aprovechables de otras maneras).

f)        La extracción de datos del estatus social, económico y cultural de las familias se obtiene por declaraciones del alumnado obviando  medios más objetivos.

g)      No se relacionan los resultados con la renta per cápita de cada país o región, aunque sí con la inversión educativa.

h)      No explica avances y retrocesos significativos de algunos países.

Otros aspectos que sí explicita el informe, pero que ni los medios de comunicación, ni las autoridades administrativas han puesto de manifiesto y permitirían aclarar algunas dudas son:

a)      El procedimiento de selección de la muestra se realiza por una comisión nombrada al efecto, independiente de los países participantes, existiendo la posibilidad de los centros de no aceptar entrar en el examen; esta libre aceptación es igual para todos los países.

b)      También indica que al menos el 0,5% del alumnado puede ser excluido del examen por el centro, en función de discapacidad, insuficiente conocimiento de lengua, o importantes dificultades de aprendizaje. Esta condición es igual para todos los países, llegando en algunos casos a porcentajes de exclusión bastante más altos.

c)      Los datos estadísticos publicitados por los medios de comunicación y por las Administraciones esconden algo que sí dice el documento, aunque no en lugar destacado, “las diferencias entre los alumnos de un mismo centro son más altas que las existentes entre centros diferentes”. Esto quiere decir que existen factores relacionados con las condiciones personales y sociofamiliares del alumnado que son altamente determinantes de los resultados.

  El balance entre lo positivo y negativo es de suma “0”, es decir, lo importante es realizar análisis e interpretar los datos de manera crítica, teniendo en cuenta todos los matices expuestos y posiblemente otros que aquí no se han señalado.

2.    SOBRE LAS PUNTUACIONES DEL INFORME PISA 2015

De acuerdo con el catedrático de Sociología Julio Carabaña[6], analista y editor de distintos artículos al respecto, los resultados de PISA son muy estables a lo largo del tiempo y las diferencias de 5 a 10 puntos no son significativas, incluso las de 20 puntos no estarían indicando grandísimas diferencias. Según él, “seguiremos donde estábamos”.

Tabla PISA resultados 2009-2012-2015 en Cultura Científica (CC), Matemáticas (MA) y Lectura Comprensiva (LE)

Sistema Orientado a	País o Comunidad Autónoma	2009			2012			2015
		CC	MA	LE	CC	MA	LE		CC	MA	LE
Resultados + exámenes	Reino Unido	514	492	494	514	494	499		509	492	498
	EE. UU.	502	487	500	497	481	498		496	470	497
Valores básicos  - exámenes	Finlandia	554	541	536	545	519	524		531	511	528
	Francia	498	497	496	499	495	505		495	493	499
	Alemania	520	513	497	524	504	508		509	506	509
	Suecia	495	494	497	485	478	483		493	494	500
	España	488	483	481	496	484	488		493	486	496
	Castilla y León	516	514	507	519	509	505		519	506	522
	Madrid	508	496	499	517	504	511		516	503	520

Fuente: Elaboración propia a partir de informes PISA 2009, 2012 y 2015

En la tabla precedente he querido mostrar los resultados de los últimos tres exámenes de la serie PISA, de algunos países y regiones españolas. Se trata de una selección incidental porque incluir un número superior o todos haría inviable el objetivo que pretendo. 

Se han separado los dos primeros, UK y EEUU, por su orientación general neoliberal y a resultados a través de numerosos exámenes al alumnado, del resto, países europeos con orientación general a  valores básicos, en los que los exámenes cobran menor importancia.

En primer lugar, puede apreciarse la estabilidad de las puntuaciones. Esto es patente en la mayoría de los seleccionados y clarísimo en el caso de España y las dos regiones relacionadas, Castilla y León y Madrid.

En segundo lugar, llama la atención que en los países europeos de cultura continental (no anglosajona), las puntuaciones son parecidas o más altas (Finlandia, Alemania, Castilla y León y Madrid) que las de los países anglosajones, lo que, a mi juicio, explica que el sistema de reválidas y exceso de exámenes externos no promueve mejores resultados en los ámbitos examinados.

Por estas razones no se entiende cómo el Ministerio de Educación, Cultura y Deporte[7] español, titulaba los resultados del PISA 2015 en su página web, el día 6/12/2016, de manera triunfalista,  de esta manera, España rompe la brecha educativa y se sitúa, por primera vez en la historia, al nivel de los países más avanzados del mundo. Como puede juzgarse por la tabla anterior, las puntuaciones de España y sus Comunidades Autónomas eran parecidas hace tres y seis años, con gobiernos de distinto signo y leyes educativas diferentes, lo que revela la demagogia del titular.

De ahí deriva la conveniencia de leer los informes originales con objeto de  evitar la confusión que este anuncio puede haberle provocado  a más de uno. Como el objetivo de este artículo es tocar solo algunos aspecto del tema y no realizar un análisis exhaustivo, pasaré a comentar algo sobre Castilla y León, la región donde resido.

3.    PISA 2015 EN CASTILLA Y LEÓN

Esta Comunidad Autónoma comprende un territorio muy extenso, 94.225 km², habitada por 2.480.000[8] personas lo que supone una densidad de población de 26 habitantes por km, repartidos en 2248 municipios (1724 menores de 500 habitantes) con un PIB per cápita de 22.289 €, parecido o ligeramente inferior a la media nacional española

El número de Institutos de Educación Secundaria (públicos) es de 189 y los Colegios Privados Concertados 92, aproximadamente 2/3 y 1/3 del total respectivamente. El número de alumnos se reparte también poco más o menos en la misma proporción. Los centros privados se encuentran en núcleos de población importantes, en zonas netamente urbanas. La población rural establecida en municipios de menos de 1.000 habitantes alcanza la cifra aproximada de 500.000 habitantes, es decir, una quinta parte del total de la Comunidad Autónoma, población muy envejecida, a la vez que muy dispersa y con escaso censo en edad escolar, estudiantes que son atendidos en los Institutos de Educación Secundaria públicos.

Es cierto que las puntuaciones conseguidas por los estudiantes en las diversas series del PISA son bastante superiores al promedio español, superan a las de países del entorno europeo y se acercan, en este último examen, a las de la ejemplar Finlandia. En otros exámenes realizados exclusivamente en territorio español como la Evaluación de Diagnóstico en 2º de Educación Secundaria Obligatoria del año 2010[9], los resultados de esta comunidad Autónoma también fueron destacados respecto del promedio español y de otras Comunidades Autónomas,  de la misma manera que otras evaluaciones internacionales como TIMSS 2015 en Educación Primaria, todo lo cual avala o confirma los resultados de PISA.

Habría que añadir que el informe de resultados que hace la Junta de Castilla y León[10], sí se detiene en determinadas aclaraciones que no hace la publicación del MECD, por ejemplo, cómo debe hacerse la lectura de las puntuaciones para distinguir entre diferencias significativas y no significativas, la explicación comprensible de la distribución por niveles de rendimiento en las distintas materias examinadas, el rendimiento de alumnos repetidores e inmigrantes, etc., que facilitan la asimilación al ciudadano común. Este esfuerzo es la primera vez que se hace y preciso es reconocerlo.

Ahora bien, el triunfalismo del consejero de Educación, Sr. Rey, al comunicar el contenido del informe a los medios de comunicación no está justificado y menos algunas de las frases grandilocuentes pronunciadas, que figuran en dicho documento, como, Los resultados globales sitúan a Castilla y León en el primer lugar de España y 7º del mundo, Castilla y León pasa a situarse en lectura por encima de Corea del Sur y Japón, etc. Aunque los datos lo refrendan, es demasiado presuntuoso presentarlos así porque otras Comunidades Autónomas están al mismo o parecido nivel, al igual que otros países de nuestro entorno y podría ocurrir que el próximo PISA de 2018, las cuentas no salgan tan favorables como en esta ocasión. No cabe duda que los “recortes” terminarán pasando factura.

Por otro lado, como hemos podido ver, estos mismos resultados ya se produjeron en 2009 y 212, ¿a qué viene tanta alharaca?

Se afirma en la prensa, a partir de comunicaciones de la Consejería, que este éxito se produce porque en las escuelas rurales hay pocos alumnos y muchos profesores, es como si tuvieran clases particulares, dicen. Es justo que haya escuelas en los pequeños núcleos de población y los profesores trabajan tan bien como los de las zonas urbanas, pero en una muestra estratificada como esta (público, privado, rural, urbano, etc.), la población de 15 años de zona rural puede llegar aproximadamente al 20/25% del total, de donde se deduce que el mayor peso de los examinados reside en zonas urbanas, donde también hay buen hacer por parte del profesorado aunque los grupos de estudiantes sean más numerosos.

La investigación (siempre datos estadísticos), al margen de PISA,  según Angulo (2013)[11] indica que los mejores resultados de rendimiento se encuentran en centros relativamente grandes y en zonas urbanas.

Poco o nada se dice del factor estadísticamente más importante relacionado con el rendimiento del alumnado, el famoso ESCS (estatus socio cultural y económico familiar) que, en este caso, al igual que en todo el mundo, se hace patente de este modo: cuando se divide al conjunto de estudiantes en “cuartiles” (cuatro partes) en función del índice ESCS, resulta que la diferencia entre el cuartil inferior (492 puntos) y cuartil superior (549 puntos) es 57 puntos, que según los cálculos que hacen los teóricos diseñadores del programa PISA equivale a dos años de escolaridad y esto sucede a pesar de que discapacitados, alumnos con importantes problemas de aprendizaje y aquellos que no conocen suficientemente el idioma son excluidos del examen. Es en esta fracción de rendimiento inferior, que fundamentalmente está escolarizada en centros públicos donde es necesario poner más esfuerzo en recursos profesionales y seguramente de otro tipo, en lugar de reducirlos como ha sucedido a lo largo de los últimos cinco años.

Me parece muy positivo que los resultados de centros públicos y privados estén igualados y que la autoridad administrativa lo reconozca, y a muchos nos gustaría que se olvidaran ya de las comparaciones con países del oriente asiático y del área cultural anglosajona, porque como se puede apreciar a lo largo del tiempo, no es necesario hacer muchos exámenes externos, reválidas, etc., para que al alumnado progrese adecuadamente. Todo esto ha sucedido en Castilla y León con leyes de Educación como la LOE y con gobiernos de la nación de izquierdas y de derechas.

Para terminar quiero hacer referencia a la conexión existente entre resultados de PISA y desempleo. Quiero empezar por hablar de la falsedad del argumento que exponen algunos políticos y empresarios que ponen la “carga de la prueba” del desempleo en la deficiente formación de los españoles. Todos sabemos que una mejor formación promueve más oportunidades de empleo y es loable el intento de los estudiantes por formarse bien, pero si pensamos en los estudiantes de Castilla y León que hace nueve o doce años participaron con éxito en el examen PISA y que hoy tienen entre 24 y 27 años, buena parte de ellos con formación universitaria, algunos emigrados a otras regiones o países donde se reconoce su valía, y comparamos con las cifras que proporciona la Encuesta de Población Activa del año 2015, que nos muestra que los españoles menores de 30 años que se encuentran en situación de desempleo asciende al 33%  (sin entrar en la precariedad del empleo de los que consiguen trabajar), concluiremos que algo va muy mal en este país y no es exclusiva responsabilidad de la fuerza de trabajo. Atónitos quedamos algunos cuando miramos a países como Suecia y Noruega, cuyas puntuaciones en PISA son notablemente inferiores a las de Castilla y León, parecidas al promedio español, y comprobamos que su índice de desempleo es la tercera o cuarta parte del de aquí. Ya sabemos que estos países son hoy más ricos que España, pero hay otra cultura a la hora de entender el trabajo y las relaciones laborales que permiten esos envidiables índices.

A veces me pregunto si algunos políticos, financieros y grandes empresarios que diseñan y dirigen la economía, quizás deberían hacer alguna prueba específica en la que pudieran demostrar su competencia social, su compromiso con la sociedad, a fin evitar el desequilibrio actual, que no solo ocurre en España.

---

[1] OECD (2016). PISA 2015 Results (Volume I). Excellence and Equity in Education. PISA, OECD Publishing, Paris.

https://www.oecd.org/publications/pisa-2015-results-volume-i-9789264266490-en.htmINFORME PISAhttps://www.oecd.org/publications/pisa-2015-results-volume-i-9789264266490-en.htm

[2] Martín, Elena (2016).  PISA, ni el mal ni la palabra de dios. Artículo aparecido el 06/12/2016 en  “eldiario.es”.

[3] Secretariado STECyL-i (2016). Comunicado sobre informe PISA 2015.  Boletín, año 6, nº. 193, de 9 de diciembre de 2016.

[4] JCyL: http://www.comunicacion.jcyl.es/web/jcyl/Comunicacion/es/Plantilla100Detalle/1281372057130/_/1284680016670/Comunicacion

[5] El informe PISA 2015, volumen I, comprende 494 páginas en lengua inglesa, pero el informe conocido publicado por el Ministerio de Educación, Cultura y Deporte en español contiene solamente  23 páginas, con muy pocos datos, como no puede ser de otra manera, y no permite colegir algunas conclusiones que sí se encuentran en el informe general. Esperemos que el MECD lo amplíe en algún momento.

[6] Carabaña, J. (2013). Repetición de curso y puntuaciones PISA ¿cuál causa cuál? PISA 2012, Informe Español. Volumen II: Análisis secundario.

[7] MECD:  http://www.mecd.gob.es/portada-mecd/ 

[8]  Datos del año 2012.

[9]  Ministerio de Educación (2011). Resultados de la Evaluación de Diagnóstico. 2º de ESO.  Instituto de Evaluación,  Madrid.  www.institutodeevaluacion.educacion.es   

[10] JUNTA DE CASTILLA Y LEÓN (2016). PISA 2015 CASTILLA Y LEÓN. Avance de resultados. Consejería de Educación. Dirección General de Innovación y Equidad Educativa. http://www.comunicacion.jcyl.es/web/jcyl/Comunicacion/es/Plantilla100Detalle/1281372091663/_/1284680016670/Comunicacion

[11]  Angulo, J. A. (2013). Cultura Organizacional, Clima y Liderazgo en Organizaciones Educativas. Tesis doctoral, Universidad de Valladolid.