Encuestas para ver con microscopio

Si hace un mes hablaba de ver la encuesta del CIS "con las gafas adecuadas", hoy toca hablar de otras encuestas que, para ser analizadas en profundidad, necesitan ser observadas con lupa. Incluso de esas que se utilizan para ver si las joyas son verdaderas o falsas, porque son opacas como un muro de hormigón.

Mientras que la encuesta del CIS nos ofrece desde conocer el cuestionario, hasta solicitar los resultados en bruto, pasando por cruzar los resultados por variables de todo tipo, la mayoría de encuestas privadas nos ofrecen poquísimos datos sobre cómo se ha realizado el estudio y a partir de qué respuestas obtienen sus conclusiones. Sin embargo, el medio de comunicación que las encarga nos ofrece el resultado final de estimación de voto (el más mediático) y, como es lógico, pocas personas se paran a analizar qué grado de fiabilidad tiene cada encuesta. Es más, en ocasiones el CIS es el instituto de estudios con peor fama por considerase "politizado".

Vuelvo a meterme en camisa de once varas, porque sé muy poco de demoscopia y de análisis electoral, por lo que me limitaré a señalar cosas que me parecen raras, quedando abierto a explicaciones de gente que sepa más del tema.

Hoy está teniendo especial eco una encuesta que ha publicado la Cadena Ser y realizada por "My World", dado que lanza un "bombazo" situando a UPyD como tercera fuerza política con nada menos que un 13% de estimación de voto, por delante de IU (11,7%). Como suelo hacer, he buscado el estudio completo, para no quedarme en los titulares. Es muy habitual que los medios de comunicación no ofrezcan los resultados del estudio, sino solo aquellos que seleccionan; sin embargo la Ser sí que nos ofrecía el enlace.

Tras observarla un poco por encima he encontrado una serie de cosas que me resultan sorprendentes y, salvo que alguien me corrija, poco profesionales:

  1. El método de entrevistas utilizado (ver última página) es poco habitual. Se trata de 1100 "entrevistas online a partir de un panel de captación activa". Lo que suelen usarse son entrevistas personales o telefónicas. Desconozco esta metodología y por ello ni puedo ni quiero descalificarla. Por lo que he podido leer aquí y aquí, se trata de una muestra obtenida mediante la invitación personalizada a través de internet a ciertas personas incluídas en bases de datos de marketing de distintas empresas o portales virtuales, a partir de su perfil sociodemográfico. Por lo que sé, los estudios más rigurosos (el CIS, por ejemplo) suelen descartar las entrevistas telefónicas, ya que se introduce un sesgo en la muestra por el hecho de que el tipo de gente que puede estar en casa para responder a una encuesta no representa al conjunto de la población. Con más motivo podemos decir que este tipo de encuesta solo podría dirigirse a personas con acceso y determinados hábitos de uso en internet. Y, por ejemplo, se ha visto cómo UPyD o IU tienen comparativamente más presencia en redes sociales o sus votantes son quienes más usan internet (ver pregunta 26)
  2. Lo que sí que me atrevo a afear a la empresa My World (por otro lado, para mí y para Google, totalmente desconocida) es que nos ofrezca una estimación de voto (ver página 8) sin haber reflejado antes pregunta alguna del tipo "si mañana hubiera elecciones, ¿a quién votaría?". Según nos indican "los resultados del cuadro son proyecciones electorales generadas a partir de un modelo de estimación de voto que se aplica a los datos de intención de voto de la encuesta." De acuerdo, así suele ser, pero ¿cuáles son esos datos de intención de voto? ¿Qué otras variables se tienen en cuenta para realizar la estimación? No contamos con datos de intención directa, simpatía, etc. por lo que hay que hacer un acto de fe para considerar que esos resultados tienen alguna base. Ni siquiera nos ofrecen los datos de recuerdo de voto que, como veremos, son importantes en esta ocasión.
  3. La encuesta nos ofrece también una valoración de líderes (ver página 13). Rosa Díez, como es bastante habitual, aparece como la mejor valorada. Vemos también en el cuadro que es la que más entusiasmo despierta entre sus propios votantes: un 5,6 frente al 4,8 de Rajoy entre el electorado del PP, 3,7 de Rubalcaba en el del PSOE y 4,6 de Cayo Lara entre quienes votaron IU. Sin embargo, los datos me han escamado. Puede que me equivoque yo al realizar el cálculo, pero entiendo que influye mucho que la buena nota te la pongan unas pocas personas (como en el caso de quienes votaron UPyD) o muchas (quienes votaron PP, por ejemplo). De tal manera, de ninguno de los modos en los que he hecho algunas "cuentas de la vieja" me resulta posible que Rosa Díez, fatal valorada por los votantes de los otros partidos, saque mejor nota que Rajoy. Obviamente, Díez tiene mejor nota entre quienes votaron UPyD, pero este es un segmento muy pequeño de la población encuestada. Basta con ver que Rajoy tiene el cuádruple de valoración entre sus propios votantes, prácticamente la misma valoración que Díez entre los de PSOE e IU e incluso una valoración muy aceptable entre los de UPyD, cuando la valoración de Díez entre los del PP es pésima. Confieso que aquí quizá se me escapa algún dato (no ayuda que no añadan el recuerdo de voto y haya que acudir a los resultados de Noviembre), pero me parecen unos datos "raros".

En fin, la cuestión no está en si esta encuesta acierta o no. Es muy probable que en lo fundamental acierte, ya que por lo general marca las mismas tendencias que otras encuestas publicadas recientemente (desplome del PP, estancamiento a la baja del PSOE, subida de IU y UPyD). Lo problemático es que se publiquen estudios, con gran impacto en la opinión pública, sin que exista posibilidad alguna de contrastar su fiabilidad. La única posibilidad que nos queda es confiar acríticamente en ellos o levantar sospechas quizá injustamente. Pero tampoco es justo para el electorado que nos acribillen a datos sin presentarlos con el mínimo rigor científico.

Comentarios

Juan Antonio ha dicho que…
Para cerrar la entrada de Juan (felicidades), y que se entiendan mejor las cosas, para quien lea por aquí en adelante, añadir:

1.- La empresa My Word, por lo que Google ya me ha revelado la ha fundado una ex-presidenta del CIS. Por lo que a priori, en cuanto a rigor científico le asigno un mínimo de respeto, aunque siempre, como dice Juan, sin quitarme "las gafas adecuadas".

2.- MyWord, ha obtenido la muestra de 1.100 personas que a su vez están suscritas a un panel de captación activa. Según lo oído en La Ser el panel es de 170.000 personas.

3.- Por una parte habría que conocer quien es la empresa titular de ese panel de 170.000 personas, para ahondar en calidades, como por ejemplo si representan al 61,9% de los hogares españoles que disponen de conexión a Internet(Fuente: INE TIC'2011)

4.- Tambien habría que ver en la metodológia, cosas como por ejemplo cómo se corrigen los sesgos (si es posible controlarlos) para extrapolar los resultados del 61,9% de los hogares españoles al 100% de los hogares españoles.

Abrazando la idea de que el estudio tiene un mínimo de enjundia para calificarlo de serio, y considerando que no todas las ciencias que usan muestreo, lo usan probabilístico, aplaudo el trabajo de las personas que esten detrás del mismo.

Juan Antonio

Juan Peña ha dicho que…
Gracias por tu comentario, Juan Antonio.

La verdad es que ayer también yo me enteré de que la empresa era de Belén Barreiro, con lo que no solo le asigno un mínimo de respeto, sino casi total confianza.

Aún así, una cosa es la profesionalidad con la que se hace el estudio y otra el rigor con el que se presenta. Ahí sigo sin poder darle el aprobado, no como experto (que no lo soy ni de lejos) sino como ciudadano interesado en estos temas.

Igualmente, sigo viendo arriesgado utilizar metodología on-line, aunque sea mediante captación activa y coincido en tus comentarios al respecto.

En cualquier caso, la principal responsabilidad en todo esto es de los medios, a los que interesa más que nada dar un titular con estimación de voto y "educan" poco sobre estas cuestiones.

Un saludo y gracias de nuevo
David Aurusa ha dicho que…
He estado dandole vueltas a la tabla de valoración de políticos, y tienes razón en que no cuadra. Si se hubiesen ponderado el numero de votantes de cada partido sería imposible que la media de rosa díez fuese superior a la Rajoy.

¿de donde sale entonces esa media? Hay que tener en cuenta de que aparte de las 4 columnas que aparecen (pp, psoe,iu, upyd) tienen que existir otras, que no aparecen, que recojan Voto nulo, No tenía edad para votar, En blanco, No votó y No recuerda.

Tras hacer algunas cuentas con la valoración que daban a los distintos políticos los principales grupos invisibilizados en el barometro de julio creo que el resultado del total sale de hacer una media no ponderada de esas columnas.

Un churro vamos
Juan Peña ha dicho que…
Sí, es obvio que que faltan el resto de opciones de recuerdo de voto (esos cuatro partidos "solo" suman el 85% del voto válido emitido). Pero aún así, con cuentas de la vieja como las que supongo que tú has hecho, no me cuadra.

De todas maneras, es muy probable que eso tenga una explicación. La ordenación de valoraciones es lógica y habitual (que gane Rosa Díez), aunque las notas son muy bajas. Será una metodología diferente o lo que sea. La pena es que no le den un poco más de transparencia para que lo entendamos.

Un abrazo y gracias por el comentario