Arranca la nueva campaña electoral y con ella la lluvia de sondeos electorales. Día sí, día también, se publican los resultados de nuevas encuestas. E, inevitablemente, día sí, día también, se escucha aquello de que las encuestas en el fondo no reflejan correctamente el sentir e intención del ciudadano (afirmaciones que, por lo general, provienen de aquellos que interpretan que no salen especialmente favorecidos en los resultados que anticipa la encuesta de turno y que, curiosamente, acto seguido invariablemente añaden que manejan encuestas internas cuyos resultados les son mucho más favorables).

Indirectamente, para los que manejamos como fuente esencial de nuestro trabajo la investigación de mercados son días complicados: lo cierto es que los continuos fiascos de las previsiones electorales termina por contaminar la percepción que se tiene sobre este ámbito. Si veinticinco encuestas no han sido capaces de anticipar medianamente los resultados electorales del mes que viene, cómo va a predecir ese modelo tuyo de forecasting que está construido a partir de los resultados de un estudio de mercado las ventas del nuevo producto durante los próximos tres años. Touché.

Así que, adelantándome a lo que se me viene encima durante las próximas semanas, dejadme que me ponga la venda antes de hacerme la herida: sí, es cierto, los sondeos electorales fallan. Con frecuencia y como escopetas de feria. Y ello no quiere decir que las metodologías y técnicas que se utilizan en investigación de mercados no sirvan. Quiere decir, simple y llanamente, que los sondeos que estamos habituados a ver en prensa y televisión, esos cuyos resultados llenan las hora de telediarios y contetulios, están en muchas ocasiones mal diseñados y mal ejecutados.

El caso reciente más flagrante probablemente fue el de las últimas elecciones generales en Reino Unido, celebradas en mayo de 2015. Todos y cada uno de los sondeos publicados durante las semanas previas a la votación habían coincidido en anticipar un resultado extremadamente igualado entre el partido laborista y el conservador, dibujando un escenario político para los próximos cuatro años caracterizado por una inestabilidad que hacía presagiar tiempos complicados en el parlamento británico. Por ello, los resultados fueron una sorpresa mayúscula: mayoría absoluta para el partido de David Cameron. Las críticas a los sondeos publicados antes de las elecciones fueron de tal magnitud que se abrió una investigación para entender por qué habían fallado de manera tan clamorosa. Dicha investigación, de carácter independiente y articulada en torno a un equipo de los académicos de mayor prestigio del país, publicó sus conclusiones hace un par de meses. Las 120 páginas del informe de resultados deberían ser de lectura obligada para todos aquellos que trabajan en el sector. Desmonta con datos varias leyendas urbanas en torno a las encuestas políticas y pone el dedo en la llaga explicando que los motivos esenciales detrás del fiasco de los sondeos electorales no es otro que el diseño y ejecución técnica de las encuestas.

Aseveraciones que solemos escuchar para explicar por qué las encuestas electorales fallan y que no son ciertas (sin entrar en grandes detalles para evitar que abandonéis la lectura):

• La gente miente en las encuestas. Puede ser, pero si lo hace, lo hace de manera sistemática, de modo que los errores se compensan y el resultado de la estimación no se ve afectado en gran medida.
• Los partidarios de partidos conservadores no lo reconocen públicamente, por lo que la intención de voto de estos partidos se ve minorada.  Este efecto existe y de hecho se viene estudiando desde hace años en múltiples países. Como tal, es posible cuantificarlo y corregirlo, por lo que tampoco influye de manera relevante en los resultados de los sondeos.
• Mucha gente decide su voto a última hora. Se dedican muchas horas en las tertulias a hablar de los indecisos. Lo cierto es que, salvo que sobrevengan eventos extraordinarios capaces de polarizar de manera abrupta la intención de voto (tal y como pudo vivirse en España en las elecciones de la primavera de 2004 tras los atentados del 11M) el reparto de voto del segmento de los indecisos viene a replicar en gran medida la tendencia de aquellos que sí declaran tener su voto decidido.
• El voto por correo, tanto nacional como fundamentalmente desde el extranjero, no se contempla adecuadamente en las encuestas. Cierto, pero de nuevo es un factor que, además de ser poco relevante en términos de volumen, puede hasta cierto punto estimarse razonablemente a partir de datos históricos.

Si ninguno de estos factores influye de manera determinante en el error de los sondeos. ¿Qué es lo que falla entonces en las encuestas electorales? La clave está, como en muchos otros ámbitos, en la letra pequeña. En esas tres o cuatro líneas en un tamaño de letra ilegible que describen la metodología seguida para la realización de las encuestas.

Esencialmente la clave de la representatividad de la muestra sobre la que se realiza la encuesta viene dada por dos elementos: el tamaño de la muestra (cuánta gente se ha entrevistado) y el supuesto de muestreo aleatorio (entrevistamos a gente puramente al azar). Y es este segundo punto donde la gran mayoría de las encuestas electorales no dan la talla.

De nuevo en formato titulares:

• La práctica totalidad de las encuestas electorales se realizan bien telefónicamente mediante llamadas a numeraciones aleatorias a teléfono fijo, bien mediante paneles online. En ambos casos se está dejando de considerar a buena parte de la población (en España, por ejemplo, más de un 20% de los hogares no tienen ya teléfono fijo o más del 30% de la población no son internautas), lo que introduce un sesgo notable – la muestra no representa adecuadamente a toda la población. Las encuestas del CIS son una de las pocas excepciones a esta tendencia ya que se realizan presencialmente, en hogares seleccionados aleatoriamente, lo que explica (junto al hecho de que el tamaño de muestra sea mayor) que sus resultados tiendan a ser notablemente mejores que los de otro tipo de medios (aquí debemos aclarar que la metodología presencial lleva asociada un coste y unos plazos de ejecución significativamente mayores, motivo esencial por el que las encuestas que los medios de comunicación encargan habitualmente se realizan mediante otros procedimientos). Aún así, ni las encuestas del CIS escapan a otros factores de error como veremos en los siguientes puntos.
• El supuesto de aleatoriedad requiere igualmente que una vez se ha seleccionado un contacto (un número al que llamar, un hogar al que visitar) debe entrevistarse sí o sí a ese contacto. Lo que sucede en la vida real es que si el equipo de trabajo de campo intenta contactar por ejemplo con un teléfono dado en un par de ocasiones sin éxito pasará a intentarlo con un nuevo contacto. En la práctica ello implica que ciertos segmentos poblacionales estarán mal representados en la muestra (si trabajo hasta las ocho de la tarde difícilmente podrás entrevistarme llamándome al fijo o llamando al timbre de mi domicilio a mediodía; en cambio, si llamas a mi madre jubilada, a mi hermano estudiante o a mi primo en paro tendrás una mayor probabilidad de que responda a la encuesta).
• A la hora de analizar los resultados de la encuesta, por norma se aplican una serie de ponderaciones que permita ajustar el perfil de la muestra entrevistada al perfil de población general (simplificando, si por ejemplo entre mis entrevistados hay un 60% de hombres y sé que en la población a representar hay sólo un 50% tendré que aplicar un factor corrector). El problema viene a la hora de identificar qué variables elegimos para aplicar cuotas. Típicamente se aplican variables sociodemográficas básicas (edad, sexo, etc.) que pueden resultar insuficientes a la hora de realizar estimaciones electorales (resulta por ejemplo razonable pensar que habría que aplicar cuotas específicas por situación laboral del entrevistado).

En definitiva, es en la representatividad de la muestra donde se concentra el error de las encuestas electorales. Los niveles de error que reflejan las fichas técnicas de las encuestas (el famoso +X% para un nivel de confianza del 95,5%) asume que se han dado las condiciones de un muestreo aleatorio, hipótesis que, como hemos visto, dista mucho de darse.

¿Perdemos la esperanza entonces de tener sondeos electorales cuyas estimaciones se aproximen más a la realidad? No necesariamente, hay vías para ello: combinar el tradicional contacto a través del teléfono fijo con llamadas a números de móvil parece la alternativa idónea hoy en día; se puede incrementar el número de intentos de contacto a diferentes horas del día, se debe explorar la correlación entre variables más allá de las sociodemográficas más elementales y la intención de voto para establecer nuevas cuotas, etc.

En resumen, no es que la investigación de mercados, las encuestas, no sirvan, simplemente es que las cosas hay que hacerlas bien. El mundo cambia y las herramientas y formas de trabajar deben de hacerlo igualmente.

Nota: Estas líneas tratan de ilustrar incluso para los más profanos en la materia la problemática de los errores a la hora de realizar e interpretar sondeos electorales. Los ejemplos y descripciones que he usado son deliberadamente simplistas y no exhaustivos.