Concluye el proceso electoral de 2009 y lamentablemente no nos deja muestras de un avance significativo en cultura política, al menos en la que depende de la cultura estadística y particularmente de los aspectos culturales sobre las encuestas. Ya tendremos tiempo de rumiar algunos conceptos de nuestras lecciones pasadas de Cultura Estadística; por lo pronto veamos algunas de las muestras más claras de las confusiones conceptuales que tienen no nuestros compatriotas iletrados, sino nuestros políticos del más alto nivel, nuestros intelectuales y, horroricémonos, nuestros Encuestólogos más famosos.
Una encuesta exitosa es aquella que nos anticipa quién ganará.
Primer Comentario: Para empezar las encuestas que se juzgan son las que se dieron a conocer públicamente, que por razones legales no puede circular en fechas muy próximas al día de la elección. En consecuencia son encuestas que recogen la opinión de los electores antes de los grandes cierres de campaña, de los ataques más arteros de guerra sucia, etc. Por ello la única forma de que tuviera sentido la pretendida evaluación de las encuestas, es que nada de lo anterior tuviera el potencial de modificar la opinión de los electores, o bien que se diera el fenómeno de que por la única razón de que los encuestadores ya hicieron públicas sus últimas encuestas, los electores, aunque hubieran cambiado de opinión, no lleven su opinión modificada a la urna para no contrariar la suprema voluntad de los encuestadores.
Segundo Comentario: El otro factor fundamental que le quita todo sentido a la evaluación de las encuestas en el contraste con resultados, es el abstencionismo. Si un porcentaje elevado de electores potenciales no acude a las urnas, entonces la única forma en que tendría sentido la evaluación es, además de que la opinión no se modifique como lo comentamos antes, que las personas que no vayan a votar tengan preferencias electorales similares a las que sí se presenten a votar, y adicionalmente que la efectividad del trabajo de promoción del voto de los diferentes partidos guarde proporcionalidad con la correlación de fuerzas estimada por los encuestadores. Si suponer todo lo anterior no es una fantasía, entonces no sé que podría serlo.
Tercer Comentario: Por otra parte, una encuesta exitosa es aquella para la cual las estimaciones que presentó no difirieron de los resultados de la elección más allá de sus márgenes de error al 95% de confianza. Entendiendo esto último como perfectamente normal que en una encuesta bien realizada falle, en promedio, una de cada veinte predicciones. Dicho de otro modo, en nuestra disciplina no se garantiza infalibilidad.
Es claro en consecuencia que la sola idea de pretenderse como una empresa exitosa porque se acertó en los resultados no tiene sentido, como tampoco tiene sentido derrumbarse si los resultados no coincidieron. Esto no representa un enfoque postmoderno del mundo de las encuestas, por supuesto que hay encuestas mal realizadas y me atrevo a afirmar que son la mayoría, simplemente señalamos que el criterio de evaluación adecuado no es ese, sino que se hayan respetado puntualmente los pasos metodológicos, en particular el diseño y la obtención de la muestra aleatoria, el cuidado en la realización del trabajo de campo y la captura de datos y la pertinencia del análisis estadístico de los datos. Dicho de otro modo, la única forma para juzgar si una encuesta se hizo bien o mal, es auditar todo su desarrollo. Una vez con los resultados sobre la mesa nos pueden parecer lógicos o no, pero no se puede con base en ellos evaluar si la encuesta se hizo bien o mal. Por ello es vital encargar las encuestas a personas versadas en estadística.
Las encuestas de salida no fallan.
Comentario: Por supuesto que pueden fallar. Es claro que en una encuesta de salida no tenemos el problema del abstencionismo que sí tienen las encuestas normales, porque se toma una muestra de las personas que hicieron efectivo su voto, pero pueden haber fallas en el diseño de la muestra, defectos en la implementación del trabajo de campo y muy importantemente, personas que se reserven su opinión.
El famoso e inexistente Too close to call.
Comentario: Derivado de las anteriores confusiones, los Encuestólogos nos han traído una figura muy cómica: El too close to call, que significa que es tan cerrada una elección que no se puede decir quién ganó. Es claro que dada la pretensión de adivinar quién ganó, un empate técnico nos deja imposibilitados para afirmar quién es el triunfador, pero finalmente la encuesta de salida nos arroja una estimación para cada candidato con su respectivo margen de error. El encuestador debe hacer públicos esos resultados al margen de que no se pueda anticipar el triunfador.
Por ejemplo, si el candidato A tiene 47% con margen de error 2% y el candidato B 46% con margen de error 3%, debemos informar eso. Al final un posible resultado pudiera ser 47.5% para A y 47% para B y habría ganado A y además la encuesta de salida habría sido exitosa. También podría ocurrir que A obtuviera 46% y B 48% y de nuevo la encuesta de salida habría sido exitosa.
Es claro sin embargo que la figura del too close to call es bastante cómoda para el encuestador.
Alguna vez me presentaron a Porfirio Muños Ledo, y tan pronto supo mi oficio se me fue a la yugular. Por supuesto que me cuestionó esa pretensión absurda de muchos Encuestólogos de anticipar los resultados electorales. Tan pronto tuve la oportunidad de intercalar algo más que un silencio en aquel “diálogo”, le expliqué que las encuestas “predicen” el pasado, no el futuro. No me sorprendió, de alguien claramente inteligente, que quedara complacido con mi respuesta.
Con esto retomamos nuestras lecciones de Cultura Estadística. El tema de la estimación es el tema central para entender todo este vericueto de los empates técnicos y de las ventajas estadísticamente significativas. Hasta la próxima.