9° SEMINARIO INTERNACIONAL DE ESTRATEGIAS ELECTORALES Y POLÍTICAS
MESA DE DEBATE “ESTUDIOS DE OPINIÓN: ERRORES Y NUEVAS OPORTUNIDADES”
ITAM
Estudios de Opinión: Errores y Oportunidades
Por Salvador Borrego
Ciudad de México a 26 de enero 2017
La Opinión Pública, sobre temas específicos, de acuerdo a Vincent Price, es lo que resulta de una encuesta que indaga respecto de esos temas. Hay quienes consideran que a través de los Focus Groups o de las Entrevistas a Profundidad también se puede explorar a la opinión pública, pero son los márgenes de error tan grandes para muestras tan pequeñas, que considerar esa desafortunada idea es perder el tiempo, sin dejar de reconocer que se pueden encontrar hipótesis a través de ellos que deben probarse aplicando encuestas. Dicho lo anterior centraremos la atención en la encuesta, dejando a los Focus Groups y a las entrevistas a profundidad para aquellos que gusten perder el tiempo, su dinero y sus elecciones. ¿Por qué abordar el tema de los errores en las encuestas? Es claro que la razón es el desprestigio global que se han ganado a pulso. Desde la elección presidencial de España en 2004 hemos tenido una serie de fracasos monumentales, que en parte se explican por sus errores y en parte porque el objeto de estas, la opinión pública, ha cambiado de manera radical en su dinamización, a grado tal que aún si no se cometieran errores en su realización correrían la misma suerte que hasta hoy han tenido. Dicho de otro modo, las encuestas tienen un problema estructural que debe ser atendido. La historia de las encuestas hasta 1948, cuando se formalizaron por Paul Lazarsfeld y Samuel Stouffer, ha sido una serie de ideas maravillosas para su tiempo, pero insostenibles en la actualidad. Veamos: Las encuestas surgen como una idea de Carlos Marx en tiempos de la Comuna de París (1871), con el propósito de conocer las condiciones laborales de la clase trabajadora de entonces. Fue la primera vez que se trató de indagar la condición de opinión de un amplio sector social, basados en una muestra de ellos. A principios del siglo pasado la revista Reader’s Digest les dio un sentido político electoral con pretensiones predictivas. El marco muestral eran los suscriptores de la revista, el directorio telefónico y la lista de propietarios de automóviles. En 1936 George Gallup cuestiona la metodología de la revista y propone un esquema que se conoce como muestreo de cuotas. Para representar mejor a la población, se da un balance proporcional en la muestra de acuerdo a algunas características socio-demográficas tales como raza, sexo, edad, nivel educativo, nivel económico, etc. Esto se evidenció claramente superior al lograr anticipar el triunfo de Franklin Delano Roosvelt a quien el Reader’s Digest daba por perdido. Pero en 1948 fallan las encuestas de Gallup, que mostraron sus deficiencias metodológicas al pretender caracterizar a las poblaciones dando balance en la muestra a unas cuantas características socio demográficas, y surgen con Paul Lazarsfeld y Samuel Stouffer las encuestas basadas en el muestreo aleatorio, que consiguen ese balance deseado para todas las variables, identificadas o no. La magia de la aleatoriedad y con ella de la ciencia estadística, se instauran entonces como las bases sólidas científicas que nos dan hoy, con sus márgenes de error y niveles de confianza, la idea más razonable de cómo era la opinión pública (subrayo el tiempo pasado), de manera extrañamente promediada, durante los días del trabajo de campo. Llegamos entonces al error fundamental de las encuestas: Quienes las realizan en general no tienen un nivel adecuado de conocimientos estadísticos, que debe ser de al menos maestría en esta disciplina. El descuido en la aleatorización es el error fundamental. Hay también errores elementales de juicio, como realizar el trabajo de campo en horas de oficina, cuando no se encuentran en sus domicilios representados de manera adecuada todos los sectores sociales. El trabajo de campo debe realizarse cuando se cumpla que podamos encontrar a todo tipo de personas, y estén con la mejor disposición a responder, y eso varía de población a población, pero es común que sea entre semana de las 18 a las 21 horas y en fines de semana de las 11 a las 15 horas. Otro error es pretender que la gente que encontramos en los lugares públicos representa a toda la población, por más que se fuerce un esquema de cuotas. Un error más es hacer cuestionarios extensos que restan calidad a las respuestas y no pocas veces la generación de cuestionarios incompletos. La nueva fantasía es la pretensión de que a través de las redes sociales podemos asomarnos a la opinión pública, porque la muestra no queda determinada de manera aleatoria sino como consecuencia de la voluntad de las personas en las redes dispuestas a contestar, aun suponiendo que no se registren irregularidades de personas que fraudulentamente responden varias veces. Lo que tenemos y hemos tenido a lo largo de todos estos años no han sido muestras estrictamente aleatorias sino, en el mejor de los casos, medio desparramadas, pero así funcionaron muy bien durante años. Luego entonces, aunque es claro que estos errores deben ser corregidos, hay un problema más fuerte que debe ser reconocido, y éste es el cambio en el dinamismo de la opinión pública que no solo magnifica las consecuencias de los referidos errores, sino que tiene la capacidad de hacer fallar los pronósticos aunque los errores no se cometan. George Box, un célebre estadístico inglés, afirma que al conocimiento nuevo se llega cuando ocurre algo extraordinario ante los ojos de un observador informado. Les cuento una historia que tiene que ver con el dinamismo de la opinión pública antes referido con esta aseveración de Box: Corría el año de 1993, llevaba entonces nueve años de ser encuestador. Servía en tal calidad a mi segundo cliente gobernador, y al propio tiempo atendía a las industrias de México apoyándolas en sus problemas de Calidad y Productividad, aplicando las técnicas de Control Estadístico de Calidad y otras ramas de la Ciencia Estadística. Un problema con los maestros de Nuevo León por asuntos de seguridad social estalló, y era necesario conocer la opinión de la gente sobre el tema. Para un sector de la sociedad era una violación severa a los derechos adquiridos por los maestros, mientras otros consideraban justas las modificaciones al estatuto laboral. La sociedad se polarizó, las protestas magisteriales eran ingeniosas y apoyadas por padres de familia y alumnos, las bandas de guerra precediendo las manifestaciones les daban un toque bélico y estético; las opiniones encontradas de sectores conservadores, ampliamente difundidas por los medios masivos de comunicación, les hacían contraste generándose una inestabilidad en la conciencia colectiva nuevoleonesa que no habíamos visto en muchos años. El recién fallecido Zygmunt Bauman habría dicho que se licuó. De pronto me vi en la condición de entregar mis reportes al gobernador con la plena conciencia de que eran falsos, de que el estado de ánimo que de los ciudadanos le informaba ya no correspondía a ese momento actual de entonces, porque posterior al período del trabajo de campo habían ocurrido eventos que hacían insostenible la pretensión de no haber modificado a la opinión pública. Debíamos entonces hacer más encuestas, quizá una cada día, pero los costos se dispararían más allá de lo razonable. La experiencia en la industria fue entonces la clave para desarrollar una solución adecuada.
Finalmente el Control Estadístico de Calidad se desarrolló por Walter A. Shewhart hace casi un siglo, para atender el dinamismo que adquirieron los procesos de producción de una manera rápida y económica, con muestras pequeñísimas pero intermitentes. Había que adecuar algunas cosas tanto en el aspecto filosófico como de criterios para declarar alertas y advertencias, y había que hacerlo de modo que la encuesta quedara como un caso particular de la solución, para cumplir con el precepto de que el nuevo paradigma debe contener al anterior. Así surgen los Monitoreos SABA (el corazón de nuestro Sistema de Previsión y Evaluación Política para la Estrategia y la Táctica) que son una adecuación los Diagramas de Control Estadístico de Calidad atendiendo lo anteriormente mencionado.
A partir de entonces aplicamos nuestra metodología en todos los estudios que nos contrataban pretendiendo encuestas. Finalmente dábamos a nuestros clientes las encuestas que solicitaban, pero adicionalmente los Monitoreos, los Prontuarios Políticos con sus hipocentros y anti-hipocentros, las Cartas de Navegación Política con sus fortalezas y debilidades sólidas y sectores líquidos, y una tarjeta para el cliente que podía ser Presidente Municipal, Gobernador o Candidato.
Mientras esto ocurría en Monterrey como una curiosidad metodológica, las encuestas y los encuestólogos disfrutaban de un prestigio muy sólido que dio sustento a decisiones importantes tanto políticas como mercadológicas. Era la época de oro del gremio.
Pero con el nuevo milenio se empezó a observar el raro fenómeno de que fallaran, cada vez con más frecuencia, en procesos político electorales, todas o casi todas las encuestas.
La explicación de este aparente contrasentido es que las predicciones dependían de la condición, no explícita, de que la opinión pública cambiaba lentamente a través del tiempo, permitiendo en consecuencia que resultados que correspondían siempre a varios días previos (el período del trabajo de campo) resultaran vigentes al momento de presentar los resultados de las encuestas, y las más de las veces, al día de la elección, obteniéndose así aquellas predicciones exitosas que contribuyeron a la pretensión de que las encuestas eran nuestras modernas “bolas de cristal” para ver el futuro.
Con el nuevo siglo llegó una masificación de la telefonía celular y del uso de la red de internet, transformando a cada persona en transmisor de información, produciendo como consecuencia natural que grandes cantidades de personas en cuestión de horas compartan la misma información, generando por ende que aquella condición no advertida de que la opinión pública cambiaba lentamente ya no siguiera vigente. Esta condición de mayor complejidad, advertida con antelación por Niklas Luhmann, se hacía ahora presente como algo cotidiano.
Quizá por no haber sido advertido entonces con claridad, el fenómeno de la variación en la opinión pública, es que ahora tampoco se advierte que cada vez se hace más rápido el cambio en la opinión pública, y que como consecuencia las encuestas de hoy nos informan casi siempre de condiciones pasadas que ya no están vigentes y que tampoco estarán vigentes en general en el futuro. Justo por esta nueva condición en la movilidad de la opinión pública es que vivimos hoy la debacle de las encuestas.
La consecuencia de no advertir esta nueva condición de movilidad de la opinión pública, es que todas las alternativas de solución que se han dado arrojan resultados aún peores que los que obtendríamos haciendo las encuestas como siempre se habían hecho. En la industria este fenómeno está claramente identificado. Cuando un esquema está agotado y en lugar de salir de él insistimos en hacerle variantes, los resultados que obtenemos son aún peores, y se conoce esto como Tampering.
Es difícil aceptarlo, incluso por razones sentimentales, pero algo que debemos admitir es que las encuestas ya no son adecuadas para seguir la evolución de los procesos político-electorales y de no pocos fenómenos sociales en general. Resulta entonces que aquella condición especial en Monterrey en 1993 es ahora una condición general. Que la opinión pública se dinamizó y que nuestra solución, aquella curiosidad metodológica, con una madurez de ya 24 años, es una alternativa viable, como lo demuestran nuestros resultados consistentes durante todos estos años.
Nuestro Sistema de Previsión y Evaluación Política para la Estrategia y la Táctica de SABA, que rescata lo valioso de la encuesta pero le da un nuevo dinamismo acorde a los nuevos tiempos, ha demostrado una clara mejor condición predictiva, a más de ser orientadora durante los procesos para que los usuarios sustenten mejor sus decisiones en el propósito de alcanzar el triunfo electoral, mejorar su condición de fuerza política o simplemente mejor entender el fenómeno social de su interés para sustentar decisiones.
La más grave consecuencia del derrumbe de las encuestas es que se derrumba también el análisis político, da tristeza que las mentes más lúcidas digan o escriban insensateces, como consecuencia de fundamentar sus juicios y apreciaciones con base en encuestas desactualizadas.
Se obsoletizan también los no pocos programas académicos que se fundamentan en ellas, y han generado los encuestólogos un grave daño a los actores políticos y a la sociedad en general, que hoy se encuentran agraviados y molestos con los encuestadores.
El nuevo paradigma que hemos generado abre un campo nuevo también para el análisis político en los ámbitos de la sociología, la psicología social y en general en todas las ramas de la ciencia social. En el futuro tendremos, de manera generalizada, sí otro tipo de encuestas, pero también otro tipo de análisis político y social, que seguramente serán muy similares a los que ya se hacen hoy, de manera pública, para el estado de Nuevo León y para el entorno nacional. Para ello nos dimos a la tarea de capacitar, en la comprensión de nuestra metodología, a tres analistas políticos. Quisiéramos que hubiera más, pero en general nuestra intelectualidad se ha resistido a abandonar una zona de confort que los desprestigia cada día más.
Hace veinte años estuve justo aquí, en el ITAM, participando también en una mesa redonda sobre el ema. Les advertí de estos riesgos, los urgí a ver más allá de la encuesta política y no encontré más que el silencio y de algún modo fui condenado por el gremio al ostracismo.
Hoy estoy aquí de nuevo pero no en condición del encuestador que era entonces, sino en mi calidad de Cartógrafo Político, que es el nombre que le hemos dado a nuestra condición profesional. Para tener esta condición es necesario contar con título de Maestría en Estadística, estar versado en Control Estadístico de Calidad y haber pasado por una residencia de un año en nuestra empresa.
Nosotros no somos parte de la debacle de las encuestas. No jugamos a adivinar el futuro sino a construirlo, apoyando a nuestros clientes en la detección temprana de riesgos y oportunidades para sustentar la mejoría en sus condiciones de fuerza. Le damos sentido a la recomendación de Nicolás Maquiavelo de anticipar oportunamente los desórdenes, para que se puedan remediar con facilidad.
Hace veinte años el mundo era de los encuestadores; hoy están derrotados y desprestigiados. Desesperados ante lo que se avecina y eso no me alegra. Algunos se han molestado con mi franqueza durante estos años, pero nunca ha habido mala voluntad, sino el cumplimiento puntual de mi compromiso como académico. Hemos incluso desarrollado un software, muy próximo a comercializarse, para que sin mayores problemas las compañías encuestadoras transiten hacia su reconversión metodológica. Mientras eso ocurre les digo, con el cariño de siempre, que hace veinte años no me escucharon, y que hoy espero que tomen, para su bien, los siguientes consejos:
- Contraten a la brevedad a una persona con Maestría en Estadística y respétenlo. No le pidan que modifique los resultados que obtenga porque les va a renunciar.
- Cuiden como lo más importante la aleatorización de las muestras.
- Sean racionales en cuanto a los horarios de los trabajos de campo.
- Hagan sus trabajos de campo dividiendo el total de la muestra en cuatro o más partes iguales para el trabajo de cada día, de modo que cada una de sus partes sea en sí, una muestra aleatoria de la población bajo estudio. De este modo le quitarán lo extraño al promedio, y el resultado será exactamente la opinión promediada durante los días del trabajo de campo.
- Realicen un monitoreo tipo tracking de los resultados diarios, para que detecten si hay estabilidad durante el período del trabajo de campo. De ser así su encuesta será confiable, en caso contrario deberán infórmaselo al cliente para que tome las providencias correspondientes, tomando en cuenta que aunque el margen de error es mayor, ante un escenario inestable es más adecuado tomar decisiones con base en el último punto del monitoreo, que con base en el resultado promediado que es la encuesta. Olvídense de jugar al futuro, esa es una responsabilidad que los politólogos deben asumir. Los Cartógrafos Políticos “predecimos” el pasado, no el futuro.