Critique élémentaire de la méthode

Il ne s’agit pas de revenir en détail sur la critique des sondages en général, qui varie selon les caractéristiques des sondages considérés ; nous renvoyons pour ces aspects à l’article de Patrick Champagne « En finir avec les faux débat sur les sondages ».

Mais une critique élémentaire suffit à nuancer, sinon à discréditer, les interprétations des résultats des sondages électoraux récents dont la grande majorité des médias nous abreuvent, et auxquels la grande majorité des commentateurs s’abreuvent eux-mêmes. En effet, en regardant la page wikipédia qui recense les principaux sondages électoraux menés depuis janvier dernier, on constate que la seule conclusion qu’il soit possible de tirer est : dans la période la plus récente, quatre candidats semblent recueillir plus d’intentions de vote que les autres [2]. Au-delà de cette donnée à peu près factuelle, le commentariat s’égare dans des interprétations qui méprisent les limites de ce que ces sondages peuvent réellement dire.

Premièrement, jusqu’au 18 mars et l’officialisation de la liste des candidats, les candidats proposés aux sondés changent régulièrement, et nombre de ces sondages proposent d’ailleurs aux sondés de déclarer leur intention de voter pour … quelqu’un qui ne sera finalement pas candidat, comme Yannick Jadot, François Bayrou, Alain Juppé ou Rama Yade. Analyser l’évolution des scores de tel ou telle candidat ou candidate depuis le mois de janvier ou février est donc un exercice rendu totalement incertain par la variété des adversaires qui lui ont été opposés sur cette période.

Mais surtout, un très grand nombre d’articles et d’émissions [3] rapportent et analysent des variations du score des candidats, alors que ces variations n’existent peut-être pas ! Et on peut être saisi de vertige devant le nombre de journalistes et de commentateurs autorisés qui détaillent et discutent de résultats à la portée insignifiante.

Un exemple, parmi de très nombreux autres : dans un article de La Dépêche on peut lire que « Jean-Luc Mélenchon confirme sa dynamique » et que la « baisse se prolonge pour Marine Le Pen  », avec des scores variant à la hausse ou à la baisse de 1%. Les scores du sondage le plus récent sont inclus dans la marge d’erreur du sondage précédent [4]. Il est bien sur totalement inepte de discuter de l’évolution des « scores » des uns et des autres à l’intérieur de la marge d’erreur. De même, lorsque deux candidats (ou plus) ont des « scores » dont les marges d’erreur se chevauchent, dire qu’un tel est devant l’autre n’a aucun sens. Mais il aura fallu attendre que quatre candidats voient leurs scores se chevaucher de cette façon pour que cette incertitude soit évoquée. Par exemple dans un article du Monde (réservé aux abonnés), où l’on peut lire que « compte tenu de la marge d’erreur […], quatre candidats sont actuellement dans un mouchoir de poche, sans qu’il soit encore possible de déterminer les deux finalistes.  » Ce qui n’empêche pas l’auteur de cet article de juger que l’un de ces candidats « confirme » tandis qu’un autre « plafonne ». Mystères de la sondologie ... De tout cela on retiendra que comprendre ce que peut dire un sondage n’est vraisemblablement pas nécessaire pour entreprendre de le faire parler.

La « course électorale », mythologie pour sondomaniaques intoxiqués

Faisant mine de prendre au sérieux la déroute des sondages lors du référendum britannique sur le Brexit, des élections présidentielles américaines et de la primaire de la droite en France [5], les commentateurs appliquent une recommandation explicitée dans un article du site Europe1.fr : « Ce qui importe, au final, c’est toujours la lecture que l’on fait des sondages. Et là, experts et sondeurs disent la même chose : ne regardez pas la photo, ni même le chiffre. Ce n’est pas une prédiction, c’est une tendance, c’est l’évolution qui a du sens. Il faut ainsi regarder les courbes, sur plusieurs jours ou plusieurs semaines. » L’absence de portée réelle des variations constatées, compte-tenu des éléments évoqués plus haut, n’empêche pas les commentateurs sondagiers de se répandre au kilomètre, épiloguant sans fin sur les variations littéralement vides de sens qu’ils aperçoivent entre le dernier et l’avant-dernier sondage, ou parfois sur des périodes plus longues : ce qui ne résout rien – voire complique encore les choses, notamment du fait de la variété des candidats proposés d’un sondage à l’autre jusqu’au mois de mars.

Sans renoncer au commentaire des sondages, certains médias de presse écrite voire audiovisuels ont interrogé et comparé les programmes des candidats. Il reste que domine dans la plupart des médias une présentation « dynamique » qui montre la campagne comme une course de chevaux, pour reprendre une observation faite dès 1980 [6]. Et bientôt quarante ans plus tard, le vocabulaire utilisé relève encore massivement du registre hippique.

Dès le 21 février, soit deux mois avant le scrutin, et un mois avant l’officialisation des candidatures, l’Obs met en ligne un article titré « Sondage. Fillon repasse devant Macron, Mélenchon rattrape Hamon ».

Dans la période récente, le rythme de ce type de publication s’est nettement accéléré. Par exemple, on apprend le 27 mars qu’ « Emmanuel Macron […] devance toujours Marine Le Pen ». Le 31 mars, Jean-Luc Mélenchon « a déjà dépassé son frère ennemi Benoît Hamon et, cette fin de semaine, [...] il fond sur François Fillon ». Le 3 avril, « Le Pen et Macron s’accrochent toujours ». Le 5 avril, un sondage « voit François Fillon gagner un point en une semaine […]. Mais il est talonné par Jean-Luc Mélenchon », et le lendemain, le 6 avril, « Jean-Luc Mélenchon est sur une très bonne dynamique […]. [Il] se rapproche non seulement de François Fillon mais aussi des deux premiers, Emmanuel Macron et Marine Le Pen ». Logiquement, le 7 avril, « la cote de Mélenchon monte en flèche chez les bookmakers anglais  », et le 8 avril, « les favoris [...] conservent 4-5 points d’avance, mais perdent un peu de terrain ». Le 9 avril « stable, François Fillon [...] voit Jean-Luc Mélenchon […] le rattraper à grande enjambées  ». Le 11 avril, « Le Pen et Macron toujours en tête, devant Mélenchon et Fillon  ». Et le 14 avril, on apprend à la fois qu’ « un nouveau sondage donne Le Pen et Macron à égalité et Mélenchon juste derrière  », que « les quatre favoris sont dans la marge d’erreur » ou « dans un mouchoir de poche », et également que ces favoris « s’effritent  » [7].

À la fin mars, deux candidatures inattendues avaient été étudiées par un sondage rapporté par lefigaro.fr : « Présidentielle : l’indécision et le vote blanc, en tête dans les sondages ». Ce niveau d’indécision, qui fragilise encore les interprétations possibles, sera bien sûr discuté, et même qualifié d’historique, mais le commentaire sondagier ne s’embarrasse pas de tenir compte de ses propres réflexions : un sondage, même s’il ne dit rien, ça doit parler !

Les publications les plus intoxiquées sont sans aucun doute celles qui ont décidé de rendre compte des « rolling » : des sondages quotidiens qui se présentent comme des sondages « en temps réel ». Le site LesEchos.fr met quotidiennement à jour les infographies donnant les derniers résultats, et livre un article « d’analyse » hebdomadaire. Mais c’est bien sûr Paris Match, hebdomadaire entièrement dopé à la personnification et au sensationnalisme, qui va le plus loin, avec la publication quotidienne de ces résultats et la présentation grandiloquente, notamment sur twitter, de variations insignifiantes à grand renfort de « chutes », « toboggans » et « dynamiques », dont l’absurdité a été pointée par un article d’ « Arrêt sur images » (réservé aux abonnés). Le tout avec un petit clin d’œil au pluralisme, puisqu’il faut bien faire état de candidatures qui recueillent des intentions de vote plus faibles, et qui n’intéressent donc pas tellement Paris Match : dans l’infographie, les scores de quatre « petits candidats » (Nathalie Arthaud, Jacques Cheminade, Jean Lassalle et Philippe Poutou) sont représentés avec la même couleur, il est donc impossible de les discerner les uns des autres.

Et si les sondages étaient exacts ?

Les nombreux articles qui posent la question de la fiabilité des sondages ou qui prétendent expliquer aux lecteurs « comment bien lire un sondage » exposent le plus souvent les choses de la façon suivante : « Un sondage n’est pas là pour donner une prévision sur un scrutin futur. Il est là pour présenter un rapport de force et donner une photographie de l’opinion à un "instant T" » [8]. Oublions donc un instant que la photo est extrêmement floue, et que l’on compare parfois des prises de vue très différentes, pour nous intéresser à la façon dont ces photos sont « analysées ».

Régulièrement, la présentation de ces sondages et de leur « dynamique » transmet implicitement l’idée que l’évolution des intentions de vote est liée essentiellement, voire uniquement, à certains événements médiatiques de la campagne : un positionnement stratégique contenu dans telle ou telle petite phrase tenue lors d’une interview, d’un meeting, ou d’un débat télévisé, des révélations d’affaires judiciaires, ou encore, plus rarement, le talent d’orateur de tel ou telle candidat ou candidate.

Ainsi, le JT de 20h du 10 avril de France 2 consacre un sujet à la façon dont Jean-Luc Mélenchon est « désormais la cible de tous ses principaux adversaires », puisque les sondages lui attribuent des intentions de vote de plus en plus hautes. Durant une minute trente, on apprendra qu’Emmanuel Macron « l’attaque sur son rapprochement avec la Russie », que Marine Le Pen le « vise aussi […] parce qu’il tente de lui ravir le vote des classes populaires », et que François Fillon « ironise sur sa volonté de nationaliser massivement des entreprises ». Le tout illustré par les déclarations de meetings ou d’interviews des trois candidats. Une minute trente durant laquelle plusieurs sujets complexes sont évoqués, mais un seul traité : les positions stratégiques des différents candidats en réaction aux derniers sondages. Le lendemain, le JT de 20h de TF1 aborde le sujet de la même façon : « Ces derniers jours [François Fillon] oublie Emmanuel Macron, et s’en prend davantage à Jean-Luc Mélenchon  », « Emmanuel Macron reste prudent, refuse le statut de favori et croise les doigts », « pour [Marine Le Pen] le match ne se joue pas à deux, trois ou quatre : c’est elle contre tous les autres. », etc.

Dans cette perspective, le processus de décision aboutissant à un choix de vote (ou d’abstention) est simplifié à l’extrême : les électeurs auraient plus ou moins choisi « leur » candidat dès le mois de janvier (quand ce n’est pas le mois d’octobre), et ce choix pourrait être modifié par les (re)positionnements stratégiques au cours de la campagne électorale, dont les médias sont le principal théâtre [9]. Ce modèle occulte donc totalement l’influence des expériences personnelles, dans la sphère privée ou professionnelle, des discussions publiques (réunions, débats) et privées (en famille, entre amis, au travail), de l’approfondissement de la connaissance de certains enjeux et des programmes des candidats… autant d’éléments connectés à la production médiatique qui les nourrit et dont ils déterminent pour partie la réception.

C’est pourquoi la grande partie de la production médiatique qui ne s’intéresse qu’à ces jeux stratégiques et à des sondages mesurant la « progression » ou la « régression » des joueurs, évacue doublement le débat politique sur les sujets de fond : une première fois en centrant toute la discussion sur les scores et leur évolution d’une semaine ou d’un jour sur l’autre et une seconde fois en n’évoquant même pas, ou si peu, le rôle que les sujets proprement politiques peuvent avoir dans la course qui les intéresse et dont ils débattent sans fin.

La quintessence de ce type de commérage éditorialistique se trouve dans l’édition du 10 avril dernier de l’émission « C dans l’air », soit 15 jours avant le premier tour. Où l’on apprendra, entre mille autres broutilles et élucubrations, que « quand on regarde les électeurs de la primaire d’Arnaud Montebourg, on voit qu’ils sont eux-mêmes assez partagés entre Hamon, entre Mélenchon, et entre Macron. Et donc Benoît Hamon n’a jamais réussi à récupérer tout l’électorat de la primaire » [10]. Voilà qui aidera les électeurs à forger leur opinion. Mais on n’en attendait pas moins de la célèbre émission affirmant « donner les clés pour comprendre la globalité d’un événement » [11].

La dynamique, la dynamique, la dynamique

Comme souvent, on trouvera le stade terminal de la vacuité sur les chaînes d’information en continu, où les éditorialistes sont invités à analyser la « dynamique » de tel ou telle candidat ou candidate.

Mais lorsqu’on regarde la politique en général, et la campagne présidentielle en particulier, avec des œillères qui offrent la stratégie électorale comme unique clé de compréhension et les intentions de vote comme mesure du succès de ces différentes stratégies, produire une telle analyse sans dire n’importe quoi peut être une gageure.

On peut se contenter ici d’un seul exemple, qui vaut d’être retranscrit in extenso pour le condensé de néant informationnel et même éditorial qu’il contient. Il s’agit de l’intervention de Soazig Kéméner, rédactrice en chef politique à Marianne, à qui on demandait d’expliquer « la dynamique de Mélenchon », le 9 avril sur BFMTV :

« Il y a plusieurs raisons, d’abord il y a une excellente campagne, on sait que c’est lui qui est parti le premier en campagne, au mois de février, il a refusé de participer à la grande primaire de la gauche que réclamaient certains. Il a senti qu’il pouvait se lancer, il n’a pas de parti derrière lui, il a créé son mouvement la France Insoumise, et il y a une dynamique qui s’est mise en route, ça c’est la première chose. Ensuite, il y a eu le moment Hamon, un choix de Benoît Hamon à la primaire de la belle alliance populaire, au début ça a été une mauvaise nouvelle pour Jean-Luc Mélenchon parce qu’il y a eu un semblant de petite dynamique Benoît Hamon, et puis Benoît Hamon n’a pas su prospérer sur cette dynamique. »

Certes la question posée est mauvaise, mais que dire de la réponse ? La dynamique vient de la survenue d’une dynamique, aussi bien que de l’essoufflement prématuré de la dynamique d’un adversaire…

Au terme de ce raisonnement, Soazig Kéméner en vient à la question du vote utile : « Le vote utile c’est quoi ? C’est un vote tactique, c’est-à-dire de dire que pour porter les idées de gauche c’est Jean-Luc Mélechon qui est le mieux placé aujourd’hui ». Il n’y a là aucun hasard : puisque l’élection est présentée à longueur de colonnes et d’émissions comme un jeu, une course dont les enjeux sont principalement stratégiques, il est logique que le vote lui-même finisse par être perçu sous un aspect essentiellement tactique, tel un pari sportif, encore une fois au détriment des véritables questions politiques, qui trouvent difficilement une place dans un espace médiatique saturé par ce type de discussions.

On peut donc dire que Guillaume Erner passe sous silence une partie importante de la critique des sondages lorsqu’il déclare, dans son émission « Les matins de France Culture » du 11 avril dernier, à l’adresse du sondeur Brice Teinturier [12] : « On accuse [les sondages] de tous les maux, et notamment de s’être lourdement trompés avec le Brexit, avec l’élection américaine, et également avec les primaires en France  ». Mais au-delà de ce que les sondages peuvent ou non révéler d’une campagne électorale en cours, il existe de bonnes raisons de critiquer l’utilisation médiatique qui en est faite, principalement par une éditocratie au sein de laquelle les sondologues et les politologues qui dirigent les instituts de sondages prennent toute leur place, particulièrement en période électorale. Ces raisons tiennent à la contradiction entre les prétentions habituelles du journalisme en démocratie (informer les électeurs pour permettre un vote éclairé) et le contenu concret d’un grand nombre d’articles et d’émissions (état des courses, analyse de la piste et tuyaux de turfistes).

Mais voyons tout de même, à titre documentaire, ce que Brice Teinturier répond à cette mise en cause :

« Écoutez, c’est je crois très excessif, parce que quand vous regardez par exemple l’élection américaine, eh bien le vote populaire, on le sait maintenant, a donné Hilary Clinton avec 3 millions de suffrages d’avance sur Donald Trump. Et les sondages du coup au niveau national étaient en réalité assez proches de la réalité, même si il y a eu des échecs dans des Ètats-clés, et que le mode de scrutin fait qu’il aboutit à la victoire de Donald Trump. Donc il ne faut pas confondre les effets dus au mode de scrutin et la mesure nationale, au moins d’une manière générale. Et puis sur la primaire, pardonnez-moi mais toute la montée en puissance de François Fillon a été repérée et dans les derniers jours, nous l’avons mesuré non seulement qualifié pour le premier tour mais en tête. On répète de manière un peu pavlovienne que les sondages se trompent toujours mais c’est inexact. »

Soit : les sondeurs américains avaient tout bon, mais personne n’a pensé à leur expliquer le fonctionnement du système électoral dans leur pays ; et les sondages sont plutôt justes dans les derniers jours avant le scrutin, ce qui nous autorise, dans les mois qui précèdent, à occuper un espace médiatique démesuré à l’aide de sondages aléatoires commentés jusqu’au délire.

Patrick Michel

Annexe - Quels sont les vrais résultats d’un sondage d’intention de vote ?

Les résultats des sondages d’intention de vote sont habituellement donnés sous la forme d’un chiffre unique : on dit que 20% des électeurs français déclarent leur intention de voter pour François Fillon dans le sondage BVA-La Dépêche publié le 14 avril. Plus rarement, on précise une marge d’erreur de 2 ou 3%. Cette façon de présenter les résultats n’est rigoureuse qu’en apparence.

En effet le principe de ces sondages est le suivant : si l’échantillon est représentatif de la population des électeurs français, alors on estime que les réponses qu’on obtiendrait en posant la même question à l’ensemble des électeurs sont proches de celles données par l’échantillon des sondés. Proches, mais avec un degré d’incertitude lié à l’extrapolation des réponses des sondés à l’ensemble de la population. C’est pourquoi le résultat donné sous forme d’un chiffre unique est trompeur : le résultat complet est un intervalle, qu’on appelle « intervalle de confiance à 95% », puisque selon les calculs statistiques, il y a 95% de chance que, dans le cas où l’on poserait réellement la question de l’intention de vote à tous les français en âge de voter, le résultat se situe dans cet intervalle. Ce qui est donc souvent présenté comme une « marge d’erreur » n’en est pas une : l’intervalle est le résultat même du sondage. La véritable « marge d’erreur » est bien connue : il y a 5% de chance que la réalité des intentions des votes des électeurs soit au-dessus ou en-dessous de l’intervalle de confiance à 95%.

L’expression « marge d’erreur » est donc mal choisie, et ce d’autant plus que nombre de commentaires sous-entendent, quand il ne le disent pas explicitement [13], qu’en tenant compte de la « marge d’erreur » on obtiendrait l’intervalle du score prévisible le soir du scrutin. Las, comme expliqué plus haut, l’intervalle de confiance donne une mesure des intentions de vote le jour du sondage, et l’incertitude est liée à l’extrapolation à la population des votants à partir d’un échantillon.