SMA séance 6 : les écarts, et ce qu’on fait quand ça ne marche pas

Cinq leviers dans l’ordre, un test à la fois, et une décision par constat

Où nous en sommes

Vous avez une campagne complète sur le papier : des audiences, des formats, des créations, un budget chiffré. Il manque la partie que le jury interroge le plus, parce que c’est celle qui distingue un exécutant d’un responsable.

Une campagne qui atteint ses objectifs ne prouve rien : elle peut avoir eu de la chance. Ce qui se juge, c’est ce que vous faites quand elle ne les atteint pas.

Ce que vous saurez faire en fin de séance

• Construire un tableau d’écarts qui conduit à des décisions, et non un tableau de constats
• Actionner les cinq leviers dans l’ordre, et dire pourquoi cet ordre
• Concevoir un test A/B qu’on peut défendre, avec sa règle d’arrêt écrite d’avance
• Reconnaître les trois erreurs qui invalident un test
• Répondre à « pourquoi n’avez-vous pas augmenté le budget ? »

Reprise : ce que vous devez avoir gardé

Cinq questions, sans notes.

1. Quelles sont les trois hypothèses d’une simulation budgétaire ?
2. Le taux de conversion tombe de moitié : que devient le coût par acquisition ?
3. Pourquoi augmenter le budget ne fait-il pas baisser le coût par acquisition ?
4. Filtrer et segmenter : la différence, en une phrase.
5. Quelle est la question que vous n’avez pas su trancher la dernière fois ?

La cinquième est la vraie entrée en matière. Elle a été demandée en fin de séance 5, et les meilleures séances d’optimisation partent de là.

1. Le tableau d’écarts

1.1 Sept colonnes, et la dernière est le travail

C’est le tableau attendu dans vos recommandations, et trois critères de la grille du jury portent dessus : l’écart mesuré, la cause identifiée, l’action décidée.

À retenir. Les objectifs de la deuxième colonne ont été décidés pour cette campagne. Ce ne sont pas des normes de marché, et il n’en existe pas d’universelles. Un objectif se fixe à partir des données du compte, du secteur et de la marge, pas d’un article lu quelque part.

1.2 Ce qui distingue un tableau évalué d’un tableau ignoré

Les cinq premières colonnes se remplissent seules, en recopiant l’interface. Les deux dernières demandent un jugement, et ce sont les seules qui comptent.

La cause probable doit être probable. « Mauvaise performance » n’est pas une cause. « Fréquence à 4,2 sur une audience de 30 000 personnes » en est une, parce qu’elle explique le mécanisme.

L’action corrective doit être réaliste et chiffrée. « Améliorer la création » n’engage rien. « Produire deux nouvelles accroches et les tester pendant dix jours sur la même audience » engage un coût, un temps et une mesure.

1.3 Un écart positif est un constat, pas une victoire

Le coût par acquisition est meilleur que l’objectif : très bien. Deux questions se posent quand même, et un jury les pose.

Était-ce le bon objectif ? Un objectif atteint trop facilement était mal fixé, et il n’a rien piloté.

Que fait-on de cette marge ? Un écart favorable est une ressource : elle permet de monter le budget, ou de tester autre chose. Ne rien en faire, c’est la perdre.

2. Les cinq leviers, dans l’ordre

L’ordre n’est pas décoratif : il va du plus fort effet au plus lent, et du moins coûteux au plus engageant.

Levier 1, les créations

C’est celui qui produit le plus d’effet, et de loin. Une nouvelle accroche peut changer le taux de clic du simple au double, là où un réglage d’enchères le déplace de quelques pour cent.

On y teste : un nouveau visuel, un autre format, une accroche différente. Une variable à la fois, sur un volume et une durée décidés avant le lancement.

Levier 2, les audiences

Exclure ce qui ne performe pas, tester une audience similaire de plus, resserrer ou élargir, ajouter les exclusions qui manquaient.

Attention à une chose : élargir une audience pour faire baisser le coût pour mille fait souvent monter le coût par acquisition, parce qu’on va chercher des gens moins concernés. C’est le même piège qu’à la séance 5.

Levier 3, le budget et les enchères

Ajuster progressivement, en surveillant l’état d’apprentissage : une modification brutale relance cette phase et l’on repart de zéro.

Réduire sur ce qui ne marche pas plutôt qu’augmenter partout. Et changer de stratégie d’enchères quand le coût par acquisition est trop instable, plutôt que de subir sa variation.

Levier 4, les placements

Analyser les performances par placement, et n’en retirer un qu’après avoir vérifié trois choses : le volume, la qualité, et le coût marginal.

Un placement qui affiche un coût par acquisition élevé sur trente conversions n’est pas jugeable. Couper trop tôt sur un petit volume est l’erreur la plus fréquente de ce levier.

Levier 5, la page d’arrivée

C’est le plus lent, le plus coûteux, et souvent celui qui explique tout.

La cohérence entre la promesse de l’annonce et ce qu’on trouve en arrivant, le temps de chargement réel sur mobile, la simplicité du parcours jusqu’à la validation.

Le piège. Le levier 5 n’est presque jamais dans les mains du responsable de campagne. C’est pourtant lui qui porte le taux de conversion, celui dont la sensibilité montrait qu’il double le coût par acquisition quand il tombe de moitié. Savoir le dire, et à qui, fait partie du métier.

3. Le test A/B, et ce qui l’invalide

3.1 Les six étapes

1. Une hypothèse, formulée avant : « un carrousel obtient plus de clics qu’une image simple sur l’audience froide ».
2. Une seule variable : le format, ou le texte, ou l’audience. Jamais deux.
3. Un volume suffisant, calculé selon la métrique observée, sa variabilité et l’écart minimal qui vous intéresserait. Il n’existe pas de seuil universel.
4. Une durée planifiée, assez longue pour couvrir les cycles utiles, et décidée avant.
5. Une métrique de décision, choisie avant : taux de clic, coût par acquisition, ou retour sur dépenses. Une seule.
6. Une décision, appliquée, et un apprentissage documenté.

3.2 Les trois erreurs qui invalident tout

Arrêter dès qu’une variante passe devant. C’est l’erreur la plus fréquente et la plus coûteuse. Sur de petits volumes, les deux variantes se dépassent l’une l’autre plusieurs fois par jour. Arrêter au bon moment donne toujours le résultat qu’on espérait, et ce résultat ne vaut rien.

Changer deux choses à la fois. Un nouveau visuel et une nouvelle accroche : si ça marche, vous ne savez pas lequel des deux a marché, et vous ne pouvez pas le réutiliser.

Changer la métrique de décision après coup. Le taux de clic monte mais le coût par acquisition monte aussi : celui qui avait annoncé le coût par acquisition doit conclure que le test a échoué. Basculer sur le taux de clic parce qu’il est flatteur est une faute professionnelle, et un jury la repère.

La méthode. La règle d’arrêt s’écrit avant de lancer. Une phrase : « je décide au bout de X jours ou de Y conversions, selon ce qui arrive en premier, sur le coût par acquisition ». Écrite avant, elle protège de soi-même. Écrite après, elle ne protège de rien.

Atelier 1, le tableau d’écarts de Pantaï

En binôme, sur le jeu de résultats fourni et sur votre simulation de la séance 5.

1. Remplissez les cinq premières colonnes pour vos cinq indicateurs. C’est mécanique, faites-le vite.
2. Écrivez la cause probable de chaque écart négatif. Une cause qui explique un mécanisme, pas un jugement.
3. Écrivez l’action corrective, avec son levier, son coût approximatif et sa durée.
4. Ordonnez vos actions : laquelle en premier, et pourquoi celle-là.
5. Pour votre écart favorable, dites ce que vous faites de la marge.

Le point 4 est celui qui se juge. Trois actions dans le désordre valent moins qu’une seule action justifiée en premier.

Version courte : trois indicateurs au lieu de cinq, et les points 2, 3 et 4.

Pour ceux qui vont vite : écrivez la phrase que vous diriez au client dont le coût par acquisition est atteint mais dont la fréquence sature. Les deux constats vont dans des sens opposés, et c’est le cas le plus intéressant.

4. Ce qui se dit en soutenance

Trois questions tombent presque à chaque fois sur cette partie. Elles se préparent.

4.1 « Pourquoi n’avez-vous pas augmenté le budget ? »

Vous savez y répondre depuis la séance 5 : le coût par acquisition est un rapport, augmenter le budget ne le fait pas baisser, et souvent l’aggrave par élargissement de l’audience.

Ajoutez la suite, qui montre le raisonnement complet : « en revanche, sur la campagne dont le retour sur dépenses dépasse l’objectif, monter progressivement se défend, parce que la marge existe et qu’elle est mesurée ».

4.2 « Comment savez-vous que ce test est concluant ? »

La bonne réponse contient trois éléments : la règle d’arrêt écrite avant, le volume atteint, et la métrique choisie avant. Si l’un des trois manque, la réponse honnête est « je ne le sais pas avec certitude », et elle vaut mieux qu’une affirmation.

4.3 « Qu’auriez-vous fait avec le double du budget ? »

C’est une question de cadrage, pas de calcul. Elle teste si vous savez que le budget n’est pas le levier principal.

Une réponse qui tient : « pas la même chose deux fois plus. J’aurais gardé la même structure, augmenté la réserve de test, et exploré une audience de plus, parce que ce qui limite cette campagne n’est pas le budget mais la connaissance de ce qui marche ».

Atelier 2, le plan de test

En binôme. Un seul test, entièrement défini.

1. Formulez l’hypothèse, en une phrase qui contient la variable et l’effet attendu.
2. Nommez la variable unique, et dites ce que vous ne changez pas.
3. Écrivez la règle d’arrêt : durée, volume, et ce qui arrive en premier.
4. Choisissez la métrique de décision, une seule, et justifiez-la en une phrase.
5. Écrivez les deux conclusions possibles : ce que vous ferez si l’hypothèse est confirmée, et ce que vous ferez si elle est infirmée.

Le point 5 est le plus révélateur. Un test dont l’infirmation ne change rien n’était pas un test : c’était une justification.

Version courte : points 1, 2 et 3.

Synthèse

1. Un tableau d’écarts se juge sur ses deux dernières colonnes : la cause et l’action.
2. Une action corrective a un levier, un coût et une durée. Sinon c’est une intention.
3. Les cinq leviers vont du plus fort au plus lent. Les créations d’abord, la page d’arrivée en dernier.
4. Un test change une seule variable, et sa règle d’arrêt s’écrit avant.
5. Changer la métrique de décision après coup est une faute professionnelle.
6. Un écart favorable est une ressource. Ne rien en faire, c’est la perdre.

Trois mots pour la soutenance

Le brief de l’épreuve peut être remis entièrement en anglais, et le jury note la justesse de votre prise de parole autant que le vocabulaire. Trois termes par séance, dits à voix haute avant de sortir : un mot qu’on n’ose pas prononcer est un mot qu’on évite, et l’évitement s’entend.

Travail à préparer pour la séance suivante

La séance 7 est une mise en situation complète, en groupes, avec restitution orale. Aucun apport nouveau.

Apportez le dossier complet produit depuis septembre : plan d’audiences, plan de formats, créations, simulation budgétaire, tableau d’écarts, plan de test. C’est votre matière, et vous en aurez besoin.

Relisez la fiche de méthode, les sept étapes chronométrées. Elles structurent la journée.

À lire aussi sur le site

• Budget, reporting, optimisations, soutenance : la partie optimisation, telle qu’elle est attendue le jour de l’épreuve.