Le questionnaire en bref, puis la logique du test : une hypothèse, le test choisi selon la nature des variables, un résultat lu avec sa taille d'effet. Chi², tests t, ANOVA, corrélation et régression, sur vos données.
Votre base existe déjà : quelqu'un l'a collectée pour vous.
Quand l'information n'existe nulle part, comme ce que pensent vos clients, il faut la produire, et le questionnaire est l'outil le plus courant.
Sa construction, l'échantillon et les biais de formulation sont au cœur du cours d'études de marché de Charlotte Lécuyer : ici, on ne garde que ce qui change l'analyse.
Une échelle de Likert demande un degré d'accord, de 1 à 5 ou de 1 à 7.
Strictement, c'est une variable ordinale : rien ne dit que l'écart entre 2 et 3 vaut celui entre 6 et 7.
En pratique, les études la traitent souvent comme métrique, avec une moyenne, à partir de cinq ou sept échelons.
Ce choix se discute et s'écrit : il décide des tests que vous aurez le droit de faire.
Une question dont la bonne réponse est imposée repère ceux qui cochent au hasard.
Les répondants qui la ratent sont retirés avant toute analyse, et leur nombre s'écrit dans le rapport.
C'est un nettoyage, au même titre que les doublons de votre base : on documente ce qu'on retire et pourquoi.
Une question bivariée met deux variables face à face.
Celle qu'on cherche à comprendre est la variable dépendante, ou expliquée : le salaire, par exemple ; celle qui l'influencerait est la variable indépendante, ou explicative : le niveau du poste.
Le même salaire peut être expliqué dans une étude et explicatif dans une autre : c'est votre question qui fixe les rôles.
Un test part d'une hypothèse nulle, H0 : aucune différence, aucun lien.
L'hypothèse alternative, H1, dit qu'il y en a un.
On n'essaie jamais de prouver H1 : on regarde si les données sont assez éloignées de H0 pour la rejeter.
La p-value est la probabilité d'observer un écart au moins aussi grand que le vôtre si H0 était vraie.
Un exemple : on suppose qu'une pièce est équilibrée, c'est H0, et elle tombe 9 fois sur 10 sur pile.
Sur 10 lancers, il existe 2¹⁰ = 1 024 suites possibles de piles et de faces, toutes aussi probables.
Une seule donne 10 piles ; dix donnent exactement 9 piles, selon le lancer où tombe la face.
Au moins 9 piles : 11 suites sur 1 024, soit p = 11 ÷ 1 024 = 0,0107.
Environ une fois sur cent : c'est trop rare pour croire au hasard, et on soupçonne la pièce.
Si on la soupçonne dans les deux sens, on compte aussi 9 ou 10 faces : p = 22 ÷ 1 024 = 0,021.
C'est la différence entre un test unilatéral et un test bilatéral ; les logiciels font le second par défaut.
Sous 0,05, on rejette H0 ; au-dessus, on ne la rejette pas.
Ce n'est ni la probabilité que H1 soit vraie, ni une mesure de l'importance du résultat.
Le seuil de 5 % est une convention : on accepte de se tromper une fois sur vingt en rejetant H0 à tort.
Une p-value dit si un écart est probablement réel, pas s'il compte.
La taille de l’effet mesure l'écart lui-même, dans une unité qui ne dépend pas du nombre d'observations.
Reprenons la pièce : elle tombe sur pile 60 % du temps, au lieu des 50 % d'une pièce équilibrée.
L'effet, c'est cet écart de 10 points ; exprimé en unité standard, le h de Cohen vaut 0,20, tout juste au seuil d'un petit effet.
Il est le même quel que soit le nombre de lancers.
La p-value, elle, change : sur 10 lancers, 6 piles donnent p = 0,38 ; sur 100 lancers, 60 piles donnent p = 0,03 ; sur 1 000 lancers, 600 piles donnent une p-value d'environ un sur dix milliards.
Plus on observe, plus les caprices du hasard se compensent, et plus un petit écart devient impossible à lui attribuer.
Chaque test a sa mesure de l'effet : le V de Cramer pour le chi², le d de Cohen pour le test t, l'êta² pour l'ANOVA, le r pour la corrélation.
Chacune se lit avec des seuils usuels : petit, moyen, fort.
Avec vos milliers d'offres, presque tout sera significatif : c'est la taille de l'effet qui dit si le résultat mérite une décision.
Un test peut aussi passer à côté d'un effet réel, faute d'observations.
La puissance est la probabilité de détecter un effet quand il existe ; on vise d'habitude 80 %.
Le tableau donne le nombre d'observations nécessaire pour l'atteindre, selon le test et la taille de l'effet qu'on cherche.
Pas bon : 45 offres d'études commerciales et 21 de marketing digital suffisent à voir un écart fort de salaire, pas un écart moyen, qui en demanderait 64 par groupe.
Leur « pas de différence », plus bas, ne prouve donc pas que les deux métiers paient pareil.
Bon : télétravail et contrat se croisent sur 2 563 offres, bien au-delà des 785 qu'il faut pour détecter même un petit effet.
Le résultat du chi² est solide.
Le chi² compare des effectifs : la répartition observée dans un tableau croisé face à celle qu'on attendrait s'il n'y avait aucun lien.
Le test t et l'ANOVA comparent des moyennes : entre deux groupes pour le test t, entre trois ou plus pour l'ANOVA.
La corrélation mesure si deux variables varient ensemble ; la régression estime de combien l'une change quand l'autre bouge.
Chaque test a ses conditions d'application, à vérifier avant de lire son résultat.
Le chi² répond à une question : deux variables qualitatives sont-elles liées ?
Le télétravail dépend-il du contrat, le canal d'achat de la tranche d'âge, la marque choisie de la région ?
On le choisit quand les deux variables sont qualitatives et qu'on peut les croiser dans un tableau d'effectifs.
Ses forces : il ne suppose rien sur la forme des données, accepte autant de catégories qu'on veut, et se calcule à la main.
Ses limites : il dit qu'un lien existe, pas dans quel sens ni avec quelle force ; il demande au moins 5 effectifs théoriques par case ; et sur une grande base, il devient significatif pour des écarts minimes.
H0 : le télétravail ne dépend pas du contrat.
H1 : il en dépend.
Avant de regarder le croisement, on connaît les totaux : 1 632 CDI, 931 CDD, 239 offres avec télétravail sur 2 563.
Tout le calcul part de là.
S'il n'y avait aucun lien, CDI et CDD auraient la même part de télétravail que l'ensemble des offres : 239 ÷ 2 563 = 9,3 %.
Appliquée aux 1 632 CDI : 1 632 × 239 ÷ 2 563 = 152,2 offres attendues avec télétravail.
C'est la même chose que la formule des manuels : total de la ligne × total de la colonne ÷ total général.
On place maintenant les effectifs observés à côté des théoriques.
Les CDI ont plus de télétravail que prévu, les CDD moins.
Reste à savoir si cet écart dépasse ce que le hasard pourrait produire.
Dans chaque case, on mesure l'écart entre le réel et le théorique, on l'élève au carré pour que les écarts positifs et négatifs ne s'annulent pas, et on le divise par le théorique pour le rapporter à la taille de la case.
Les CDD avec télétravail pèsent le plus, 22,1 : c'est là que le réel s'éloigne le plus de la théorie.
La somme des quatre cases est le chi² : 38,3.
Le chi² se compare à une valeur critique, qui dépend du nombre de degrés de liberté : (lignes − 1) × (colonnes − 1), soit 1 pour un tableau 2 × 2.
Au seuil de 5 %, la valeur critique est 3,84.
Avec 38,3, on rejette H0 : le télétravail dépend du contrat.
Le chi² dit qu'un lien existe, pas sa force.
Le V de Cramer la mesure : V = √(χ² ÷ N) pour un tableau 2 × 2, soit √(38,3 ÷ 2 563) = 0,12.
Le lien est réel, mais faible : le type de contrat n'explique qu'une petite part du télétravail.
Télétravail selon le groupe de métiers : 9 % des offres en marketing, 9 % dans le digital.
Le chi² vaut 0,34, très loin de 3,84 : on ne rejette pas H0.
« Pas de différence » est un résultat, pas un échec : il s'écrit avec la même rigueur.
Quatre lignes de Python donnent tout ce qu'on vient de construire à la main :
pythonfrom scipy.stats import chi2_contingency
chi2, p, ddl, attendus = chi2_contingency([[196, 1436], [43, 888]])
chi2 = 37.43
p = 9.5e-10
ddl = 1
attendus = [[152.2, 1479.8], [86.8, 844.2]]
On y retrouve les effectifs théoriques et le degré de liberté.
Un seul chiffre diffère : sur un tableau 2 × 2, Python applique d'office la correction de continuité de Yates et affiche 37,43 au lieu de 38,30.
Pour retrouver le calcul à la main, on ajoute correction=False.
Le test t à un échantillon compare la moyenne d'un groupe à une valeur connue d'avance.
Question : les offres d'assistant(e) marketing paient-elles plus que le SMIC ?
Moyenne : 23 669 euros bruts par an, pour un SMIC annuel de 22 404. t = 0,91, p = 0,37 : on ne rejette pas H0.
Sur 23 offres, l'écart au SMIC n'est pas significatif.
Ce n'est pas pour autant la preuve qu'elles paient le SMIC : avec 23 offres, le test n'a que 63 % de chances de détecter un écart moyen, et presque aucune de voir un petit écart.
Il en faudrait 34 pour un écart moyen.
Taille de l'effet : d = (23 669 − 22 404) ÷ 6 638, l'écart-type des salaires, soit 0,19 : à la limite entre négligeable et petit.
Les offres d'apprentissage ont été retirées avant le test : leur salaire est fixé par la loi en pourcentage du SMIC, il ne dit rien du marché.
La question : le chargé d'études commerciales est-il mieux payé que le chargé de marketing digital ?
Deux groupes d'offres distincts, aucune offre n'appartient aux deux.
Sur le graphique, les deux nuages se recouvrent presque entièrement, et les moyennes ne diffèrent que de 251 euros : 32 058 contre 31 807.
Le test t pose la question du chapitre précédent : un écart de 251 euros pourrait-il venir du hasard ?
H0 : les deux métiers paient pareil en moyenne.
H1 : ils paient différemment.
Il faut d'abord regarder l'étalement de chaque nuage, ce que mesurent la variance et l'écart-type vus au TD 1.
Le test t classique suppose que les deux groupes sont aussi étalés.
Ici, le marketing digital paraît plus dispersé : 10 508 euros d'écart-type, contre 7 532.
Le test de Levene vérifie si cette différence d'étalement est réelle.
Sa p-value se lit comme toutes les autres : 0,19, au-dessus de 0,05, donc rien ne prouve que les étalements diffèrent.
Par prudence, on utilise quand même la version de Welch, qui ne suppose pas l'égalité : elle donne le même verdict quand les étalements sont proches, et reste juste quand ils ne le sont pas.
La statistique t rapporte l'écart des moyennes à l'incertitude qui l'entoure.
Cette incertitude, l'erreur standard, grandit avec l'étalement des salaires et diminue avec le nombre d'offres : ici, 2 553 euros. t = 251 ÷ 2 553 = 0,10.
Le seuil, c'est la zone de rejet de la courbe du chapitre précédent : au-delà d'environ 2,0 en valeur absolue, l'écart est significatif à 5 %.
Avec 0,10, on en est très loin.
La p-value dit la même chose en probabilité : si les deux métiers payaient pareil, un écart au moins aussi grand apparaîtrait 92 fois sur 100. p = 0,92 : on ne rejette pas H0.
La taille de l'effet, le d de Cohen, exprime l'écart en écarts-types : 251 euros sur un écart-type commun d'environ 9 100 euros, soit d = 0,03 : un effet quasi nul.
Reste la puissance : avec 45 et 21 offres, le tableau du chapitre précédent montre que seul un écart fort aurait pu se voir.
Conclusion : on n'a pas trouvé de différence de salaire entre les deux métiers, ce qui ne prouve pas qu'il n'y en a aucune.
Pour chacun des 23 métiers, le nombre d'offres actives le 22 septembre et le 5 octobre.
Ce ne sont pas deux groupes : ce sont les mêmes métiers, mesurés deux fois, et le test porte sur la différence de chacun.
Différence moyenne : -10,8 offres par métier. t = -2,37 pour 22 degrés de liberté, p = 0,027 : le marché a significativement baissé en deux semaines.
Taille de l'effet : d = 10,8 ÷ 21,9, l'écart-type des différences, soit 0,49 : à la limite entre petit et moyen.
Le test dit que la baisse n'est probablement pas due au hasard ; il ne dit pas pourquoi.
Deux semaines, c'est court : au TD 3, vous aurez deux mois de recul pour refaire le test.
Avec quatre niveaux de poste, il faudrait six tests t, et à chaque test 5 % de risque de se tromper : le risque de trouver une différence qui n'existe pas grimpe vite.
L'analyse de la variance répond en un seul test à la question : au moins une des moyennes diffère-t-elle des autres ?
Pour savoir si le niveau du poste compte, l'ANOVA compare deux choses : à quel point les moyennes des niveaux s'éloignent les unes des autres, et à quel point les offres s'étalent à l'intérieur de chaque niveau.
À gauche, les moyennes sont éloignées et chaque groupe est serré autour de la sienne : savoir à quel groupe appartient une offre dit presque tout de sa valeur.
À droite, les moyennes sont exactement les mêmes, mais les groupes sont si étalés qu'ils se chevauchent : le même écart de moyennes ne prouve plus rien.
La statistique F est le rapport des deux : l'écart entre les groupes divisé par l'étalement à l'intérieur des groupes.
Proche de 1, les groupes ne se distinguent pas plus que les offres entre elles.
Bien plus grand que 1, le groupe fait une vraie différence, et H0, « toutes les moyennes sont égales », est rejetée.
F = 77,4 pour 3 et 658 degrés de liberté, p < 0,001 : le salaire dépend du niveau du poste.
Êta² = 0,26 : le niveau explique 26 % de la variation des salaires affichés.
C'est un effet fort, mais les trois quarts restent à expliquer.
L'ANOVA classique suppose des variances comparables d'un groupe à l'autre.
Ici le test de Levene la rejette (p < 0,001) : les salaires des directeurs varient beaucoup plus que ceux des assistants.
La version de Welch, qui s'en passe, confirme le résultat : F = 73,9, p < 0,001.
Une condition non remplie ne s'ignore pas : elle se signale, et on prend l'outil adapté.
L'ANOVA dit qu'au moins un groupe diffère, pas lesquels.
Pour le savoir, on compare ensuite les groupes deux à deux : ce sont les tests post hoc, littéralement « après coup ».
On ne les lance que si l'ANOVA est significative.
Quatre niveaux de poste font six paires.
Six tests au seuil de 5 % multiplient le risque de trouver une différence par hasard ; la correction de Bonferroni divise donc le seuil par le nombre de comparaisons : 0,05 ÷ 6 = 0,008 pour chaque paire.
Sur le graphique, chaque paire a son écart et sa marge d'incertitude.
Si la barre ne touche pas zéro, la différence est significative.
Ici, toutes les paires diffèrent sauf directeur(rice) et responsable : 20 177 euros d'écart, mais avec seulement 16 offres de directeur(rice), très dispersées, cet écart reste trop incertain (p = 0,08 après correction).
Bonferroni est la correction la plus simple, et la plus sévère.
Il en existe d'autres : Tukey quand les groupes ont des étalements comparables, Games-Howell quand ils n'en ont pas, comme ici.
Sur ces données, Games-Howell donne la même lecture.
La corrélation de Pearson mesure si deux variables quantitatives varient ensemble.
Elle va de −1, quand l'une baisse chaque fois que l'autre monte, à +1, quand elles montent ensemble parfaitement ; 0 veut dire qu'aucune ligne droite ne les relie.
Elle se calcule en rapportant la covariance, qui mesure à quel point les deux variables s'écartent de leur moyenne en même temps, au produit de leurs écarts-types : r = cov(x, y) ÷ (écart-type de x × écart-type de y) = 12 908 ÷ (2,07 × 12 852) = 0,48.
Années d'expérience demandées et salaire : r = 0,48, sur 630 offres, p < 0,001.
Un lien positif, moyen, tout près du seuil d'un lien fort.
Pearson suppose une relation en ligne droite et se laisse tirer par les valeurs extrêmes.
Pour une variable ordinale, ou une relation qui monte sans être droite, on prend la corrélation de Spearman, calculée sur les rangs plutôt que sur les valeurs.
Ici, Spearman donne 0,48 : les deux lectures concordent.
Que l'expérience et le salaire montent ensemble ne prouve pas que l'une cause l'autre : les postes de responsable demandent plus d'expérience et paient plus, et c'est peut-être le niveau du poste qui fait les deux.
Pour parler de cause, il faut que la cause précède l'effet, qu'elles varient ensemble, et qu'aucune troisième variable n'explique le lien.
La régression permet de contrôler la troisième ; seule une expérience contrôle tout.
La régression va plus loin que la corrélation : elle résume le nuage par une droite, et met cette droite en équation.
Toute droite s'écrit ŷ = a + b × x : a est la valeur prévue quand x vaut 0, b ce qu'ajoute chaque unité de x.
Ici : salaire prévu = 26 968 + 3 004 × années d'expérience.
Pour une offre qui demande 3 ans : 26 968 + 3 × 3 004 = 35 980 euros par an.
Parmi toutes les droites qu'on pourrait tracer, la régression retient celle qui passe au plus près de l'ensemble des points : celle qui rend la plus petite possible la somme des écarts au carré.
Cette règle donne deux formules.
La pente : b = cov(x, y) ÷ variance de x = 12 908 ÷ 4,30 = 3 004.
L'ordonnée à l'origine : a = moyenne de y − b × moyenne de x = 33 002 − 3 004 × 2,01 = 26 968.
Le R² dit quelle part de la variation du salaire la droite reproduit : de 0, rien, à 1, tout.
En régression simple, c'est le carré de r : 0,48² = 0,23, soit 23 %.
Un R² faible n'invalide pas un coefficient significatif : il dit seulement que d'autres choses, absentes du modèle, comptent aussi.
Seule, l'expérience pèse 3 004 euros par année et explique 23 % des salaires.
Mais elle n'agit pas seule : les postes élevés demandent plus d'expérience, 1,1 an en moyenne pour un assistant, 4,3 ans pour un directeur.
En ajoutant le niveau du poste, le poids de l'expérience tombe à 2 141 euros : une partie de ce qu'on lui attribuait revenait en fait au niveau.
Et la part expliquée monte à 38 % : le modèle décrit mieux les salaires, et attribue chaque effet à ce qui le produit probablement.
Le télétravail, lui, ne change presque rien au poids de l'expérience, 2 145 euros, parce qu'il n'est pas lié à elle ; il ajoute seulement un peu d'explication, 39 %.
C'est ce qu'on appelle raisonner toutes choses égales par ailleurs : chaque coefficient se lit à valeur égale des autres variables.
L'équation du modèle 3 ajoute un coefficient par variable, sur le modèle ŷ = a + b₁ × x₁ + b₂ × x₂ + … :
salaire prévu = 25 497 + 2 145 × années − 3 981 × assistant + 6 868 × responsable + 23 867 × directeur + 4 047 × télétravail.
Le niveau du poste entre dans l'équation sous forme d'indicatrices : assistant vaut 1 si l'offre est un poste d'assistant, 0 sinon, et de même pour responsable et directeur.
Le niveau chargé(e) n'a pas d'indicatrice : c'est la référence, à laquelle les autres se comparent.
Pour un poste de responsable qui demande 5 ans et propose du télétravail : 25 497 + 5 × 2 145 + 6 868 + 4 047 = 47 139 euros.
Le télétravail va de pair avec un salaire plus élevé, sans qu'on puisse dire qu'il en est la cause.
61 % de la variation reste inexpliquée : l'entreprise, la ville, le secteur ne sont pas dans le modèle.
Et deux variables explicatives trop liées entre elles brouillent leurs coefficients : on le vérifie avec le facteur d'inflation de la variance (VIF).
La satisfaction, la confiance, l'attachement à une marque : ce sont des variables latentes.
Personne ne les observe directement ; on les approche par plusieurs questions, les échelles de Likert du premier chapitre.
Une seule question mesure mal : elle mélange le concept et le bruit de la formulation.
Plusieurs questions qui visent le même concept permettent d'isoler ce qu'elles ont en commun.
L'analyse factorielle confirmatoire vérifie que les questions censées mesurer un même concept le mesurent bien : chacune doit y être fortement liée, c'est son poids λ, et la part qui ne s'explique pas est son erreur ε.
On juge le modèle sur sa fiabilité, avec l'alpha de Cronbach au-dessus de 0,7, et sur son ajustement aux données, avec des indices comme le CFI au-dessus de 0,90 et le RMSEA sous 0,08.
C'est le modèle de mesure, en bleu sur le schéma.
Une fois les concepts mesurés, le modèle d’équations structurelles les relie entre eux : la satisfaction augmente-t-elle la fidélité, et de combien ?
C'est le coefficient β, en rouge sur le schéma.
Par rapport à la régression, il tient compte de l'erreur de mesure de chaque question, et il estime plusieurs relations à la fois : la satisfaction peut agir sur la fidélité directement, et à travers la confiance.
Les grands baromètres de satisfaction client, comme l'ACSI américain, reposent sur ce type de modèle.
Il se construit avec lavaan en R ou semopy en Python.
On le met en pratique au CM 3, sur vos données de Prix : beaucoup de valeur pour un mémoire.
La médiation dit par où passe un effet.
La promotion n'augmente pas l'intention d'achat directement : elle augmente la valeur perçue, qui augmente l'intention d'achat.
L'effet indirect est le produit des deux chemins, a × b ; ce qui reste, c′, est l'effet direct.
La modération dit quand un effet est plus ou moins fort.
La promotion n'augmente peut-être la valeur perçue que chez les clients qui connaissent déjà la marque : la familiarité, W, modère le lien.
On la teste par une interaction, X × W, ajoutée à la régression.
Le modèle 7 combine les deux : une médiation dont le premier chemin, de X vers M, est modéré par W. On parle de médiation modérée.
L'indice a₃ × b dit si l'effet indirect change avec W ; on le juge par bootstrap, et il est significatif quand son intervalle de confiance ne contient pas zéro.
C'est l'un des modèles de la macro PROCESS d'Andrew Hayes, disponible pour SPSS, SAS et R ; il se reproduit aussi avec lavaan ou semopy, puisqu'il s'agit de deux régressions estimées ensemble.
Vos offres contiennent aussi du texte : leurs descriptions totalisent environ 950 000 mots.
La fouille de textes les transforme en chiffres.
On découpe chaque texte en mots, on retire les mots vides (le, de, et…), puis on compte : chaque offre devient une ligne, chaque mot une colonne.
C'est le sac de mots : l'ordre des mots est perdu, leur présence est gardée.
Une fois le texte en tableau, tous les outils de ce cours s'appliquent.
La présence du mot « IA » est une variable qualitative, oui ou non, qu'on peut croiser avec le groupe de métiers.
Les offres du digital citent l'IA 12,5 fois sur 100, celles du marketing 7,7, les métiers frontières 2,8.
Chi² = 59,0, 2 degrés de liberté, p < 0,001 ; V de Cramer = 0,14 : un lien réel, mais faible.
Un mot n'est pas un sens.
Dans l'une des offres comptées, « IA » apparaît dans le nom d'une formation, un « Mastère … & IA », pas dans le poste : le comptage la range parmi les offres qui parlent d'IA.
Synonymes, négations, homonymes produisent les mêmes erreurs.
Avant de croire un comptage, on lit un échantillon d'offres à la main.
Les méthodes récentes, les plongements de mots puis les modèles de langage, comparent le sens plutôt que les mots, mais leurs résultats se vérifient de la même façon : sur un échantillon codé à la main.