Enquête internationale sur les compétences des adultes (PIAAC) (cycle 2) - 2023X011EC

Personnes âgées de 16 à 65 ans, vivant en logement ordinaire et certaines communautés (internats, résidences étudiantes, foyers de jeunes travailleurs, etc) hors prisons, communautés militaires et hôpitaux).

Enquête internationale sur les compétences des adultes (Programme for the International Assessment of Adult Competencies – PIAAC)

L’enquête PIAAC a pour objectif de mesurer les compétences détenues par les personnes de 16 à 65 ans, et leur utilisation de ces compétences au quotidien et dans leur vie professionnelle.

Il s’agit principalement de mesurer le niveau de maîtrise et la distribution de certaines compétences des enquêtés pour faire face aux mutations du monde du travail et de la vie de tous les jours (notamment à travers l’angle de l’insertion sociale et économique)

L’enquête appréhende également l’influence croisée du système éducatif, du système de formation continue, des expériences professionnelles, des conditions de travail et du parcours personnel des personnes sur le développement de leurs compétences et sur l’usage qu’ils en font.

La comparaison entre les deux cycles de PIAAC permettra également d’analyser l’évolution des compétences au sein de la population française sur la dernière décennie, dans le but de mieux comprendre l’impact des mutations économiques et sociétales sur la maîtrise des savoirs.

Le questionnaire de l’enquête PIAAC se compose de deux parties, l’une consacrée à la collecte d’informations sociodémographiques et biographiques sur la personne interrogée (parcours éducatif, activité professionnelle, enfance et famille, conditions de vie), l’autre consacrée à la mesure des compétences via des exercices de « littératie », de « numératie » et de résolution de problèmes.

Le 2^e cycle reprend le module de « littératie » et actualise le cadre conceptuel d’analyse de la « numératie » afin de mieux prendre en compte dans ce concept l’imbrication croissante entre les activités cognitives et les technologies de l’information et de la communication.

L’enquête PIAAC documente également les compétences liées à la compréhension et à la résolution des problèmes. Il s’agit d’un nouveau module, déjà administré à titre expérimental par certains pays lors du 1^er cycle, testé en France lors de l’enquête pilote. Ce module prend en compte le caractère souvent adaptatif de la résolution de problème dans un environnement technologique (les termes du problème évoluant au fur et à mesure de sa résolution, il est nécessaire de s’y adapter).

Le questionnaire du 2^e cycle comprend un module dit « Components », testé lors du pilote, qui porte sur les faibles niveaux de compétences. Ce module propose des exercices adaptés aux personnes n’ayant pas les compétences suffisantes en « littératie » et en « numératie » pour réussir l’ensemble des épreuves du questionnaire. Cela permet de réduire la charge de l’enquête ainsi que d’éviter la frustration des répondants face à des questions non adaptées à leur niveau.

Enfin, le questionnaire contient, comme lors du 1^er cycle, un module qui vise à mieux appréhender l’usage des compétences dans le cadre du travail (module JRA – Job Requirement Approach). Nouveauté du 2^e cycle, le questionnaire mesure aussi les compétences « non cognitives » (aussi qualifiées de compétences « conatives » ou « sociales et émotionnelles »), via l’ajout d’une mesure des traits de personnalité (Big 5).

La France a participé à la première enquête internationale sur les compétences des adultes, International Adult Literacy Survey (IALS), organisée par un consortium composé de Statistique Canada et Educational Testing Service (ETS), puis coordonnée par l’Organisation de Coopération pour le Développement Économique (OCDE) sur une vingtaine de pays entre 1994 et 1999. Les conclusions, diffusées par l’OCDE, furent toutefois particulièrement surprenantes pour la France : 40 % des Français rencontraient des difficultés en lecture. Outre le problème délicat de la traduction et de l’inadaptation des exercices à certains contextes culturels, l’enquête IALS a été critiquée sur plusieurs aspects techniques : le plan de sondage, la codification des réponses, le recours fragile à une méthode de réponse à l’item, les conditions de passation et leur impact sur la motivation de la personne enquêtée. Au vu de ces problèmes, la France a préféré se retirer de l’enquête et a lancé son propre dispositif, l’enquête Information et Vie Quotidienne (IVQ).

L’OCDE, assistée de Statistique Canada et de ETS, a décidé de lancer en 1999 une autre enquête sur les compétences des adultes, Adult Literacy and Life Skills Survey (ALLS). Les principes de conception du questionnaire IALS ayant été repris à l’identique malgré les critiques adressées, la France a décidé de ne pas participer.

Souhaitant corriger les erreurs des enquêtes internationales passées et élargir le champ d’investigation à de nouveaux domaines de compétences, l’OCDE a initié sur 2004-2008 un cycle de réflexion sur la mise en œuvre d’un nouveau programme d’enquêtes, intitulé PIAAC. En janvier 2008, l’OCDE a officiellement initié le premier cycle du programme PIAAC et recruté un consortium d’entreprises, mené par ETS, assurant la conception technique et le suivi opérationnel du projet. La genèse de PIAAC a été suivie en France avec une attention toute particulière. Tout en constatant des avancées positives sur le protocole d’enquête PIAAC, il est apparu nécessaire de prévoir, en complément de l’opération internationale, la conduite d’une enquête nationale sur la base de l’enquête IVQ, pouvant servir d’étalon. La collecte des deux enquêtes a été réalisée en 2011-2012. En tout, 37 pays ont participé au premier cycle de PIAAC, au cours de 3 rounds d’enquêtes entre 2011 et 2018.

Les données du premier cycle de PIAAC ont donné lieu à de nombreuses exploitations, notamment en comparaison internationale, à la fois par l’OCDE, et des chercheurs nationaux et internationaux.

En particulier, l’OCDE a réalisé les travaux suivants :

• OCDE (2013), Perspectives de l’OCDE sur les compétences 2013 : Premiers résultats de l’Évaluation des compétences des adultes, Éditions OCDE. http://dx.doi.org/10.1787/9789264204096-fr.
• OCDE (2016), L’importance des compétences : Nouveaux résultats de l’Évaluation des compétences des adultes, Études de l’OCDE sur les compétences, Éditions OCDE, Paris. http://dx.doi.org/10.1787/9789264259492-fr

L’ensemble des publications internationales de l’OCDE sont disponibles à cette adresse : https://www.oecd.org/fr/competences/piaac/publications.htm.

Par ailleurs, les données du Cycle I ont fait l’objet d’exploitation de la part de plusieurs chercheurs français et internationaux, notamment :

• Asai K. et al. (2020). Education, skills and skill mismatch. A review and some new evidence based on the PIAAC survey, Rapport IPP n°26, Institut des politiques publiques (IPP). 114 p. ⟨halshs-02514746⟩
• Stijepic, D. (2020). Effets des compétences sur l’emploi: les enseignements de l’Évaluation des compétences des adultes (PIAAC), Revue internationale du Travail, 2020, vol. 159, no 3, p. 339-371.
• Giret, J. F., & Jongbloed, J. (2021). Les jeunes en situation de NEET: le rôle des compétences de base, Céreq Bref, 413, 1-4.

Les données ont également été exploitées plus particulièrement au niveau national par la Depp, l’Inseeet la Dares. Nous pouvons ainsi citer les publications suivantes :

• Jonas N., (2013), Les capacités des adultes à maîtriser des informations écrites ou chiffrées, Insee Première n° 1467.
• Branche-Seigeot A. (2015), Compétences individuelles et compétences utilisées en situation de travail. Quels constats ? Quelle valorisation salariale ?, Document d’études Dares n° 2015/193.
• Murat F. et Rocher T. (2016), L’évolution des compétences des adultes : effet « génération » et effet « cycle de vie », revue Economie et Statistique, n° 490.
• Murat F. (2021), Les inégalités de compétences à la fin des études, Économie et Statistique / Economics and Statistics, n° 528-529, Insee.
• Murat, F (à paraître). Que savent les jeunes à la fin de leurs études ? Les compétences en lecture, en calcul et en compréhension orale selon le parcours scolaire, Éducation & formations, 103, 83–98.

De plus, des travaux français complémentaires sont en cours de réalisation auprès de la DARES et du centre de recherche Lille Economie Management (UMR 9221).

L’OCDE a ouvert un deuxième cycle début 2018. Le consortium d’entreprises mené par ETS a de nouveau été recruté par l’OCDE pour assurer la conception technique et le suivi opérationnel du projet. La France s’est engagée à participer à ce deuxième cycle. En mars 2016, l’Inspection Générale de l’Insee avait préconisé, au vu du coût cumulé des deux dispositifs et de la relative convergence des résultats, pour répondre à la double exigence de participation aux comparaisons internationales sur les compétences et, au plan national, de mesure des difficultés face à l’écrit, de se mettre en situation de participer au prochain cycle de PIAAC et de réduire IVQ à un module approprié, pouvant être adossé à une autre enquête. L’enquête PIAAC permet de mesurer un certain nombre de compétences et leur distribution, et de réaliser des comparaisons internationales au niveau de l’Union européenne et des pays membres de l’OCDE. De manière complémentaire, un module spécifique IVQ, centré sur la mesure de l’illettrisme, a été intégré à l’enquête Adult Eduction Survey (AES) (renommée désormais Formation tout au long de la vie, FLV), qui sera collectée fin 2022-début 2023. Ce module permettra de décrire la nature des difficultés des personnes se situant dans les niveaux les plus bas de maîtrise de l’écrit, afin de mieux identifier les problématiques d’exclusion sociale et de pauvreté rencontrées par cette population.

Dans ce cadre, un certain nombre de publications ont permis de comparer plus spécifiquement les résultats des enquêtes IVQ et PIAAC. Nous pouvons citer notamment :

• Jonas N. et al. (2013), Mesurer les compétences des adultes. Comparaison de deux enquêtes, Insee Analyses n° 13.
• Murat, F. et Rocher, T. (2015), L’évaluation des compétences des adultes : Quelles contraintes ? Quelles spécificités ?. Éducation & formations, DEPP, Évaluation des acquis : principes, méthodologie, résultats, n° 86-87 (04), pp. 83-98. ⟨48464/ef-86-87-04⟩. ⟨halshs-03572865⟩
• Vallet, L. A. (2016). L’enquête Information et vie quotidienne 2011 parmi les dispositifs nationaux et internationaux de mesure des compétences des adultes. Économie et Statistique, 490(1), 5-15.

Le taux de réponse au 1^er cycle de PIAAC a été de 67% en France, ce qui classe la France parmi les dix meilleurs pays. En revanche, les scores moyens de « numératie » et de « littératie » sont peu élevés pour la France, classée 3^e en partant du bas de la distribution parmi les 23 pays participants au 1^er round. La France est également marquée par un niveau élevé d’inégalités, selon les générations aussi bien que selon le niveau de formation ou l’origine sociale, et une faible valorisation des compétences relativement au diplôme sur le marché du travail. Comme dans les autres pays participants, on observe une baisse des compétences avec l’âge. La conduite d’un 2^e cycle devrait permettre de distinguer l’effet de génération de l’effet de l’âge.

L’Insee tire de son expérience lors du 1^er cycle des enseignements qui seront utiles pour le 2^e cycle, notamment sur l’organisation et l’adaptation technique aux outils et standards de l’OCDE (voir rapport de l’Inspection Générale de l’Insee n° 216-24/DG75-B010 du 21 mars 2016 et Insee Analyse n°13 2013).

La préparation du cycle 2 a inclus la conduction d’un Pilote. Cette enquête Pilote a été notamment l’occasion d’évaluer l’impact des incitations financières sur la motivation des enquêtés. Les résultats de cette expérimentation montrent globalement un effet limité des incitations sur le taux et la qualité de la réponse. Cela peut s’expliquer en partie par le manque de puissance statistique, du fait des perturbations du protocole liées à l’épidémie de Covid19. Il est également probable que les incitations de type financier aient peu d’effet par rapport aux résultats de la littérature dans d’autres pays, le caractère obligatoire permettant déjà d’atteindre des taux de réponse élevés pour les enquêtes qui en bénéficient. Les analyses menées dans le cadre de ce dispositif ont donné lieu à un document de travail qui a été présenté au Journées de Méthodologie Statistique organisées par l’Insee en mars 2022. S’agissant d’une expérimentation spécifique à l’enquête pilote, les incitations financières ne seront plus proposées lors de l’enquête principale.

De plus, le pilote a confirmé l’acceptation de la passation 100% tablette pour l’ensemble des répondants.

Au niveau national, une réunion d’information a été réalisée en 2019 afin de présenter l’avancée des travaux et des nouveautés introduites dans la 2^e édition de l’enquête PIAAC. Près de 200 organisations patronales, syndicats et associations y ont été conviés.

Une réunion de présentation des premiers résultats de l’enquête principale ainsi que du bilan de collecte sera organisée par la DARES au premier semestre 2025.

Par ailleurs, s’agissant d’une enquête internationale, une grande partie de la concertation est réalisée par l’OCDE, qui travaille avec la Commission Européenne, le TUAC (Trade Union Advisory Committee), et mobilise de nombreux groupes d’expert thématiques. Ainsi, les partenaires sociaux français peuvent intervenir directement auprès du TUAC s’ils souhaitent qu’il appuie leur point de vue au sein des instances de l’OCDE.

Dans un contexte d’innovation technologique et de transformation rapide des métiers et des compétences requises sur le marché du travail, le recours au concept de compétences est de plus en plus fréquent. Dans le domaine de l’éducation et de la formation, on parle d’approche par les compétences et de blocs de compétences. Sur le marché du travail, on exprime des besoins en compétences parfois difficiles à satisfaire, et on sécurise les parcours en identifiant les compétences transversales et transférables à d’autres contextes professionnels. Parmi les compétences transversales figurent notamment les compétences de base, qui sont souvent un prérequis à l’intégration dans la société et sur le marché du travail, et les compétences « conatives » ou « sociales et émotionnelles ».

Le Ministère de l’Éducation nationale et le Ministère du Travail portent un grand intérêt à la mesure des compétences des adultes dans PIAAC. L’enquête PIAAC éclaire à la fois sur le système éducatif, la formation professionnelle continue et le fonctionnement du marché du travail. La Commission Européenne soutient également PIAAC.

Par ailleurs, comme le mentionne le rapport de l’Inspection Générale de l’Insee n° 216-24/DG75-B010 du 21 mars 2016, participer à des comparaisons internationales en matière de compétences des adultes constitue une action qui entre tout à fait dans les axes stratégiques d’Insee 2025. Le programme du moyen terme du Cnis comprend également un axe concernant l’acquisition des compétences tout au long de la vie.

PIAAC cycle 2 s’inscrit dans la lignée des enquêtes de mesure des compétences déjà évoquées dans la partie « Historique » de cette fiche (IVQ 2003, IVQ 2011, PIAAC cycle 1). Elle se concentre sur la mesure de la distribution des compétences, leur mobilisation dans un contexte professionnel, ainsi que la mesure des compétences conatives. Elle permet la réalisation de comparaisons internationales.

Elle complète le module compétence de FLV, enquête portant sur la France entière (alors que les Dom ne sont pas couverts par PIAAC) et se concentrant sur la mesure des faibles niveaux de compétences. Seule FLV permettra de fournir une mesure de l’illettrisme en France.

Aucune

OCDE, Commission Européenne, Eurostat, Ministère du Travail, Ministère de l’Éducation, Insee, chercheurs français et étrangers, France Stratégie, instances nationales en charge de la formation professionnelle des adultes

Février à avril 2023.

La collecte est réalisée en partie face-à-face (Capi), en partie en auto-administrée, et la réponse indirecte par « proxy » est interdite.

Après un questionnaire biographique en face-à-face, la personne interrogée suit un tutoriel sur l’utilisation de la tablette, puis est amenée à répondre directement à des exercices sur la tablette.

Comitologie internationale pour PIAAC :

L’instance décisionnelle du programme PIAAC prend la forme d’un groupe international composé des représentants officiels de chaque pays participant : le Board of Participating Countries (BPC). Réuni pour la première fois en janvier 2008, le BPC se réunit chaque semestre pour déterminer les axes stratégiques du programme. Cela inclut la prise de décision concernant le protocole d’ensemble de l’enquête et la conduite du projet, les objectifs visés et l’utilisation qui sera faite des données, et les questions budgétaires et politiques liées au programme. Le BPC s’inscrit dans le programme de travail des commissions de l’OCDE relatives à l’Education et à l’Emploi (Education Policy Committee et Employment, Labour and Social Affairs Committee). La France est représentée par la Représentation Permanente, dont l’intervention est préparée via le Secrétariat Général aux Affaires Européennes (SGAE). La Dares siège au BPC.

Par ailleurs, les National project managers (NPM) se réunissent semestriellement pour effectuer le suivi opérationnel.

Comitologie nationale :

Un comité de pilotage du projet PIAAC regroupe la DEPP, la DARES et l’INSEE. Il se réunit tous les semestres environ pour examiner l’avancement du projet au niveau national et international et prendre les décisions stratégiques sur la mise en œuvre de l’enquête en France.

Un comité de suivi du projet PIAAC regroupe les coordinateurs techniques des instances précédemment citées (INSEE, DARES, DEPP). Il se réunit régulièrement pour traiter les questions opérationnelles et veiller au respect des échéances.

Un groupe d’exploitation sera mis en œuvre pour favoriser l’exploitation des données finales mises à disposition des chercheurs.

Comme pour le 1^er cycle, l’OCDE prévoit que le questionnaire PIAAC du 2^e cycle ait une durée médiane de 1h45min, dont 45 minutes environ de questionnaire biographique en face à face, et 1h environ d’évaluation des compétences (exercices auto-administrés). Ces estimations ont été confirmées par l’enquête pilote.

Un module complémentaire, relatif à la personnalité de la personne interrogée est ajoutée à l’enquête principale (Big 5), après avoir été testé lors du pilote. Ce module n’a pas pour vocation d’être exploité en tant que tel, mais de fournir des variables de contrôle permettant de mieux appréhender les modes d’acquisition des compétences, le lien avec les études et l’apprentissage, etc.

Les grands principes du cycle 1 de PIAAC sont reconduits, à savoir un tirage à deux degrés d’individus au sein des unités primaires Nautile dans l’ensemble du champ couvert par l’enquête (logement ordinaire et certaines communautés comme les internats, les résidences étudiantes, foyers de jeunes travailleurs, etc en dehors des prisons, communautés militaires et hôpitaux).

Premier semestre 2025 pour les résultats internationaux. Courant 2025 pour les résultats nationaux.

Au niveau international, l’OCDE produira des rapports de comparaison internationale, permettant de situer les compétences des adultes dans chaque pays participant à l’enquête et d’évaluer l’évolution de celles-ci sur la dernière décennie. Des documents de travail ainsi que des articles scientifiques seront également réalisés par les chercheurs de l’OCDE spécialisés dans l’analyse des compétences. Les thématiques de recherche porteront notamment sur le lien entre compétences et risques d’automation, l’égalité hommes-femmes en matière de compétences et de recours à la formation professionnelle, les priorités de formation continue pour les adultes.

Au niveau national, un groupe d’exploitation des résultats de cette deuxième édition sera organisé par la Dares et la Depp, afin de rassembler les chercheurs travaillant sur la thématique des compétences dans plusieurs domaines de recherche (économie, sociologie, psychologie, etc.). A ce groupe de travail, d’autres institutions pourront être associées, notamment l’Institut des Politiques Publiques (IPP), ayant déjà travaillé sur les données du Cycle I et ayant récemment constitué une chaire « Education », ainsi que France Stratégie, qui produit régulièrement des rapports sur les métiers et les compétences.

Les pistes de travail pour cette deuxième édition sont multiples : identification de l’effet âge et de l’effet génération sur l’évolution des compétences, le rôle des compétences dans l’identification des métiers en tension, l’impact des compétences sur les trajectoires professionnelles, le lien entre compétences et niveau de diplôme.

Par ailleurs, la Dares réalisera des travaux spécifiques qui pourront donner lieu à une ou plusieurs publications, de type Dares Analyses et Dares Résultats.