Select text to annotate, Click play in YouTube to begin
00:00:00
[Musique] [Musique] Mesdames et Messieurs chers amis invités chers partenaire chers
00:00:31
vous souhaitez chaleureusement la bienvenue à notre coloc qui s'élève le travail que jepal et ses partenaires mènent dans le monde entier depuis 20 ans pour jepal en Europe et plus
00:00:42
particulièrement en France c'est une histoire qui a débuté il y a maintenant 15 ans en 2008 à l'École d'économie de Paris j'ai ce matin le plaisir d'introduire la première session qui sera justement consacré au travail que
00:00:56
nous mène en France depuis lors la naissance du bureau payant a été étroitement liée à l'impulsion française d'inclure la valeur la évaluation d'impact au cœur d'une démarche
00:01:08
d'innovation et d'expérimentation en matière de politique destinées à la jeunesse cette démarche c'est matérialisée entre autres par la création du fond d'expérimentation pour la jeunesse dont
00:01:21
nous aurons le plaisir d'entendre le fondateur Monsieur Martin Hirsch et qui a donné une impulsion importante au travail de recherche effectué par les chercheurs des JEPS en France 15 ans plus tard la France reste au cœur
00:01:34
du champ d'action dans notre bureau régional mais je parle Europe s'est diversifié pour devenir un acteur important sur le plan de recherche qui continue d'être porté par nos chercheurs affiliés que sur le plan de l'ancrage de
00:01:47
plus en plus établi auprès des décideurs de gouvernement et d'organisation partenaires afin de soutenir et d'encourager une culture de la preuve dans les politiques publiques
00:01:58
hajep à l'Europe nous traduisons la recherche en action depuis notre création en particulier dans trois domaines d'expertise que son éducation l'emploi et les questions liées à la migration
00:02:11
plusieurs étapes majeures survenues au cœur des cinq derniers années témoignent de l'expansion de notre travail et formons l'objet de la séance de ce matin une série d'expérimentations fructueuse ont été réalisées avec Paul emploi ce
00:02:24
qui a permis d'améliorer certains programmes de soutien ou demandeurs d'emploi et d'entamer ainsi que d'apprentissage commun et plus récemment le lancement du programme ID innovation donnée et expérimentation
00:02:37
en éducation qui est un investissement investissement majeur pour produire à la fois davantage de nouvelles recherches expérimentales en France en éducation mais aussi pour renforcer l'infosture
00:02:49
nécessaire à cette recherche pour des chercheurs jepal et pour beaucoup plus de chercheurs en étroite collaboration avec le ministère de l'éducation et les différentes académies au-delà de la recherche jepal Europe
00:03:03
mène depuis 15 ans un effort de formation des différentes publics cibles à l'évaluation d'impact tout en développant des partenariats et trois avec les décideurs et gouvernements pour mettre en oeuvre des laissons tirer de
00:03:14
cette recherche expérimentale le travail en France qui sera abordé lors de cette première maintenez centre ainsi dans un écosystème plus vaste comprenant en particulier la nouvelle chère maître physiology de développement porter par
00:03:27
habitude panorgi et Astier du flow au sein de l'université Paris sciences et lettres avec le soutien de l'Agence française de développement cette chair a pour fin a pour mission de favoriser les recherches en économie du développement
00:03:39
afin d'éclairer les politiques publiques et notamment celle de la France et ses partenaires de coopération sur ces mots permettez-moi de vous souhaiter une excellente journée et de réitérer mes mots bienvenue à toutes et
00:03:51
tous je profite ce message pour vous informer que des photos sur une prise pendant la journée ainsi que des enregistrements des présentations sur la scène qui sont mises à disposition ultérieurement merci beaucoup
00:04:07
[Musique] bonjour à tous Nous allons donc passer à la première session consacrée au rôle de l'expérimentation en France et pour ce faire nous avons le plaisir d'accueillir
00:04:20
trois intervenants que nous sommes très contents d'avoir aujourd'hui parmi nous dans plus tard dans la session je vous en prie asseyez-vous nous aurons le plaisir d'écouter
00:04:33
Bruno crépon qui est chercheur au Crest qui est coacher du programme marché de l'emploi de gypal qui est également directeur scientifique du bureau Moyen-Orient et Afrique du Nord de gypal
00:04:47
qui fera une présentation avec Cyril nouveau qui est le directeur des statistiques des études et de l'évaluation de Pôle emploi et nous parlerons de cette collaboration qu'ils ont établis pour évaluer et améliorer
00:05:01
les programmes de Pôle emploi mais avant de les écouter nous avons le grand honneur et le grand plaisir d'accueillir Mart qui est actuellement le vice-président exécutif de Galileo
00:05:14
global et du cashion et le président de l'Institut de l'engagement merci j'ai eu un petit blanc qui a été par le passé directeur
00:05:26
général de l'APHP c'est-à-dire les hôpitaux de Paris qui a été également président de Emmaüs France mais pour ceux qui nous concerne et c'est ainsi qu'il est devenu un de nos plus fidèles compagnons de route il a eu un rôle
00:05:40
majeur au moment où il était au commissaire pour les solidarités actives contre la pauvreté et il a été un des grands promoteurs et défenseur de l'expérimentation et de l'innovation en
00:05:52
France c'est vraiment un des champions qui ont permis à ce que beaucoup de choses que nous faisons actuellement en France existent donc c'est un grand honneur pour nous de l'écouter aujourd'hui nous raconter cette histoire merci
00:06:04
[Applaudissements] beaucoup pour ces mots d'accueil merci Esther pour cette invitation merci à vous tous j'étais là il y a 20 ans
00:06:18
j'étais là il y a 10 ans pour le 10ème anniversaire qui se tenait au MIT et quand Esther et à budget m'ont proposé d'être là aujourd'hui je me suis dit mais pourquoi je vais
00:06:32
leur demander pourquoi puis je n'ai pas osé en me disant si ça se trouve il y a eu un petit tirage au sort et je suis dans le groupe contrôle à côté des éminents chercheurs et
00:06:47
responsable politique qui sont là donc merci beaucoup c'est un honneur pour moi il y a 20 ans il y a eu la création de jepal il y a eu aussi en France une modification de la Constitution ce qui arrive de temps en
00:07:00
temps modification la Constitution qui a eu pour objet de faire rentrer l'expérimentation dans le droit français et c'était une petite percée conceptuelle dans un pays où le principe d'égalité a comme porté que à chaque
00:07:15
personne dans une même situation doit être appliquée le même traitement cette modification s’inscrivait dans la volonté de renforcer vingt ans après les premières lois de décentralisation l'autonomie des collectivités
00:07:27
territoriales c'était l'une des deux modifications de la constitution de en 2003 pour pouvoir adapter les grandes politiques publiques mais dans notre pays il suffit pas de modifier la Constitution pour produire des effets sur le réel
00:07:39
nombreux sont les modifications qui n'ont produit longtemps après strictement aucun effet que par exemple l'introduction du référendum d'initiative populaire a été introduit d'un constituant il n'y en a pas eu un
00:07:51
seul et il y a eu d'autres modifications comme cela et donc il aurait pu en aller de même pour cette modification là il se trouve que cela correspondu à un moment où le besoin de concevoir
00:08:04
autrement des politiques publiques a permis de donner un certain élan à cette pratique d'expérimentation dans un contexte français très particulier alors qu'on peut estimer que les sorts quelques décennies auparavant des expérimentations dans le domaine social
00:08:16
aux USA étaient liés à la profonde aversion de ce pays à la dépense publique en France on pourrait dire en caricaturant à peine que l'intérêt l'expérimentation est né comme un remède à l'addiction à la politique publique
00:08:30
face au constat que son augmentation ne rimait pas toujours avec une amélioration des performances sociales et notamment un moment où on voyait le taux de pauvreté qui ne baissait pas malgré des dépenses sociales qui augmentaient et d'autres grandes
00:08:44
performances notamment sur l'emploi qui n'était pas suffisamment bonne nous avons contribué dans les années qui ont suivi à donner un contenu à cette possibilité nouvelle d'expérimentation
00:08:56
elle nous efforcer de le faire dans des conditions rigoureuses en soutenant des projets fondés sur la méthode de randomisation la voie avait été ouverte par une expérimentation dont il va être question avec Bruno crépon pour comparer
00:09:09
les différentes stratégies d'accompagnement des chômeurs par Pôle emploi avec les performances opérateurs privés et cela a commencé en définissant des programmes à quelques débarquements sur le fondement donc de cette
00:09:20
modification constitutionnelle puis la possibilité nous a été donnée en 2007 de pouvoir le faire à l'échelle nationale sur les sujets de pauvreté sur la politique de jeunesse y compris l'éducation le premier acte a été de confié à François bourguignon alors
00:09:33
directeur de l'École d'économie de Paris la conception d'une phase expérimentale pour la transformation du système de revenus minimum la transformation du RMI en RSA et le rapport d'évaluation de
00:09:47
François bourguignon commence justement par ce constat depuis la constitutionnel du 28 mars 2003 la possibilité est inscrite dans la Constitution néanmoins l'expérimentation dans le domaine des politiques sociales reste exceptionnelles dans notre pays à ce
00:09:59
titre l'expérimentation du RSA est exemplaire est l'initie une nouvelle approche de la réforme des politiques sociales cette expérimentation s'est réalisée par appariement de territoires communs à des territoires expérimentaux
00:10:11
elle a été très imparfaite mais elle a eu le mérite de montrer la faisabilité d'une vraie démarche scientifique sur une réforme d'ensemble touchant plusieurs millions de ménages et de montrer que le dispositif expérimenté je
00:10:23
cite le rapport avait neuf chances sur 10 d'avoir un impact significatif sur le retour à l'emploi des allocataires de minima sociaux peu après en 2009 nous avons pu prendre une autre initiative qui a été une première dans notre pays
00:10:36
consacrée 200 millions d'euros 150 millions d'euros d'argent public et 50 millions d'euros de fonds privés pour créer un fond d'expérimentation sociale consacré à boutique de jeunesse et dont une grande part était dirigée vers la
00:10:49
prise en charge des coûts d'évaluation avec une sélection des projets imposant un évaluateur externe utilisant une méthodologie rigoureuse un protocole contrôlé pour la petite histoire ce qui a été décisif pour convaincre le Président de la République de l'époque
00:11:01
de créer ce fond non pas été des arguments scientifiques n'ont pas été l'idée que peut-être un jour il y aurait un prix Nobel non pas été l'idée que ça allait marcher mais le fait au moment où il allait refuser cet
00:11:15
argent de lui dire c'est dommage parce que Michael brownberg lui il consacre une partie de son argent pour aider la ville dont il est maire pour faire des programmes randomisés et
00:11:26
là il m'a dit ah si un milliardaire estime que c'est utile peut-être qu'un pays peut le faire de nombreux programmes ont été pays donc ont été conduits dans plusieurs randonnées lieux à des publications scientifiques dont
00:11:39
certains ont conduit à des mesures générales et d'autres ont permis d'écarter de fausses pistes je peux citer le financement du permis de conduire chez les jeunes suivi par une mission locale l'organisation de la relation entre les professeurs et les parents d'élèves dans les collèges pour
00:11:51
lutter contre le décrochage l'évaluation des premiers internats d'excellence le démarrage de la garantie jeune qui donnera lieu au contrat d'engagement jeune et beaucoup d'autres une seule expérience inspirée de la education maintenance
00:12:04
Halloween britannique dû être interrompu bien efficace à cause du tolé politique qu'elle provoqua elle consistait à donner un financement aux classes des lycées professionnels qui réduisaient le
00:12:16
décrochage scolaire et le financement était incrémenté chaque trimestre en fonction de la réduction du décrochage on nous a accusés d'introduire le veau d'or à l'école il est intéressant de
00:12:30
constater que la mesure phare de la toute récente réforme professionnelle consiste à gratifier les élèves des lycées professionnels pendant leur stage en 2019 le Conseil d'État publié un rapport sur le bilan des
00:12:42
expérimentations conduites en France depuis 2003 sur le fondement de cette article qui permettait aux collectivités territoriales et le Conseil d'État
00:12:54
constate que 270 expérimentations ont été lancées cependant il constate aussi que de nombreux expérimentations ont été de lancer sans qu'on connaisse les suites
00:13:06
données et sans qu'on puisse accéder aux évaluations dans trois domaines plus fréquemment représentés les transports la santé et le travail et l'emploi dans le domaine de la santé il faut signaler
00:13:18
une initiative plus récente qui a 4 ans désormais introduite par l'article 51 de la loi de financement de la sécurité sociale pour 2019 qui ouvre de manière permanente une possibilité
00:13:32
d'expérimentation par des dérogations ouvertes à un nombre listé de dispositions législatives donc on liste 25 dispositions législatives et en disant les acteurs sont libres de pouvoir s'en écarter dans des programmes
00:13:45
à condition qu'ils aient recours à un évaluateur externe sa disposition a connu un succès important dans un secteur où la régulation est extrêmement forte et où les acteurs sont demandeurs
00:13:58
de marge de manœuvre avec du coup une centaine de projets qui ont été lancés et qui sont en cours de tout cela on peut déduire les éléments suivants le recours à l'expérimentation c'est
00:14:11
largement étendu notamment dans les politiques sociales au cours des 20 dernières années pourtant la notion d'expérimentation reste très hétérogène et la réalisation la réalité d'expérimentation conduite selon des méthodes rigoureuses est
00:14:24
encore faible la confusion entre programme pilote et expérimentation correspondant de l'évidence base policy est encore très grande et relativement peu d'expérimentation peuvent donner
00:14:36
lieu car c'est un beau critère a des publications dans des revues scientifiques à l'inverse beaucoup de politiques publiques continuent à être conduites sans expérimentation et avec des bases factuelles peu solides car si
00:14:49
l'État s'est doté d'outils nouveaux pour innover expérimenter et a fait des progrès considérables en créant des directions de recherche qui produisent des études de grande qualité ce qu'il n'avait pas il y a 20 ans notamment dans
00:15:01
l'éducation et la sphère sociale il n'a pas su encore structurer une organisation permettant de déployer des expérimentations à grande échelle sur des bases scientifiques en outre dans ce pays une grande part
00:15:13
des compétences sociales sont dévolues au collectivités territoriales à la centaine de départements au 11 régions et aux grandes métropoles et il n'existe aucune structure
00:15:25
commune à ses collectivités qui pourraient constituer une force de frappe d'expérimentation il y a eu deux trois exceptions mais globalement il n'y a rien qui ressemble au urban Institute
00:15:39
aux États-Unis ou à d'autres ou d'autres organismes qui sont capables de mobiliser des chercheurs et des financements pour plusieurs collectivités pour mener des programmes
00:15:51
pouvant déboucher sur des politiques publiques mais surtout on ne peut pas dire qu'il y ait une culture de l'expérimentation contre les chez les décideurs on a vu l'exception avec le ministre de l'Économie etc
00:16:04
le recours à expérimentation est plus utilisé pour tester l'acceptabilité d'une à mesure pour roder de nouvelles procédé ou pour initier une politique que nous on n'a pas les moyens de généraliser que pour fonder réellement
00:16:18
une évidence baisse policier pour autant les grands sujets sociaux pour lequel les enjeux en termes de millions de destinés de milliards d'argent public sont colossaux et pour lequel des évidences seraient nécessaires ne manquent pas on peut prendre quelques
00:16:31
exemples le retour à l'emploi des initiaires des minima sociaux pour lequel la Cour des comptes a montré que il y avait six mois d'écart entre le moment où il rentre dans le processus et
00:16:44
le moment où le premier contact avec l'accompagnateur de l'emploi a lieu pour être testé pour savoir si raccourcir ce délai à un impact sur le taux de retour à l'emploi les questions de pénurie de
00:16:58
professionnels dans les dans le secteur de la santé et quelque chose sur lequel on a des hypothèses où on est incapable de les tester et du coup on ne sait pas mettre en oeuvre des
00:17:11
politiques publiques efficaces les questions du lycée professionnel restent des sujets sur lesquels il y a matière également à apprendre et à tester etc je pense que les actions de transition écologique les actions de
00:17:24
sensibilisation à transmission écologique qui se multiplient partout mériterait d'être évalué pour qu'on puisse connaître l'impact d'une population qui a été soumise par rapport à l'autre et si ça vous intéresse on est disponible pour ça
00:17:35
puisqu'il est compliqué pour des autorités politiques de résister à la pression de l'instant à la tentation de l'effet d'annonce ou aux contraintes des échéances électorales rapprochés et de dire à l'opinion publique à l'opposition ou aux oppositions et au groupe de
00:17:49
pression oui nous avons un sérieux problème nous l'avons identifié mais nous nous donnons deux ou trois ans pour revenir vers vous avec des hypothèses validées par l'expérience et avec des
00:17:59
mesures qui ont pu être évalués et que c'est à ce moment là que nous prendrons les mesures générales puisqu'il est difficile pour le faire peut-être que deux pistes peuvent être suggérées la première est de pouvoir suffisamment
00:18:12
anticiper sur ces problèmes j'en donnais quelques-uns avec ne plus y en avoir d'autres pour pouvoir avant que la pression pour l'action soit trop forte réaliser les probares expérimentaux qui nourriront les programmes les agendas législatifs et les mandats à venir c'est
00:18:25
le principe d'une entreprise qui fait travailler son département recherche l'innovation pour les futurs produits tout en écoulant ses produits et de constituer une sorte de fonds de roulement de résultats expérimentaux qui
00:18:37
seraient à la disposition des autorités publiques cela signifie de se doter de moyens suffisant pour pouvoir le faire et avec la difficulté de le faire dans un contexte lui-même évolutif rendant
00:18:50
plus difficile de évaluer les résultats la deuxième piste serait de mettre une contrainte externe juridique ou financière qui conditionne à l'apport de preuve la possibilité de consacrer l'argent public à une réforme cela
00:19:05
pourrait être l'Union européenne vis-à-vis des états quand elle apporte des financements cela pourrait être l'État vis-à-vis des collectivités territoriales dans ces relations financières avec les collectivités territoriales cela pourrait être le juge
00:19:16
si l'on transformait l'exigence de production d'une étude d'impact à un niveau un peu plus élevé c'est ce que suggère le Conseil d'État en considant qu'on pourra aller plus loin dans ce qu'on demande dans l'étude d'impact en
00:19:28
termes de niveau de preuve cela pourrait les bailleurs y compris les grandes fondations qui participent souvent au financement de politique publique et qui pourraient conditionner leur concours à une phase expérimentale contrôlée ou concentrer leur concours au financement
00:19:41
de ces phases expérimentales ce qu'elles font peu dans notre pays pour conclure je trouve intéressant de faire le rapprochement entre deux émergences au cours de ces dernières années et qui ont
00:19:54
un impact sur la conception des politiques publiques la première c'est cette émergence de l'expérimentation comme méthode rigoureuse d'évaluation et la deuxième
00:20:05
c'est l'émergence des conférences citoyenne avec des citoyens tirés au sort pour traiter et pour éclairer les pouvoirs publics sur les grands sujets de controverse ça a été le cas il y a trois ans sur les questions
00:20:22
de climat ça a été le cas plus récemment sur les questions de fin de vie et donc sur ces deux innovations qui viennent montrer les limites de l'action de la politique publique on voit deux initiatives l'une
00:20:35
un peu plus anciennes l'autre plus récente les deux pas encore abouti mais qui L2 si elles étaient soutenues poussées et promu pourrait effectivement avoir un impact sensible sur la conception et l'amélioration de la
00:20:48
conception de nos politiques publiques je vous remercie [Applaudissements]
00:21:01
bonjour c'est un grand plaisir d'être ici pour vous présenter quelques unes des expérimentations qu'on a pu conduire avec Pôle emploi c'est ce que je vais faire et discuter comment elles ont pu
00:21:14
être utiles à Pôle emploi c'est ce que Cyril fera ensuite ça fait un peu plus un peu moins pardon de 20 ans que Pôle Emploi conduit des
00:21:26
évaluations rigoureuses de ces interventions donc ce qu'on vous propose c'est un survol de quelques-unes de ces expérimentations qui ont jalonné la
00:21:39
collaboration qu'on a pu avoir avec Pôle Emploi le au cours de ces années le type de collaboration qu'on a pu avoir avec Pôle emploi a évolué au début il
00:21:52
s'agissait surtout de tester si un programme donné atteignait ses objectifs mais progressivement la nature de cette collaboration va évoluer pour faire place à des
00:22:05
collaborations dans lesquelles il y avait davantage de place pour échanger sur les besoins et le contenu même des interventions donc les études dont je vais vous parler
00:22:17
on mobilisait grand nombre de chercheurs vous avez la liste qui est ici il y a des chercheurs confirmés dans cette liste mais il y a aussi des doctorants et des jeunes
00:22:29
chercheurs talentueux on a décidé de parler que de quelques projets il y en a bien d'autres et qui ont eux aussi mobilisé des chercheurs talentueux alors la première expérience dont je
00:22:43
voudrais vous parler c'est aussi la première qu'on a conduite avec Pôle emploi alors à l'époque il s'agissait de l'ANPE parce que Pôle Emploi n'existait pas encore et elle porte sur
00:22:55
l'accompagnement renforcé des demandeurs d'emploi chercher un emploi c'est quelque chose qui est compliqué il faut avoir un projet professionnel savoir quel type de métier on aimerait
00:23:09
occuper savoir où chercher chercher des emplois sélectionner ceux sur lesquels on va candidater suivre ces candidatures il faut inscrire cette démarche dans le temps et s'y tenir même si il y a
00:23:23
souvent des déceptions qui sont associées à la recherche d'emploi donc il y a matière à assister des demandeurs d'emploi qui pourraient manquer d'expérience dans cette activité de de
00:23:34
recherche d'emploi dans ce programme le conseiller est un est essentiel c'est lui qui fait d'air toute une partie de l'activité de recherche du
00:23:47
demandeur d'emploi le programme d'accompagnement renforcé il consiste à concentrer les moyens qui sont mis à disposition des demandeurs d'emploi
00:24:00
usuellement un demandeur d'emploi est suivi par un conseiller référent dans l'accompagnement standard un conseiller de Pôle Emploi à 120 demandeurs d'emploi qu'il suit dans l'accompagnement
00:24:13
renforcé ce nombre de demandeurs d'emplois qu'il suit est de 40 donc ça fait une énorme une très importante augmentation des moyens qui sont mis à disposition alors cette première étude
00:24:27
se déroulait aussi dans un contexte particulier dans lequel il y avait un accompagnement renforcé le même accompagnement renforcé qui était mis en oeuvre soit par le service public c'est
00:24:39
le programme CVE soit par le secteur privé c'est ce qu'on appelle le programme opp pour opérateur privé de placement donc vous avez ici le design expérimental qu'on a suivi donc il y a
00:24:52
un grand nombre de demandeurs d'emploi ont été alloués au hasard à trois groupes l'un qui recevait l'accompagnement standard et puis deux autres qui recevaient l'accompagnement renforcé soit offert par le secteur
00:25:03
public soit offert par le secteur privé alors vous avez ici les résultats sur est-ce que ça marche sur le graphique de gauche vous avez le taux de retour à l'emploi des gens qui ont reçu
00:25:17
l'accompagnement standard et donc comme vous voyez ce taux de retour à l'emploi il est extrêmement faible et il progresse très peu il est de 10% au bout de trois mois et au bout de un an il est
00:25:29
encore uniquement de de 30%. alors ce que vous avez sur le graphique de droite c'est l'impact du programme donc vous avez en bleu l'impact du programme offert par le secteur public et en
00:25:42
orange l'impact du secteur du programme offert par le secteur reprisé et ce graphique montre les différences de taux de retour à l'emploi entre les demandeurs d'emploi qui bénéficient de l'accompagnement renforcé et puis ce qui
00:25:56
bénéficient de l'accompagnement standard et comme vous le voyez l'augmentation du taux de retour à l'emploi est extrêmement net et extrêmement importante et ce dès le début en particulier pour le programme offert par
00:26:09
le secteur public c'est un petit peu plus lent à se mettre en place pour l'accompagnement offert par le secteur le secteur privé mais donc globalement c'est un programme qui marche qui marche
00:26:22
bien on concentre les moyens et ça conduit à une augmentation du retour à l'emploi alors une question qui vient assez naturellement à l'esprit c'est est-ce que ça réduit le chômage si on
00:26:34
considère que le problème est un manque de qui soit disponible dans l'économie si on accompagne des demandeurs d'emploi on va leur donner un emploi mais ça risque
00:26:47
d'être aux dépens des autres demandeurs d'emploi ceux auxquels on n'a pas apporté une assistante donc il y a il pourrait y avoir une espèce de jeu de chaise musicale qui
00:26:59
pourrait faire en sorte que bah si on aide quelqu'un c'est aux dépens de quelqu'un d'autre et donc pour répondre c'est une question qui est importante et qui était présente dans la sphère académique depuis longtemps c'est aussi
00:27:13
une question qui est importante sur le plan de la politique économique et en fait cette question nous a été suggéré par nos partenaires du service public de l'emploi et puis du ministère du Travail
00:27:25
et pour répondre à cette question on a utilisé un design astucieux qui est représenté par le graphique que vous avez sur le slide donc il y a un grand nombre d'agences locales de l'emploi qui
00:27:37
ont été associés à cette à expérimentation et on a commencé par allouer au hasard c'est ces agences locales de l'emploi à deux groupes un groupe qui était dans lequel le
00:27:50
programme n'était pas développé ça a constitué ce qu'on appelle le contrôle pur dans lequel l'accompagnement standard est offert aux demandeurs d'emploi et puis dans les autres marchés il y a cette
00:28:02
même assignation au hasard à des demandeurs d'emploi soit à participer à un accompagnement renforcé soit à recevoir aussi l'accompagnement standard donc c'est ce qu'on appelle le contrôle
00:28:15
exposé et l'intérêt de ce design expérimental c'est qu'il y a deux groupes de contrôle un groupe de contrôle dans lequel les demandeurs d'emploi n'ont pas accès ne sont pas en concurrence avec des demandeurs d'emploi qui bénéficient de l'accompagnement
00:28:28
renforcé c'est le contrôle pur et puis le contrôle exposé dans lequel ils font face à la concurrence de demandeur d'emploi qui ont bénéficié de l'accompagnement renforcé alors vous avez ici les résultats
00:28:40
le premier bâton le bâton bleu vous montre en fait l'analogue du résultat qu'on avait avec l'autre programme c'est-à-dire la différence entre le taux de retour à l'emploi des gens qui ont bénéficié de l'accompagnement et ceux qui sur leur même marché
00:28:53
n'ont pas bénéficier de l'accompagnement renforcé et vous voyez qu'on a comme dans l'autre étude une augmentation du taux de retour à l'emploi qui est assez importantes puisqu'elle est de l'ordre de 10%. ce qui est intéressant dans ce
00:29:06
graphique c'est le bâton orange le bâton orange lui il compare le taux de retour à l'emploi des demandeurs d'emploi qui sont dans le groupe de contrôle exposé donc ils font face à la concurrence d'autres demandeurs d'emploi qui ont bénéficié de l'accompagnement renforcé
00:29:19
et puis le groupe de contrôle pur dans lequel aucun demandeur d'emploi n'a reçu de d'assistance particulière et vous voyez que là il y a un impact qui est négatif donc qu'est-ce que ça veut dire ça veut dire que la situation de ces
00:29:31
demandeurs d'emploi qui bénéficient de l'accompagnement qui ne qui font face à la concurrence de demandeurs d'emploi bénéficier d'accompagnement renforcé et ben elle se dégrade vous
00:29:44
avez les fenêtres en jaune qui mesure le vrai effet pour les gens qui ont bénéficié de l'accompagnement qu'elle est pour eux la vraie la vraie plus-value c'est-à-dire en mesurant l'impact par rapport au groupe de
00:29:57
contrôle pur ce graphique ne montre pas l'effet global l'effet global ce serait le mix de l'effet pour les bénéficiaires c'est-à-dire le bâton jaune et puis le
00:30:09
l'effet pour les non bénéficiaires les gens qui sont qui ne peuvent pas bénéficier du programme qui est le bâton orange et quand on fait le cumul des deux avec le poids respectif de chacune des populations finalement le résultat
00:30:22
de cette étude et que il ne reste pas grand chose comme augmentation en termes de retour à l'emploi donc un autre résultat qui était intéressant qu'on a pu conduire aussi dans ce dans cette
00:30:34
étude c'est que on a pu faire partie faire cette analyse par type de marché et on a regardé si qu'elle était quels étaient les résultats dans des marchés dynamiques dans lequel la demande de
00:30:47
travail est importante et puis démarcher qui était plutôt déprimés dans lequel la demande de travail est faible est-ce que vous voyez ce qui est important c'est le bâton orange là ce que vous voyez c'est que le bâton Orange il est négatif et
00:31:00
important uniquement lorsque la demande de travail est faible et donc c'est un résultat qui est important parce que il montre que c'est justement dans les marchés où on aimerait apporter le plus d'assistance
00:31:13
aux demandeurs d'emploi parce que la demande de travail est faible que il faut que le justement leur apporter de l'assistance n'est pas très très efficace alors on sait poser la question
00:31:24
de savoir pourquoi qu'est-ce qu'on pourrait faire lorsque la demande de travail est faible et si par exemple on pourrait pas essayer d'augmenter la demande de travail
00:31:38
par exemple en consistant les entreprises dans leur procédure de recrutement il est possible que dans les entreprises des petites entreprises en particulier il y ait des emplois qui
00:31:49
soient vacants qui soient mais que dans l'entreprise pour lequel l'entreprise n'exprime pas de besoins parce que c'est trop compliqué pour elle de se lancer dans une procédure de recrutement donc il se trouve qu'à ce moment après avoir
00:32:03
délaissé pendant très longtemps le côté entreprise de son activité Pôle Emploi avait décidé de redynamiser toute son offre de service avec créer une gamme de service pour
00:32:15
accompagner les entreprises donc on a simplement tiré au sort considérer 8000 entreprises et tirées au sort 4000 entreprises qui ont été prospectées et approchés par Pôle emploi pour leur proposer tous les services qui étaient
00:32:28
qui n'étaient possible alors vous avez ici les résultats c'est un accompagnement qui marche très bien vous avez d'abord l'impact sur les offres qui ont été déposées trade Pôle
00:32:40
Emploi donc le bâton bleu montre les offres déposées à Pôle emploi dans le groupe de contrôle et le bâton Orange vous montre les offres déposées à Pôle emploi par les entreprises qui ont
00:32:51
bénéficié des services et le petit carré vert montre l'impact donc vous voyez qu'il y a premièrement une augmentation des offres qui sont déposées à Pôle emploi et deuxièmement alors ce sont des
00:33:04
offres en CDI donc c'est des emplois de bonne qualité et vous avez dans le graphique de droite l'impact sur les embauches et vous voyez que le fait de déposer des offres et suivi d'une augmentation des embauches donc c'est
00:33:16
vraiment des besoins qui sont exprimés auprès de Pôle emploi et ça augmente donc le nombre d'embauches en CDI qui sont effectués par les par les entreprises donc c'est un programme qui marche très bien alors il marche très
00:33:29
bien mais vous avez en bas un autre résultat qui est aussi important c'est qu'on a examiné l'hétérogénéité des impacts la différence des impacts entre les entreprises qui étaient déjà contenu de Pôle emploi et les entreprises qui
00:33:42
étaient par contre pas des clients réguliers de Pôle Emploi est-ce que vous voyez le bâton vert vous montre l'impact sur les offres vous voyez que l'impact sur les offres il est positif et il est le même un peu dans les deux groupes
00:33:53
d'entreprises par contre le bâton vert vide vous montre le l'impact sur les embauches est-ce que vous pouvez constater c'est que il y a une impact sur les embauches uniquement
00:34:05
dans les entreprises qui étaient connues de Pôle Emploi donc ce que ça veut dire c'est que c'est difficile de faire des recommandations des suggestions de personnels à de personnes à embaucher
00:34:18
pour lorsqu'on ne connaît pas l'entreprise donc ça ça nous a amené en fait à générer je voudrais finir par ça à entamer un programme dans lequel on cherche à travailler avec Pôle emploi
00:34:32
sur la façon dont il est possible d'améliorer les recommandations donc ces travaux sont beaucoup plus de la nature d'une autre nature dans laquelle il s'agit davantage d'essayer de concevoir également les
00:34:45
interventions qui pourront ensuite être testés donc il y a deux études que je voudrais brièvement vous vous mentionnez la première et celle qu'on appelle à Paris Mans sur préférence
00:34:56
pour le Pôle Emploi dispose d'outils pour faire des recommandations de d'offres d'emploi à des demandeurs d'emploi qui est basé sur
00:35:09
son bassés sur les caractéristiques de ses emplois donc à un emploi caractérisé par son métier le salaire la localisation le type de contrat les horaires autant de paramètres qui sont très importants pour un demandeur
00:35:22
d'emploi et lorsque Pôle Emploi cherche à identifier des offres qu'elle va pouvoir recommander à un demandeur d'emploi elle prend en compte tous ces critères mais elle associe à chacun de ces critères un poids qui est le même pour tout le monde et qu'elle a choisi
00:35:35
un petit peu sur dire d'experts l'idée de l'expérimentation et de dire mais pourquoi ne pas demander directement aux demandeurs d'emploi quels sont leurs quelles sont leurs préférences et donc c'est une expérience qui est en cours
00:35:49
qui est dans laquelle on commence par demander aux demandes en emploi quels sont les critères qui sont les plus importants pour eux et ensuite sur la base de ces de cette réponse de l'entreprise des demandeurs d'emploi on
00:36:00
peut leur suggérer des offres qui sont adaptées à leur préférence donc ça c'est un problème une première étude la deuxième étude se situe totalement de l'autre côté du spectre et elle mobilise
00:36:14
davantage les méthodes de Data science de machine learning il s'agit d'utiliser toutes les informations qui sont disponibles à Pôle emploi sur les caractéristiques de demandeurs d'emploi les caractéristiques des offres pour
00:36:25
s'en servir pour prédire quels ont été les emplois qui ont été les appariements qui ont été des succès pour les demandeurs d'emploi donc c'est un projet qui est il y a 13
00:36:38
enthousiasmant aussi les prédictions marchent très bien mais ça pousse plein de questions en particulier savoir comment on peut utiliser correctement ces prédictions pour pouvoir faire des
00:36:52
recommandations et puis aussi le côté de comportement des demandeurs d'emploi comment est-ce qu'on peut convaincre les demandeurs d'emploi de considérer les offres qu'on leur recommande ce sont deux expériences qui
00:37:03
sont en cours et pour lesquels on aura bientôt des résultats voilà je vais m'arrêter ici j'espère que j'ai pas été trop long et je vais passer la parole à Cyril
00:37:13
[Applaudissements] merci beaucoup Bruno je voudrais également remercier très fortement Esther Duflot et jpal pour leur invitation et puis plus largement
00:37:31
l'ensemble des chercheurs un certain nombre sont présents dans cette salle avec qui nous avons travaillé nous continuons à travailler sur les expérimentations et les évaluations après que ce survole par Bruno de
00:37:45
quelques unes des exportations et de leur évaluation que nous avons réalisées moi ce que je voudrais partager avec vous ces quelques réflexions sur les conditions dans lesquelles dans un organisme comme pôle emploi les
00:37:57
évaluations peuvent être utiles c'est utile pour éclairer les décisions et orienter les choix de politique publique pour qu'une évaluation soit utile un organisme comme pôle emploi il faut alors le premier point vous
00:38:09
surprendra pas au vu de ce qui a été dit mais comme la rappeler Martin hirs tout à l'heure le terme d'évaluation peut recouvre parfois des choses un peu différentes nous cherchons vraiment nous souhaitons avoir des évaluations qui estiment les effets des dispositifs
00:38:22
qu'on met en oeuvre sur les trajectoires du mode d'emploi et sur les employeurs on a besoin que nos évaluations aillent au-delà de juste décrire comment le dispositif se met en oeuvre et donc ça suppose d'avoir des stratégies qui
00:38:33
déterminent un contrefactuelle que ce serait-il passé sur la trajectoire des demandeurs d'emploi si vous n'avez pas bénéficié du dispositif et du coup en par comparaison avec la territoires qu'on observe
00:38:45
quelle est l'impact de ce dispositif la deuxième question enfin le deuxième condition c'est que ça répond à des questions détaillées nos collègues au sein de Pôle Emploi qui ont pour charge de définir la stratégie de définir
00:38:58
l'offre de service c'est important de savoir si le dispositif testait marche ou ne marche pas pour reprendre une expression qui était utilisée plusieurs fois mais c'est on a besoin d'aller plus
00:39:11
dans le détail quand je veux la question qui va se poser c'est pas uniquement ce que je continue dispositif ou est-ce que je l'arrête c'est pour qui je le propose donc on a besoin de voir si les effets sont les mêmes pour tous les demandeurs d'emploi tout toutes les entreprises
00:39:24
dans quelles circonstances a-t-il cette efficacité Bruno a montré que certaines politiques pouvaient avoir un effet positif sur un marché de travail tendu
00:39:36
par exemple et un effet moins bon quand le marché du travail ne l'était pas donc elle circonstances être efficace à quel coût le les moyens dont on dispose son ne sont pas
00:39:48
illimités les questions qu'on a c'est où mettons les moyens de politique publique et donc là aussi Bruno n'a pas présenté mais dans la première exploitation qui vous a montré sur le sur l'accompagnement intensif il y a
00:40:03
eu des analyses un peu de coup bénéfice qui ont été faites et qui peuvent permettre aussi ensuite de de comparer les faits différents dispositifs que se passe-t-il si le petit généralisée rien semble de questions très précises qui qui se pose et qui vont de l'âge de
00:40:16
juste le dispositif augmente de 3 points ou de 10 points l'accès à l'emploi troisième condition absolument nécessaire l'évaluation peut se faire plaisir en
00:40:28
ayant des beaux papiers académiques qui sont utiles pour savoir commun mais infini ce sont pas les chercheurs qui vont déterminer qui vont élaborer les dispositifs futurs ce sont
00:40:41
les collègues de Pôle emploi en charge de définir l'offre de services qui eux seuls peuvent connaître comment dans le détail vous monter un dispositif qui doit après se déployer dans le réseau et
00:40:53
donc ça veut dire que les résultats des évaluations doivent être compris accepter partager bien interpréter par par l'ensemble des des agents de Pôle emploi et puis
00:41:05
également j'y reviendrai pour que l'évaluation se mette en place ça suppose aussi en amont des conditions et donc une forte articulation entre les évaluateurs et l'ensemble des des agents
00:41:17
en charge de service et de la stratégie à Pôle emploi et puis le dernier point est pas toujours le plus facile je le mentionne mais on a et puis je pense que Martin Hirsch a connu ça aussi dans
00:41:29
plusieurs de ses fonctions précédentes on a souvent des acteurs volontaires pour faire des expérimentations mais qui aimerait bien pouvoir t'avoir au bout de 9 mois 1 an si on généralise
00:41:41
où on je n'arrive pas et c'est délai ne sont pas tout à fait ceux de la recherche académique et donc il y a les arbitrages à trouver quelle information utile on peut apporter dans des délais qui sont utiles à la décision
00:41:53
poussée de l'autre côté les décideurs aussi à être un peu plus patient parfois en sachant que quand certains résultats n'arrivent qu'après les décisions de généraliser ils dressent utile
00:42:06
l'histoire se poursuit un savoir qui s'accumule certains résultats d'expérimentation qui n'ont été connus qu'après les premières décisions d'évaluation continue quand même influencer les choix de politique future et c'est filmé sachez enfin je parle
00:42:19
notamment aux amis chercheurs que le les la patience des décideurs politiques et parfois pas aussi grande que celle qu'on voudrait et donc comment au sein de Pôle
00:42:33
Emploi on est parvenu à installer du coup ces suggestions utiles puisque comme le rappeler Bruno cela fait quelques plusieurs années maintenant que nous faisons là il y a plusieurs choses
00:42:45
un premier point c'est un cadre institutionnel qui le facilite ce n'est absolument pas suffisant bien sûr mais il y a au sein de Pôle Emploi comité stratégique et d'évaluation qui le fait a été prévu dans dans la loi qui a créé
00:42:58
pour l'emploi qui est une émanation du conseil d'administration donc les membres de ce comité stratégique d'évaluation ce sont des membres du conseil d'administration plus quelques experts sur l'aspect technique d'évaluation et cette double
00:43:11
fonction à la fois stratégique et d'évaluation permet en tout cas de tracteur soit enfin voilà fasse le lien entre les résultats de l'évaluation et les décisions stratégiques donc c'est ce
00:43:24
conseil notre conseil d'administration qui vote tous les deux trois ans un programme d'évaluation qui sont réalisés soit en interne par les équipes de Pôle emploi des économistes sociologues statisticiens
00:43:35
et souvent en collaboration aussi avec des universitaires des ça peut être également avec des collègues de la DARES le service statistique du ministère du Travail et cette collaboration
00:43:49
permet de bien articuler en tout cas de institutionnaliser le fait que des évaluations sont prévues sont faites sur les dispositifs et d'articuler avec les leaders au sein de Pôle Emploi deuxième
00:44:04
point je l'avais un peu évoqué cette acculturation réciproque qu'il faut mettre en place entre les chercheurs et les opérationnels l'évaluation ça nécessite du temps les opérationnels
00:44:16
doivent le comprendre c'est en train de des contraintes quand on mène Bruno a donné des exemples une évaluation par affectation aléatoire un parentisation ça peut être d'un point
00:44:28
de vue personnel très très contraignant ça peut il faut convaincre les agents que même si on tire au sort le fait que tel le dispositif à titre expérimental et l'autre nom ça ça peut
00:44:42
heurter ça faut convaincre de bien respecter le process de l'intérêt de ça et donc ça suppose que les chercheurs les équipes d'évaluateur
00:44:54
interne passe du temps pour pour accompagner pour convaincre poursuivre ses gros investissement les évaluations de ce type là à faire et puis de l'autre côté ce quand je dis la culture
00:45:07
réciproque dans les travaux qu'on qu'on mène et le fait que qu'on fait ça depuis plusieurs années maintenant de nombreux chercheurs qui connaissent bien Pôle emploi qui ont eu l'occasion d'échanger très souvent avec
00:45:21
avec les agents de Pôle emploi et voilà pour comprendre aussi les contraintes opérationnelles et qui peuvent conduire parfois adapter les le process d'évaluation réduire un peu le nombre d'observations par rapport à ce qui
00:45:35
serait l'optimum qu'on vous souhaiterais et puis parfois la part des stratégies d'évaluation alors je vais peut-être heurter certains chercheurs qui ne soient pas uniquement la rentrée quand on peut faire une évaluation randomisée
00:45:47
c'est c'est toujours bien mieux et on en a fait plusieurs Bruno notre présenté il y a des cas et y compris avec certains chercheurs qui présentent ou pour nous n'était pas possible et dans ce cas-là il y a d'autres stratégies
00:46:00
d'identification qui donnent des résultats peut-être parfois un tout petit peu moins solide mais néanmoins qui apporte de l'information surtout quand on a aussi une accumulation de résultat d'évaluation qui qui permettent de préciser les choses et cette ce
00:46:15
contact se fait aussi alors pour l'accélération les bonnes expériences sont essentielles le fait qu'on est plusieurs travaux approfondis plusieurs expérimentations plusieurs évaluations
00:46:29
que montrer leur intérêt fait que aujourd'hui c'est plus largement accepté ça peut rentrer dans dans certains réflexes au sein de de Pôle emploi et puis on accueille aussi de nombreux
00:46:42
chercheurs alors ça se fait via des césarsifs mais aussi plus largement il y a plusieurs chercheurs qui quand ils viennent travailler on peut être accueillis à Pôle Emploi l'occasion d'échanger beaucoup avec nos collègues ce qui
00:46:54
permet aussi cette culture réciproque et puis dernière chose sur ce item là dans les évaluations que nous conduisons avec des chercheurs ou en interne on associe généralement des
00:47:08
travaux quantitatifs une étude d'impact une estimation d'impact la plus rigoureuse possible et des travaux qualitatifs qui sont extrêmement importants pour mieux comprendre certains résultats mais aussi pour apporter une
00:47:20
connaissance un peu fine de la façon dont le dispositif qu'on évalue est perçu par les acteurs qui le mettent en œuvre et aussi justement pour aider ce dialogue et l'explication qu'on va donner des résultats en r de nos
00:47:34
collègues dans les conditions qui ont permis de développer l'évaluation je ne peux pas ne pas citer quand même le l'apport extrêmement important qui a été le développement des données administratives
00:47:45
dans la mesure de l'accès à l'emploi notamment jusque 2012 on avait peut-être que encore aujourd'hui un demandeur d'emploi qui est inscrit à Pôle emploi pour rester inscrit Pôle Emploi chaque mois doit actualiser sa situation car
00:47:59
doit déclarer à Pôle emploi je suis toujours à la recherche d'un emploi je souhaite rester inscrit à Pôle emploi très souvent quand des demandeurs d'emploi retrouvent un emploi ce qu'ils font simplement qu'il ne souhaite plus
00:48:11
rester à Pôle emploi il ne s'actualise pas mais sans que Pôle emploi et a priori l'information est-ce que il ne s'actualise pas parce qu'il a retrouvé un emploi ou parce que il a oublié ou parce qu'il est découragé et donc jusque
00:48:23
2012 sans information la façon dont on pouvait mesurer à peu précisément le retour à l'emploi qui est l'un de notre nos objectifs principaux c'était par des enquêtes du coup forcément sur les échantillons réduit des enquêtes
00:48:36
coûteuses et ce qui quand même limité un peu les possibilités d'évaluation depuis 2012 Pôle Emploi reçoit des déclarations des déclarations en fait c'est la déclaration que l'employeur qui est recrute un salarié doit faire aux
00:48:49
urssafs avant chaque embauche et donc nous avons maintenant de façon exhaustive cette information telle demandeur d'emploi à retrouver un emploi et ça ça nous permet ça donne une puissance très grande pour expérimenter
00:49:01
pour évaluer simplement en mesurant sur des sous populations parfois très très précises le retour à l'emploi le temps étant limité je ne parlerai pas ici des mesures de clic par contre ce que je
00:49:13
voulais vous dire aussi c'est que les exemples qu'à donner Bruno mais également les autres évaluations ont eu un vrai effet sur les choix politiques de Pôle Emploi
00:49:24
Bruno vous a montré ce résultat de d'expérimentation montrant que l'accompagnement intensif avait un effet positif sur les trajectoires de retour à l'emploi des chômeurs les plus de l'emploi et que par ailleurs cet effet
00:49:37
était un peu plus fort pour l'accompagnement réaliser en interne par le service public de l'emploi par rapport à un accompagnement personnalisé et ça ça conduit pour l'emploi à réviser un peu sa doctrine d'externalisation dans les années 2010 en réinternalisant
00:49:51
justement l'accompagnement intensif pour les personnes les plus éloignées de l'emploi et du coup en externalisant sur des raisons de capacitaires certaines prestations d'accompagnement un peu plus d'offres demandeurs d'emploi plus autonome qui
00:50:03
pouvait notamment néanmoins bénéficier d'un de prestation d'accompagnement sur la question de sur l'élection de la prospection qui a présenté Bruno aussi ça a conduit
00:50:14
qui montrait que agir vers les entreprises ça pouvait créer de l'emploi c'est pas forcément un résultat qu'on attendait complètement avant de faire évaluation c'est un reflet de l'évaluation qui a conduit Pôle Emploi réinvestir de plus importantes la les
00:50:28
actions d'accompagnement des entreprises pas uniquement par la protection d'ailleurs mais également par des dispositifs de rappel le systématiquement des entreprises qui ont déposé une offre qui n'est pas pourvue au bout de 30 jours pour faire un
00:50:41
diagnostic de situation et proposer des situations mais c'est aussi des choses qui reposent sur les résultats de délégation et d'ailleurs si vous avez lu le rapport de préfiguration de France travail accompagné plus intensivement certains de certaines personnes
00:50:54
éloignées de l'emploi et développer l'action d'entreprise et notamment la prospection est cité dans un port ça fait c'est aussi des axes qui s'appuient sur ces résultats je ne voudrais quand même pas vous laisser avec le sentiment que tout est
00:51:06
parfait tout va bien que il n'y a plus rien à faire si on se tourne vers l'avenir quelques travaux en cours et quelques points d'amélioration pour les peut-être pour la troisième décennie de
00:51:17
jeepal tout d'abord il est important que nous comprenions mieux les les comportements étaient l'un des axes des travaux que l'on mène avec Bruno crépon pour comprendre d'où viennent les effets le fait que l'accompagnement intensif
00:51:31
accélère le retour à l'emploi vous êtes plusieurs façons de l'expliquer est-ce que c'est parce que les chômeurs recherchent mieux ça peut chercher est-ce que c'est parce qu'ils recherchent plus intensifiement pas forcément mieux mais comme ils en font plus d'emploi est-ce que c'est parce que
00:51:44
ils ont peur de d'une pression ils acceptent plus rapidement des emplois éventuellement de moins bonne qualité selon l'explication que vous donnez vous voyez que l'effet sur le bien-être et la
00:51:57
qualité des appareils des emplois n'est pas tout à fait la même donc comprendre quels sont les mécanismes qui qui sous-tendent ces résultats et particulièrement important ça permet aussi d'identifier des sources
00:52:11
d'hétérogénéité inobservées tous les personnes réussissent pas de la même façon à de l'accompagnement à des conseils à de l'information comment accompagner à quel moment donner l'information
00:52:23
un chemin de son parcours tout ça c'est des questions qui faut qu'on creuse par des travaux et des expérimentations et nous avons notamment là dessus un projet très intéressant en cours sur les anticipations des demandeurs d'emploi ou
00:52:35
se rendre compte quand on interroge les demandeurs d'emploi sur leurs anticipations de retour à l'emploi lesquels sont trop optimistes trop pessimistes et en quoi ça affecte leur comportement de recherche est-ce que il
00:52:48
y a possibilité d'agir pour changer ça est-ce que c'est souhaitable pour l'instant je n'ai pas les résultats mais ce sont de questions qu'on se pose il faut également qu'on progresse même si des choses ont été faites et Bruno on a
00:53:00
parlé dans la prise en compte de l'hétérogénéité des des effets à la fois selon le les publics auxquels on s'adresse où on emploie les employeurs mais aussi selon la conjoncture bonne ou
00:53:12
mauvaise la date d'exécran du service est-ce que l'effet d'un d'une prestation ou d'une formation par exemple et le même en tout début de période de chômage ou au bout de quelques mois c'est quel moment optimal pour eux pour pour le faire la façon dont le service est
00:53:25
présenté on sait que ça peut jouer également dans le les travaux qu'on mène avec Bruno il est un peu évoqué à travers le deuxième des projets en cours qui l'a présenté on a des sujets également
00:53:36
autour de des algorithmes et là dessus le point important que que je voudrais partager avec vous c'est que c'est pas uniquement une question technique d'optimisation de l'algorithme derrière l'usage d'algorithme pour faire des des
00:53:49
recommandations pour orienter un peu les décisions pour conseiller les sujets il y a d'une part des sujets éthiques extrêmement importants mais ça sont sujets qui à la fois sont connus dans le principe mais qui sont toujours difficiles à traiter si vous faites des
00:54:01
recommandations d'emploi par exemple d'offres à des personnes et que la systématiquement des personnes identiques mais un homme et une femme vous faites des emplois entre guillemets masculins l'un des emplois entre guillemets féminins à l'autre ça pose
00:54:14
des problèmes éthiques donc comment on s'assure que les algorithmes ne renforcent pas des billets qu'on ne fait pas renforcer mais il y a également un sujet c'est comment les agents comprennent les résultats de l'algorithme et agissent en fonction de
00:54:26
ça pour donner un exemple imaginons que nous ayons un algorithme qui permettent de dire un conseiller quand il reçoit un emploi la première fois ça demande un emploi qui vu ses caractéristiques au
00:54:38
niveau de diplôme le métier qu'il cherche le marché de travail devrait retrouver relativement rapidement au contraire devrait avoir des difficultés ce qui peut être une information utile pour le conseiller pour savoir si quelqu'un degré de
00:54:50
d'attention et d'intensité de d'être qu'il doit apporter il y aura toujours des cas où ce sera en décalage que dire à l'algorithme avec la perception qu'elle le conseiller et il est important que le conseiller comprenne pourquoi l'algorithme dit ça tu le dis
00:55:03
parce que par exemple le si le l'algorithme dit sur un demandeur d'emploi tellement d'emploi un risque de ne pas retrouver d'emploi vu son diplôme et tout ça et
00:55:16
que le conseiller dit mais je comprends pas quand il me parle il a un projet très précis d'ailleurs il a une entreprise qui est prête à l'embaucher ça dans ce cas-là c'est une inflation que l'algorithme n'a pas et donc le conseiller peut plutôt faire confiance à
00:55:28
son point de vue et pas à l'algorithme et en revanche si l'algorithme si le conseiller dit moi je pense que vu son diplôme est vu le marché de travail il y a pas de problème alors que l'algorithme il y a absolument un problème dans ce
00:55:41
cas là ce sont des informations que l'algorithmes a et donc peut-être le conseiller peut s'interroger un peu plus et ça suppose quand même d'être d'avoir une compréhension assez fine des informations sur lesquelles reposent l'algorithme je ne reviens pas sur les
00:55:54
effets d'équilibre général c'est typiquement l'exemple intermédiaire qui a donné Bruno des politiques efficaces au niveau individuel peuvent ne pas avoir le même effet comme ce sont généralisées et dernier enjeu avant d'en
00:56:07
venir à ma conclusion il faut qu'on progresse également dans la diffusion des résultats autant actuellement à Pôle emploi au sein de la direction générale le l'évaluation est très bien inséré les
00:56:22
directions de service et directement la stratégie on a beaucoup d'échanges avec eux ils prennent en compte les évaluations ils travaillent à l'élaboration des vallées en amont autant la diffusion des résultats par exemple auprès des conseillers d'une
00:56:34
façon qui qui leur reçoit utile pour savoir ce que je prescris ou non tel dispositif c'est un sujet sur lequel on doit encore avancer et donc pour conclure ce que je voulais dire c'est que bon le
00:56:47
marché du travail mais ça vous vous le savez ce sont des questions extrêmement complexes du fait de ces externalités très fortes si je oriente et demandeurs d'emploi vers tel secteur d'activité ça peut avoir un
00:57:00
effet très positif si je le fais pour tous et faites congestion ça ne fonctionne plus et aux enjeux importants mais ça encore une fois je pense que j'ai pas à faire de long développement pour vous en convaincre si vous orientez des emplois vers des formations
00:57:12
complètement inutiles c'est quand même extrêmement coûteux sur sur leur vie et leur trajectoire c'est aussi un sujet sur lequel on a de très nombreux acteurs Martin hier je faisais allusion aux différents degrés de niveau de
00:57:24
gouvernance on a de très nombreuses interventions et on a des situations qui marchaient en perpétuel évolution des questionnements perpétuels évolution donc on n'est pas dans un cadre complètement d'optimisation statique propre tout ça on est plutôt dans un jeu
00:57:37
d'optimisation dynamique et donc il faut prendre en compte ces évolutions et le dernier point les ce malgré ou tout l'apport essentiel des travaux qu'on a présenté ce sont pas ces travaux seuls
00:57:50
qui vont déterminer les choix de politique de l'emploi les politiques de l'emploi ont des effets redistributifs peuvent envoyer à des débats de société des questions de société qui est la
00:58:02
place du travail que l'on souhaite avoir dans la société faut-il augmenter ou non le taux d'emploi c'est pas une expérimentation que l'on aura le résultat donc je voulais juste rappeler que ce sont des choix qui doivent faire l'objet de délibération démocratique
00:58:14
mais en revanche que ces choix politiques de politique de l'emploi puisse s'appuyer sur des résultats avérés solides et scientifiques c'est un apport essentiel et c'est le rôle des travaux que vous menez merci
00:58:30
[Musique] merci beaucoup à tous les trois pour ces interventions très riches on a une vingtaine de minutes pour poursuivre la discussion entre vous et il y a beaucoup
00:58:44
de thématiques qui seraient intéressant de creuser peut-être une première pour lancer la discussion tournerait autour de l'institutionnalisation souvent dans des contextes on a l'impression que
00:58:56
c'est des démarches d'évaluation et d'utilisation de résultats rigoureux repose beaucoup sur des individus très convaincus et au gré d'un changement de poste ou d'une alternance politique la
00:59:08
dynamique retombe or là on a l'impression dans l'exemple qui a été présenté à Pôle emploi que c'est vraiment une démarche qui est très institutionnalisée dans votre mode de fonctionnement peut-être que les uns et
00:59:20
les autres vous pouvez nous en dire un peu plus et Martin aussi éclairé cette cette thématique de l'institutionnalisation de l'évaluation rigoureuse dans la prise de décision
00:59:32
publique c'est clair que le côté nouveau les contraintes que c'est la pause font qu'on est encore au stade où
00:59:48
ça ne résiste dans la durée que soit s'il y a des gens extrêmement engagés qui contrevent et marais poursuivent soit et
01:00:00
le Pôle emploi je pense est une des rares institutions qui se sont dotés des moyens et des modes de gouvernance que Cyril a présenté pour rester dans la durée c'est pour ça que je pense qu'il
01:00:14
manque des instruments suffisamment dotés suffisamment stable suffisamment installés à deux endroits quand on regarde au Parlement qui a
01:00:25
gros impact qui va produire les lois et les évaluer et où il y a des offices d'évaluation cet endroit là en France n'est absolument pas équipé de
01:00:39
d'équipe académique de production de données de production d'études etc donc on a un trou dans le dispositif législatif c'est-à-dire ce
01:00:53
qui va conduire à la loi ne s'appuie pas sur un organe interne contrairement encore une fois ce qui peut exister dans d'autres pays suffisamment fort au sein du pouvoir législatif et au sein des pouvoirs exécutifs je voudrais vraiment
01:01:05
insister sur cette quand on regarde le montant des dépenses sociales en France il est une grosse moitié dépend des collectivités territoriales et les collectivités territoriales ont des
01:01:18
associations de défense des collectivités terriales ont quelques observatoires mais on a elle ne se sont jamais dotées et l'État n'a jamais organisé avec elle
01:01:29
l'existence d'un une sorte de moteur de de direction de recherche et et d'innovation scientifique qui pourrait faire en sorte que cela résiste au changement au
01:01:42
changement de personnes donc oui je pense que l'institutionnalisation est importante est encore à construire en complément la mise en place de règles de
01:02:05
gouvernance qui donne du temps qui implique de nécessaire l'évaluation c'est c'est important mais de fait ça ça ne suffit pas on voit que et y compris apôle
01:02:18
emploi si ça peut être 37 place cette particularité fortement portée au départ par la direction de de Pôle emploi et c'est vrai dans le temps les habitudes s'installe
01:02:30
j'espère que du coup ça ça donne une base pour poursuivre mais enfin voilà en tout cas ne pensons pas qu'il suffira de d'écrire dans la loi il faut une évaluation systématique alors on a quand
01:02:43
même des expériences intéressantes quand on dit qu'une évaluation cinématique on a quand même des des dispositifs importants de petites publiques ou la loi prévoit un comité d'évaluation avec des chercheurs éminents qui n'ont pas
01:02:56
toujours sur l'évaluation endomisée parfois on les sur des dispositifs on a quand même des choses intéressantes qui se passent mais c'est vrai qu'on n'est pas du tout à la à la hauteur de ce qu'il faudrait
01:03:13
l'institutionnalisation oui moi je trouve que c'est une plein de choses mais pas n'importe comment je pense qu'il y a différentes dimensions qui sont vraiment très importantes et c'est d'ailleurs une un des piliers de
01:03:25
l'action que le Power dans beaucoup de pays c'est de développer avant tout une culture de la politique basée sur des preuves et ça ça veut dire vraiment faire des investissements beaucoup d'attention
01:03:38
beaucoup discuter avec les partenaires de telle sorte que ils puissent comprendre déjà le les tenants et les aboutissants de l'évaluation ensuite je pense que
01:03:50
l'institutarisation oui mais pas n'importe comment parce que personne m'a vu personnelle c'est que c'est très important que les évaluations restent faites par des des organismes
01:04:03
extérieurs des organismes de recherche parce que c'est une garantie d'indépendance et je pense que si on veut que les résultats des évaluations
01:04:15
servent vraiment au débat public il faut qu'elles aient cette dimension d'indépendance et puis par ailleurs je pense que lorsque on travaille lorsqu'une institution travail avec des
01:04:28
chercheurs extérieurs c'est aussi une façon d'apporter des idées nouvelles et je trouve que ça ça met un petit peu aussi ça sinon façon de dire toute l'expérience qu'on a eu avec Pôle emploi
01:04:42
dans lequel on a été des évaluateurs un peu extérieurs pour des questions qui étaient importantes et un peu idéologique autour de l'accompagnement renforcé par le secteur public par le secteur privé là cette indépendance
01:04:56
était vraiment très très importante mais comme je l'ai dit progressivement la nature de la collaboration qu'on a eu avec Pôle emploi a aussi changé et on apporte des idées sur la façon dont il faudrait concevoir tel ou tel
01:05:09
problématique cyril a utilisé le mot de la culture nécessaire pour apprendre à travailler ensemble peut-être en commençant par toi Bruno qu'est-ce que ça implique concrètement pour un chercheur
01:05:20
académique de ce faire autant cours de la décision politique quand on est soi-même plutôt habitué à être sur le temps long de la recherche de travailler avec des gens qui ont des contraintes de mise en oeuvre des contraintes
01:05:32
logistiques opérationnelles politiques comment est-ce qu'on réussit à s'adapter à sa culture et à ça quand on vient du million d'académie
01:05:43
je pense que là ça fait partie un petit peu de l'intérêt de l'exercice je pense qu'il y a pas de contrainte qu'on puisse pas surmonter enfin j'ai
01:05:55
rarement vu des cas dans lesquels il était pas possible de prendre en compte les contraintes des des partenaires avec lesquels on pouvait travailler et je dirais même que en fait c'est toujours
01:06:08
quelque chose qui est extrêmement enrichissant moi il y a une dimension que je trouve que j'ai trouvé vraiment très transformative personnellement pour moi à conduire toutes ces évaluations endomisées c'est le fait de faire du
01:06:21
travail de terrain je ma vie a complètement changé à partir du moment où j'ai conduit des évaluations endomisées parce que au lieu de traiter des grands fichiers de données dans mon bureau et d'essayer de résoudre des
01:06:35
problèmes un peu mathématiques ou mal taillé et ben je suis allé sur le terrain me rendre compte moi-même des problèmes discuter avec les gens discuter avec les partenaires et je trouve que c'est
01:06:48
vraiment une source d'enrichissement c'est une source d'enrichissement pour comprendre les problèmes mais comprendre aussi des problèmes les problèmes que rencontrent les gens mais aussi comme comprendre les problèmes qui peut y avoir quand lorsqu'il s'agit de essayer
01:07:01
de résoudre ces problèmes et dans le sens symétrique moi mais très bons souvenirs ça a été le démarrage de l'expérience 10 000 permis de conduire ou le sujet a été de regarder tous les politiques chaque fois qu'ils étaient
01:07:15
élus promettaient de financer le permis de conduire pour les jeunes et puis quand on multiplie le prix du permis de conduire par le nombre de jeunes ça faisait des grosses sommes plus ou moins herculés et donc on a utilisé une grande partie du fond pour faire une
01:07:28
expérimentation contrôler de grands échelles 10.000 jeunes d'un côté 10000 de l'autre pour regarder ce qui se passait si on finançait le permis de conduire on a choisi les jeunes les plus en difficulté donc qui étaient les jeunes des suivis par des missions
01:07:39
locales et pour organiser et embarquer des missions locales on a réuni les directeurs de mission locale avec le scientifique qui se proposait de mener cette expérimentation et que tu es Yannick Lortie
01:07:51
et les missions locales c'est un univers un peu compliqué en plus c'est un gouvernement de droite qui détestait il pensait qu'on voulait les tuer etc etc donc
01:08:02
ils sont arrivés en grognon et et en grognant encore plus quand on leur a expliqué que les jeunes avec lesquels ils avaient des rapports empathiques qu'on allait le tirer au sort pour savoir qui aurait le droit pas loin à ce
01:08:15
moment-là Yannick l'ortie a dit mais vous vous dites tout cela mais moi je suis là il y a une seule chose qui m'intéresse c'est de publier dans un journal scientifique qui sera lu par 50 personnes
01:08:29
je savais plus où mettre et en fait ça a sauvé la Réunion ça a sauvé la Réunion parce que tout d'un coup ces acteurs se sont sentis partis d'une aventure scientifique réelle avec un enjeu et on a parlé
01:08:44
méthode on a parlé sciences et on a eu 100% d'adhésion au programme donc dans d'autres contextes j'ai effectivement remarqué et probablement
01:08:57
ça doit être la même chose à Pôle Emploi qu'en fait les acteurs de terrain confrontés au fait que on leur dit souvent non ils n'arrivent pas à voir des moyens nouveaux ils n'arrivent pas à
01:09:09
pouvoir prendre des initiatives et dont on va prédire qui seront les principaux freins sont peuvent en réalité être les principaux adhérents et les principaux moteurs à des méthodes
01:09:22
scientifiques et assumer comme scientifique il doit être corriger quand j'ai dit institutionnalisation ça va pas dire d'avoir des chercheurs institutionnels etc c'est d'avoir l'organisme qui a d'une manière
01:09:34
régulière les fonds pour faire les leviers juridiques pour produire etc confié comme on l'a fait avec le fond d'expérimentation avec avec effectivement des acteurs académiques indépendants
01:09:50
un peu le débat et nuancer un tout petit peu un point quedi Bruno évidemment je suis d'accord que c'est extrêmement important d'avoir cette collaboration avec des chercheurs académiques ça ça
01:10:04
permet de ça peut permettre de faire avancer la cause de l'évaluation au sein de l'exemple que donner Martin avec l'émission locale ça c'est des choses qu'on rencontre aussi d'avoir des des acteurs extérieurs moi les conditions
01:10:16
d'évaluation c'est ça sinon on y arrive pas c'est utile ça nous permet aussi à pour les équipes de d'économie sociologues d'évaluateur interne à Pôle emploi de
01:10:27
rester en contact avec les dernières évolutions de la recherche du monde académique c'est aussi évidemment extrêmement utile quand dans l'évaluation on évalue pas uniquement des actions de Pôle Emploi proprement dit mais aussi de partenaires de
01:10:41
prestataires et autres d'avoir justement quand on n'est pas le la possibilité de d'être accusé d'être jugé par qui ça n'empêche pas aussi que c'est normal que Pôle emploi comme tout organisme évalue ces dispositifs internes c'est souvent
01:10:53
en collaboration à des chercheurs pas uniquement il arrive aussi qu'on mette en place en interne des méthodes les mêmes méthodes rigoureuses pour pour évaluer nos dispositifs dès lors que on n'est pas là pour faire
01:11:06
ensuite la communication et le fantôme de Pôle emploi mais qu'on est là aussi pour faire évoluer dispositifs et peut-être que le grand succès justement de cette Scénic c'est que ben on arrive aussi en interne à faire des validation qui parfois concluent que le dispositif
01:11:17
il faut l'arrêter et donc voilà on n'est pas nécessaire sur tous les évaluations d'avoir des chercheurs extérieurs peut-être une dernière thématique avant une pause café qui sera bien méritée
01:11:29
pour tout le monde c'est celle de l'utilisation des résultats vous connaissez un peu l'image d'Épinal qu'on a selon lesquelles la recherche va produire des beaux papiers ou des beaux rapports qui risquent de d'asser vide
01:11:41
dormir dans des tiroirs alors vous allez desserrer le que c'est pas le cas Pôle emploi et qu'il y avait une vraie utilisation par différentes directions des résultats produits par la recherche est-ce que c'est le cas tout le temps quelles sont les conditions pour que ce
01:11:55
soit le cas peut-être vous pouvez nous en dire les uns et les autres un mot je veux bien commencer je pense que c'est vraiment très important de partager les résultats de
01:12:13
aussi largement que possible avec un auditoire aussi large que possible après donc ça c'est pour la dissémination comment ça peut inspirer d'autres d'autres
01:12:26
politiques donc par exemple comme l'a dit Esther je suis allé il y a pas très longtemps en Côte d'Ivoire pour présenter les résultats qu'on avait obtenus
01:12:39
toute la communauté des chercheurs sur l'insertion des jeunes dans l'emploi donc je trouve que ce sont des opérations qui sont extrêmement utiles surtout quand elles sont associées comme ensuite le ministre l'a dit a vraiment
01:12:54
une un intérêt profond pour identifier ce qui marche et ce qui marche pas donc on sent que là il y a vraiment des canaux d'action qui peuvent être extrêmement importants après il y a les projets eux-mêmes et les projets
01:13:07
eux-mêmes moi je trouve que il y a une dimension qui est extrêmement importante c'est celle du cycle d'apprentissage c'est à dire qu'on a souvent des évaluations qu'on conduit d'un programme et on a des résultats qui peuvent être
01:13:20
un peu positifs mais pas complètement positif je trouve que c'est important de pouvoir ensuite se poser la question de pourquoi est-ce que ça marche pas aussi bien que on penserait on pensait et
01:13:32
qu'est-ce qu'il faudrait faire et puis de pouvoir refaire une évaluation donc c'est le un exemple et par exemple ce que le ministre Cissé a mentionné sur le
01:13:43
programme des emplois publics en Côte d'Ivoire dans lequel il y a des premiers résultats qui ensuite appellent des ajustements du programme et c'est comme ça que finalement en répétant ce cycle
01:13:56
d'apprentissage on parvient et donc ça ça nécessite de la part des chercheurs aussi beaucoup d'implication et beaucoup de suivi enfin il y a un dernier exemple que je voudrais les données qui est un exemple qui me tient particulièrement à cœur donc le fond d'expérimentation je
01:14:09
pense que ça a été vraiment une innovation qui était phénoménale ça a pris aussi beaucoup de beaucoup d'humilité parce que de tous les programmes que j'ai évalué personnellement il n'a pas beaucoup qui
01:14:21
marchait il y a beaucoup de bonnes idées mais il n'a pas beaucoup qui finalement vont marcher mais il y en a quand même une les groupements de créateurs qui étaient un programme très innovant qui sortait un petit peu de l'ordinaire et
01:14:33
qu'on a évalué et on a ensuite nous-mêmes personnellement investi moi-même Esther aussi énormément pour assurer la promotion de de ce programme
01:14:46
et ça a eu un impact considérable pour l'organisation des groupements de créateurs qui grâce à cette évaluation a réussi à développer beaucoup sont son activité donc je pense qu'il y a
01:15:00
aussi cette nature de suivi là qui est qui est important il y a un élément qui me paraît majeur Bruno rappelait que les chercheurs impliquaient ont leur vie transformés parce qu'ils sont au contact
01:15:15
du terrain et des utilisateurs ou plonger dedans moi ce que j'ai remarqué c'est que dans les administrations centrales en France rien n'est fait pour que ceux qui font les lois les décrets les circulaires les
01:15:28
mesures et qu'avec les crédits soient au contact des utilisateurs des utilisateurs finaux de leur politique et quand vous regardez la réalité c'est qu'ils ne sont vraiment pas et à la limite ils le sont moins alors
01:15:40
les agents de base le sont quelquefois les politiques on le retour des serrages de main dans les marchés mais ceux qui sont adjoints au chef de bureau chef de bureau sous-directeur directeur dans les administrations centrales c'est parfois
01:15:53
zéro et l'organisation administrative est faite pour que ça soit impossible c'est à dire que lundi il y a la réunion de service mardi il y a la réunion interministérielle mercredi il y a le comité de direction jeudi il y a la préparation des questions d'actualité
01:16:05
vendredi etc moi j'avais mené un petit programme non randomisé mais pour faire en sorte que on oblige dans une direction qui était la Direction de la Sécurité sociale qui
01:16:18
avait été la seule volontaire pour pouvoir le faire à faire en sorte qu'il y ait 10 jours par an au contact des utilisateurs finaux et ça c'est un impact majeur sur la conception des politiques et ça un impact majeur sur
01:16:32
l'ouverture à l'échange sur des programmes dont la finalité est l'amélioration des conditions des 8 heures finaux et c'est quelque chose qu'il faut il y a la formation mais c'est quelque chose à mon avis qu'il
01:16:45
faut pousser si on veut qu'on puisse avancer dans ce type de programme [Musique] c'est un beau mot de la fin merci infiniment à tous les trois et
01:17:50
[Musique] nous avons maintenant une pause café de d'une demi-heure donc on reprend à 11h45 précise merci à tous [Musique]
End of transcript