[MUSIQUE] Venons-en maintenant à la deuxième étape de la démarche d'évaluation. L'enjeu de cette deuxième étape c'est de franchir un pas supplémentaire dans la réalisation de sa carte des impacts et de chercher à mesurer ces changements. Pour ce faire, il va nous falloir choisir les indicateurs pertinents, comprendre comment passer des résultats à l'impact. Premier travail donc, élaborer des indicateurs. Ceux-ci permettront à la fois de se projeter en se fixant des objectifs, ensuite de réaliser un suivi dans le temps de l'impact de son action et enfin d'en faire le bilan. Quels indicateurs choisir pour objectiver ces changements? Pour établir ces indicateurs, c'est-à-dire définir le nombre de personnes ayant vécu le changement pré-identifié et estimer l'ampleur de ce changement, il faudra généralement faire un détour par des observations de tiers ou des déclarations des intéressés, en se fondant autant que possible sur des faits visibles. Ceci amènera à interroger des tiers via un questionnaire complété de façon autonome ou lors d'un échange en face-à-face, en s'adaptant si besoin au niveau de maîtrise du français et de l'informatique des personnes concernées. L'appel à un expert pourra se révéler très utile pour éclairer le changement selon la complexité des effets à évaluer. Lorsque les changements sont qualitatifs, avoir plusieurs indicateurs ou croiser des regards pour nourrir l'indicateur est un gage de fiabilité. Pour réussir à mesurer certains changements multidimensionnels et difficilement quantifiables, on pourra utiliser des outils tels que l'Outcomes Star. Alors, l'Outcomes Star, comment ça marche? Eh bien, le principe de l'Outcomes Star est de rendre visible le changement dans des domaines significatifs de l'action menée en comparant dans le temps le positionnement des bénéficiaires sur une échelle de cotation. Les domaines pertinents pour mesurer le changement seront, bien sûr, adaptés à chaque secteur d'activité, voire à chaque action. Dans notre exemple présent à l'écran, il s'agit d'accompagner des familles en difficulté sur le plan de la parentalité. Chaque domaine est représenté par une branche de l'étoile. L'Outcomes Star définit en parallèle une échelle de progression qui va de 1 à 10. Si l'on considère que le graphique de couleur verte a été établi postérieurement au graphique de couleur rouge, on voit immédiatement qu'il y a eu progrès et où il y a eu progrès. Et si l'on fait un focus, par exemple, sur la question d'imposer des limites à l'enfant, on constate, entre les deux évaluations, que la famille accompagnée est passée d'une cotation de 3, conscience que les choses doivent changer, à une cotation de 6, essai de faire les choses différemment. Mais qu'est-ce qu'un bon indicateur? Eh bien nous avons finalement retenu une grille de 5 critères : utilité, disponibilité, acceptabilité, fiabilité, comparabilité. Reprenons chacun des cinq critères. D'abord l'utilité : que cherche-t-on à mesurer, est-ce que l'indicateur est pertinent? Deuxièmement, la disponibilité : la donnée peut tout à fait être disponible, mais elle peut supposer des précautions préalables pour la rendre plus facilement accessible. L'acceptabilité : alors là, il faut être attentif, car certaines données pourront être inacceptables par vos parties prenantes parce que jugées trop personnelles. Si vous êtes basé en France, il faudra de toute façon toujours se poser la question du respect de la loi informatique et libertés et du règlement européen RGPD en vigueur depuis mai 2018. Plus largement, soyez attentif au cadre règlementaire du pays dans lequel vous œuvrez. Quatrième critère, la fiabilité : la donnée sera parfaitement fiable si elle est bien collectée et bien traitée. Enfin, comparabilité, ce critère est optionnel puisque tout dépend de ce que vous souhaitez faire de votre indicateur. S'il doit donner lieu à des comparaisons internes ou externes, il faudra donc vérifier qu'il s'y prête. Mais là, attention aux comparaisons hâtives, puisque des différences pourront se justifier si les publics cibles ne sont pas, par exemple, les mêmes. La question des indicateurs, on l'aura bien compris, est donc une question à la fois complexe et sensible. Il faudra vérifier que ce sont de bons indicateurs au travers de cette grille de l'utilité, de la disponibilité, de l'acceptabilité, de la fiabilité et de la comparabilité. Mais au-delà de cette qualité d'indicateur, il faudra aussi garantir dans le temps la collecte des données. Il faudra également vous assurer que vous êtes cohérent par rapport aux objectifs que vous avez fixés à votre démarche. Il vous faudra éviter d'avoir une batterie d'indicateurs pour une communication externe, il faut en simplifier la lecture, en regroupant les indicateurs de façon thématique. Vous devrez, enfin et surtout, accepter de mesurer une réalité humaine et sociale complexe que l'on peut répugner à mettre en chiffres. Typiquement, il est évident qu'évaluer le bien-être n'est pas aisé mais qu'une amélioration en la matière peut faire partie intégrante de la mission sociale de nombreuses entreprises sociales. C'est ce chemin du mesurer le non-mesurable qu'il convient, sans doute, d'emprunter pour aller vers des évaluations plus riches d'enseignements qui deviendront de vrais outils de pilotage et d'amélioration des pratiques. Ceci, en conclusion, signifie que vous ne devez pas viser une liste exhaustive d'indicateurs parfaits mais, comme pour l'ensemble de la démarche engagée, vous devrez pouvoir argumenter vos choix et être transparent sur leurs avantages et leurs limites. Le temps est présent dans la problématique de l'évaluation de l'impact social ou de la mesure de l'impact social, et ceci de deux façons. D'abord parce qu'il faut un temps, variable bien sûr selon l'action concernée, pour générer le changement ; ensuite, parce qu'un changement peut, et c'est souhaitable, perdurer dans le temps. Si, par exemple, un salarié en insertion par l'activité économique a acquis de nouvelles compétences, il est probable qu'elles ne disparaîtront pas au bout d'une année. Nous verrons plus loin que cette notion de durée a une incidence sur la valorisation économique des changements que vous générez. Les praticiens du SROI préconisent de ne pas revendiquer des effets au-delà de cinq ans. Dernière question : quid de l'attribution et du poids mort? Reprenons la définition de l'impact dans le cadre du SROI. Il s'agit des résultats significatifs d'un projet ou des activités d'une organisation pour ses principales parties prenantes, à l'exclusion de ce qui se serait passé de toute manière ou de ce qui relève de l'intervention d'autres acteurs. Il va donc falloir, pour obtenir le pacte de l'organisation, s'attacher à affecter à chaque résultat un taux que l'on pourra appeler taux d'impact. Deux questions sont à se poser pour arriver à ce taux d'impact : quelle est la part du résultat qui se serait produite quoi qu'il arrive, que votre organisation existe ou pas, et c'est ce que l'on appelle le poids mort ; deuxièmement, quelle est la part du résultat observé qui relève de l'intervention d'autres organisations ou personnes, alors même que le résultat n'aurait pu exister sans votre action, c'est ce que l'on appelle l'attribution. Il faut noter que la notion d'attribution est souvent employée de façon plus large pour évoquer globalement le lien de causalité entre un événement et un résultat à observer en recouvrant la notion de poids mort. Il faut s'interroger sur les phénomènes de déplacements que peut induire l'action de l'organisation : quels effets négatifs mon action peut-elle avoir sur une autre prenante? Il peut y avoir des effets secondaires ou collatéraux négatifs d'une action qu'il sera peut-être utile de suivre. Si un impact est jugé particulièrement pertinent pour l'analyse, il peut justifier de se donner les moyens de calculer le poids mort ou l'attribution de façon scientifique. Dans la majorité des cas, vous n'aurez pas le budget, le temps ou les compétences pour réaliser un tel travail et l'enjeu, vraisemblablement, ne justifiera peut-être pas ce type d'investissement. Alors, comment déterminer votre impact. Eh bien, il n'y a pas de vérité mais différentes pistes qui peuvent être exploitées. Les parties prenantes sont souvent les mieux placées pour répondre à la question. Reprenons l'exemple d'une entreprise œuvrant dans le secteur de l'insertion par l'activité économique, l'IAE. On pourrait demander aux salariés en insertion : que feriez-vous en ce moment si vous n'aviez pas été embauchés par votre entreprise? Leur réponse permettra d'établir le poids mort. Qui vous a aidé à résoudre tel problème au sein et hors de votre entreprise? Leur réponse contribuera à définir l'attribution. Selon votre secteur d'activité, des données publiques peuvent être disponibles, des recherches ont pu être menées par une fédération professionnelle, comme je l'ai indiqué précédemment. N'hésitez surtout pas à y avoir recours pour rendre le choix de vos taux encore plus solide. Enfin, vous pourrez vous poser la question avec le plus d'honnêteté et de bon sens possibles. Une fois la carte complétée pour l'ensemble des parties prenantes significatives et l'ensemble des effets identifiés pour chacune, il serait tout à fait possible de s'arrêter là en considérant qu'avoir objectivé ce que le programme génère comme effets, quoi, pour combien de bénéficiaires, apporte la preuve de son impact social. Vous pouvez vous dire que c'est ou ce serait déjà un beau résultat pour votre organisation, votre programme ou votre action que d'y parvenir. Mais il serait vraiment dommage de s'arrêter en si bon chemin. Je vous proposerai donc de chercher à valoriser les changements identifiés, afin de tirer le maximum de bénéfices de ce bel effort de mesure et d'évaluation de l'impact social de votre organisation, de votre programme ou de votre action, dans le prochain module. [AUDIO_VIDE]
