Tribune

Qualité partielle ou globale, les limites du modèle

Avec les scandales de maltraitance dans la petite enfance, la question de la qualité est revenue sur le devant de la scène. Un référentiel de la qualité de l’accueil des jeunes enfants est en cours de construction sur un modèle proche de celui des établissements et services sociaux et médico-sociaux (ESSMS) élaboré par la Haute Autorité de santé (HAS) en 2022. Mais qu’évalue-t-on avec de tels référentiels ? Quelle est la définition de la qualité ? Pour répondre à cette question, il faut nécessairement commencer par expliquer ce que signifie le terme « qualité». Il existe des définitions comme celle de la norme ISO 9000, soit « l’aptitude d’un ensemble de caractéristiques intrinsèques à satisfaire des exigences », qui ne décrit pourtant pas le processus cognitif à l’œuvre qui sous-tend cette notion. La qualité, c’est la valeur qu’un individu accorde à une chose, au terme d’une comparaison entre les informations qu’il détient sur la chose et des références, en prenant en compte tout ou partie de ses dimensions. Par exemple, quand des amis nous demandent comment était le restaurant où nous sommes allés, nous attribuons une valeur audit restaurant : « C’était excellent ! » ; « C’était nul, je ne te le recommande pas. » Nous parvenons à ce résultat en intégrant certaines dimensions comme le service, le rapport qualité-prix, le goût, le dressage des assiettes, le décor... Nous comparons les informations que nous avons à nos références, c’est-à-dire nos exigences. Quand l’écart est trop grand, la valeur – donc la qualité attribuée – est faible. Quand les informations sont à la hauteur de nos exigences, la qualité est haute.

Les dimensions de la qualité dans les ESSMS

On classe souvent les dimensions de la qualité d’une organisation en deux catégories : une interne et une externe. La première concerne les professionnels de l’organisation et vise la mesure du respect des normes de production, l’effectivité de leur qualité de vie au travail (QVT), de leurs compétences, par exemple. La seconde concerne les acteurs externes à l’organisation – l’utilisateur, la société… et peut mesurer la satisfaction des publics, les effets sur la situation de la personne, l’absence de maltraitance, l’impact sur l’environnement... Les dimensions internes interagissent avec les dimensions externes. Si, dans l’exemple du restaurant, la QVT des salariés est exécrable, les serveurs n’auront probablement pas le sourire et le client sera mécontent de son expérience.

Pour avoir une vision globale de la qualité d’un ESSMS, il faut attribuer une valeur à toutes les dimensions externes et internes ci-dessus. Le référentiel d’évaluation élaboré par la HAS n’est qu’un contrôle de l’effectivité des normes de production, le résultat donne donc une vision partielle de cette qualité. En effet, ce modèle est une liste de critères qui sont des normes de production, des façons de faire concrètes qu’il faut obligatoirement respecter. Exemples ? Informer systématiquement l’usager qu’il peut désigner une personne de confiance ; former ou sensibiliser régulièrement les professionnels aux droits des personnes ; définir un plan de prévention des risques de maltraitances… Si les éléments de preuve recueillis par l’évaluateur démontrent que les normes de production sont bien respectées, la valeur attribuée à l’ESSMS est alors élevée. L’évaluation version HAS porte donc sur l’effectivité des normes de production, mais pas sur les effets qu’elles sont censées produire. Voyons maintenant les dimensions qui ne sont pas prises en compte.

Entendre, comme le prévoit le système, quelques usagers parmi un panel sélectionné par la structure, ne permet pas de connaître le taux global de satisfaction. En outre, aucun critère n’indique qu’il doit être d’au moins 80 %, par exemple. Pour renseigner cette dimension, une enquête annuelle, effectuée par un tiers extérieur neutre serait nécessaire, sur le modèle de l’enquête de satisfaction des maisons départementales des personnes handicapées réalisée régulièrement par la Caisse nationale de solidarité pour l’autonomie (CNSA).

Quelle mesure des effets sur les bénéficiaires

Comme le regrettait Jean-René Loubat dans ces mêmes pages [1], le modèle d’évaluation de la HAS ne mesure pas non plus si des effets positifs sur les usagers ont été produits. L’évaluation menée ne vérifie pas si le service d’aide éducative en milieu ouvert parvient à faire baisser le niveau de danger pour les  mineurs ; si le centre d’hébergement et de réinsertion sociale parvient à reloger durablement les personnes ; si l’Esat parvient à faire accéder au milieu ordinaire de travail ; si l’institut thérapeutique, éducatif et pédagogique parvient à réduire les troubles du comportement des enfants ; si la coordination des acteurs locaux permet plus de maintien à domicile des personnes âgées dans de bonnes conditions, etc. Pourtant, les modalités d’évaluation à même de mesurer ces effets existent : ce sont les mesures d’impact social [2]. La domination du New public management tend à promouvoir des politiques publiques fondées sur les preuves. En témoigne l’installation du centre de la CNSA sur le modèle des What works centers anglais. Surfant sur cette tendance, les mesures d’impact social ont de l’avenir.

Les modalités d’audit des usagers ne sont pas adaptées pour détecter les maltraitances.  Le panel est trop faible (trois ou quatre personnes). La question de leur éventuelle existence ne leur est pas directement posée. Ni cet audit ni un système de traitement des plaintes ne suffisent à dépasser le problème de repérage des maltraitances lié aux difficultés des personnes à les révéler. Les États généraux des maltraitances [3] ont bien identifié ces difficultés : « Peur de ne pas être cru, de subir des représailles, d’être mis à l’écart ou abandonné, de ne pas pouvoir se défendre, de ne plus recevoir l’aide attendue, ou que la maltraitance s’aggrave… conflit de loyauté. » Pour cacher des maltraitances à un évaluateur, il suffit de sélectionner les bons usagers à auditer, de préparer les bons documents et de mettre un peu la pression sur les salariés entendus. Seuls des contrôles inopinés et renforcés menés par l’autorité de tarification et de contrôle sur plusieurs jours auprès des usagers et de leurs représentants avec des gages de protection des personnes entendues sont à même de vérifier l’absence de maltraitance. 

Une stratégie de développement durable sans preuve ?

Par ailleurs, on voit mal comment  un ESSMS pourrait être considéré comme « de qualité » si son système de chauffage, de gestion des déplacements et de l’alimentation produit des conséquences déplorables pour l’environnement. Le référentiel d’évaluation de la HAS prévoit de vérifier s’il définit et met en œuvre une stratégie de développement durable. Le justifier ne démontre pas que l’impact environnement s’améliore… Pour le prouver, il faudrait procéder à une mesure avec des outils tels que ceux proposés par l’Agence nationale de la performance (Anap) [4]. Un dirigeant me racontait que l’évaluateur lui avait attribué une très bonne cotation parce que son service avait acheté des vélos électriques pour les petits déplacements professionnels. Mais sont-ils utilisés ?

Autre anecdote : des salariés engagent la discussion avec un évaluateur en dénonçant un management dégradant. Sa réponse : « Je ne suis pas là pour ça. » J’ai aussi en tête un ESSMS qui a obtenu de bonnes cotations pour l’objectif « L’ESSMS met en œuvre une politique de QVT », alors que les arrêts maladie pleuvent, que plusieurs salariés ont été licenciés probablement abusivement et que le turn-over dégrade cette qualité. La conformité des normes de production du référentiel en matière de QVT ne garantit pas, là non plus, son effectivité.

Des conseils départementaux déploient aujourd’hui des programmes de contrôle des ESSMS de la protection de l’enfance, parce que cela fait partie des actions qu’ils ont l’obligation de mettre en œuvre dans le cadre de leur contractualisation avec l’État, ce dernier ayant remis la pression via une instruction de 2024 [5] et probablement aussi sous la pression des différents scandales de maltraitance du secteur. Certains de ces contrôles évaluent l’effectivité de la QVT en permettant anonymement aux salariés de rendre compte des pratiques managériales inacceptables.

Sans contrôle des compétences des professionnels

L’évaluation constate que des moyens sont en place pour vérifier la qualification des personnes recrutées, dans la rédaction des offres d’emploi, par exemple. En aucun cas on ne s’assure systématiquement que chaque salarié est bien titulaire du diplôme en travail social requis, en particulier pour les remplaçants. Ni que les connaissances sont à jour au regard des enjeux actuels. Seuls des contrôles de connaissances réguliers pourraient apporter cette preuve. Ce n’est pas faire offense aux professionnels que de dire que cela montrerait que leurs connaissances ne sont pas à jour : ils manquent de temps et la perte du sens au travail tue leur motivation à continuer à se former. Au Québec, par exemple, pour exercer le métier de travailleur social après obtention du diplôme, il faut faire une demande d’inscription à l’ordre des travailleurs sociaux pour avoir un permis d’exercice. Pour rester inscrit, chaque professionnel doit suivre trente heures de formation tous les deux ans. Chaque année, un panel d’inscrits est inspecté pour vérifier que les compétences sont au niveau requis. En France, il n’existe pas d’appareil déontologique de ce type, avec un code à valeur juridique, une cérémonie de serment et un ordre.

Le modèle d’évaluation des ESSMS élaboré par la HAS en 2002 est utile. Mais insistons là-dessus : il ne prend en compte que le respect des normes de production. Pour passer à l’évaluation de la qualité globale, il faudrait développer la mesure de la satisfaction par des tiers, la mesure d’impact social et environnemental, des contrôles par les autorités de tarification et un appareil déontologique. Sans cela, à terme, l’évaluation définie par la HAS se réduirait à un simple exercice de « cocheurs de case » [6], et on ne comprendra pas pourquoi des scandales de maltraitances éclateront dans des ESSMS pourtant très bien côtés…

[1] Et si on évaluait enfin les résultats ?, Jean-René Loubat, Direction[s] n° 226, p. 46

[2] Lire Direction[s] n° 197, p. 20

[3] États généraux des maltraitances, rapport, 2023

[4] Autodiagnostic : mon observatoire du développement durable

[5] Instruction n° DGCS/SD2B/2024/33 du 10 juillet 2024 relative à l’inspection-contrôle dans les établissements, services et lieux de vie et d’accueil de protection de l’enfance

[6] Travail social: halte aux cocheurs de cases !, Jean-Luc Gautherot, Tribune libre parue sur https://www.lemediasocial.fr, mars 2024

Publié dans le magazine Direction[s] N° 238 - février 2025