Évaluation, adaptation et pérennisation

Étape 12

L’utilité du SMSS réside dans sa capacité à fournir des données de bonne qualité en temps opportun qui peuvent être utilisées pour un suivi précis de l’impact sur la santé aux niveaux national et infranational. Un processus d’évaluation doit être intégré à la conception afin que des preuves de la qualité des données soient régulièrement générées. L’évaluation doit être planifiée avec pour objectifs d’examiner 1) le processus de collecte des données, 2) l’exhaustivité et l’actualité des données collectées, et 3) leur comparabilité avec d’autres données. L’évaluation offre l’occasion de mettre à jour la liste de la population afin de s’assurer que l’étude dispose d’un dénominateur précis pour tous les calculs. Elle permet également d’impliquer les communautés et les parties prenantes. Cela favorisera l’adhésion et l’adoption du système, et facilitera le financement et la mobilisation des ressources nécessaires à son maintien. Dans cette section, nous abordons brièvement les étapes de la mise en œuvre d’une évaluation, la manière d’adapter le système et de continuer à promouvoir sa durabilité.

Points clés

Pour l’évaluation, la question la plus importante est de savoir si le SMSS génère des données de bonne qualité, conformes à ses objectifs fixés, et s’il répond aux besoins du ministère de la Santé et des autres parties prenantes. Trois stratégies complémentaires peuvent être mises en œuvre pour répondre de manière appropriée à cette question:

Évaluation interne de la qualité des données, y compris leur actualité et leur exhaustivité.
Évaluation externe de la qualité des données, comparaison avec d’autres sources de données existantes.
Collecte de données rétrospectives primaires comparées aux données prospectives communiquées par le système.

Évaluation interne de la qualité des données

Elle consiste en une évaluation systématique des tendances du nombre mensuel de naissances et de décès déclarés. Les tendances doivent être examinées en fonction de la date des événements et de la déclaration. L’examen en fonction de la date des événements permet de comprendre les schémas saisonniers des événements et d’identifier les incohérences et les valeurs aberrantes. L’examen en fonction de la date de déclaration permet d’évaluer si les collecteurs de données sur le terrain transmettent leurs données au système de manière continue et cohérente au fil du temps. Un examen rétrospectif à plus long terme (12 mois ou plus) des déclarations par groupes permet également de repérer les groupes pour lesquels les données n’ont pas été déclarées de manière cohérente. L’examen interne de la qualité des données portera également sur les déclarations par région administrative ou par zone d’intérêt infranationale et sur les effets de toute catastrophe naturelle, conflit ou autre crise connus. Au-delà de l’évaluation de l’évaluation des données déclarées, il convient d’examiner la cohérence des tendances des événements déclarés et des statistiques générées. Par exemple, l’examen de la répartition des décès par âge peut aider à évaluer si certains groupes d’âge sont sous-déclarés, comme c’est souvent le cas pour les mortinaissances et les décès néonatals, et s’il existe un « regroupement par âge », c’est-à-dire si des âges arrondis sont déclarés au lieu d’âges exacts. Pour l’évaluation des autopsies verbales, il est essentiel de comparer le nombre de décès pour lesquels des entretiens d’autopsie verbale ont été menés au nombre total de décès déclarés dans le système. Enfin, une évaluation interne permettra d’examiner la plausibilité des statistiques de mortalité générées à partir des données.

Évaluation des données externes

Cette évaluation consiste à comparer le nombre total d’événements et les statistiques générées à partir des données avec des données externes existantes ou des statistiques connues, telles que celles du CRVS. Une évaluation simple consiste à comparer le nombre total de naissances et de décès annuels attendus dans le système sur la base d’estimations connues des taux bruts de natalité et de mortalité, provenant par exemple d’un recensement de la population ou d’enquêtes nationales telles que les enquêtes démographiques et sanitaires, et la population totale de l’échantillon dans le SMSS. Une telle comparaison est utile pour comprendre le niveau possible d’exhaustivité des déclarations d’événements. Une autre étape de l’évaluation consiste à comparer les taux de mortalité toutes causes confondues et par cause spécifique par âge, ou les taux de mortalité infantile, avec ceux provenant d’enquêtes récentes ou d’autres systèmes existants connus pour produire des estimations précises de la mortalité.

Collecte de données rétrospectives primaires

Il peut être difficile de suivre la population totale du SMSS en raison des mouvements de population. Nous recommandons de mener un recensement régulier de la population et des ménages tous les deux ou trois ans afin d’obtenir des estimations précises de la population totale. Lorsqu’il est planifié, ce recensement peut également être l’occasion de collecter des données rétrospectives sur les événements survenus au cours des deux dernières années. Ces données doivent être collectées par une équipe externe bien formée qui se rend dans les ménages de chaque cluster pour recueillir les informations. Afin de comparer les données d’évaluation avec les données du SMSS au niveau de chaque événement, il convient de veiller à ce que la collecte d’informations d’identification permette de relier les ménages, les membres des ménages et les événements. Cela peut s’avérer difficile si le SMSS n’a pas mis en place un système solide d’identification des ménages, ce qui est souvent le cas. Dans le cas du SIS-COVE au Mozambique, la collecte des données d’évaluation comprenait une liste imprimée de tous les ménages de chaque cluster, que les collecteurs de données emportaient avec eux pour effectuer le recoupement sur le terrain. Le rapprochement est effectué soit sur la base de l’identification existante des ménages, soit sur la base du nom du chef de ménage. Les agents de surveillance communautaire ont aidé à l’identification des ménages pendant la collecte des données. Pour les ménages existants pour lesquels il existe une correspondance sur leur liste, le collecteur de données confirme également les membres du ménage à partir d’une base de données sur sa tablette. Le système informatique mis en place au Mozambique permet de suivre les ménages grâce aux coordonnées SIG et aide à contrôler l’exhaustivité de la collecte de données. Cette collecte de données exhaustive permet d’obtenir une population actualisée par âge et par sexe pour le système, mais offre également la possibilité de confirmer les limites des grappes. En outre, les données démographiques obtenues peuvent être analysées afin de déterminer la représentativité continue de l’échantillon en comparant les données à une source de données représentative externe, telle qu’une enquête démographique ou une enquête nationale auprès des ménages, comme l’enquête DHS.

S’adapter

Il est important que le système évolue et s’adapte afin de rester en phase avec les priorités des parties prenantes. Pour adapter efficacement le système, vous devez d’abord comprendre ses faiblesses et les domaines dans lesquels il ne parvient pas à atteindre ses objectifs. Le système répond-il aux besoins du ministère de la Santé, du CRVS et des parties prenantes ? La conception et l’échantillon sont-ils suffisamment solides pour produire des estimations représentatives au niveau national et infranational de la mortalité et des causes de décès ? Pour répondre à ces questions, vous devrez recueillir les commentaires du ministère de la Santé et des parties prenantes et envisager d’adapter le système afin de collecter des données supplémentaires pour répondre à leurs besoins. Ces commentaires peuvent être recueillis lors de la présentation des résultats lors de réunions avec les parties prenantes et d’autres forums scientifiques ou politiques. La capacité à répondre aux besoins des principales parties prenantes contribuera également à promouvoir la durabilité du système en renforçant l’adhésion et en tirant parti du soutien financier des bailleurs de fonds.

Un autre aspect plus technique de l’adaptation du SMSS consiste à s’assurer que la conception et l’échantillon restent solides et peuvent générer des estimations représentatives de la mortalité avec une précision acceptable. Compte tenu de la baisse de la mortalité au fil du temps et des changements épidémiologiques entraînant des modifications dans les schémas des causes de décès, l’échantillon du SMSS peut devenir trop petit pour estimer la mortalité dans certains domaines prédéfinis. En collectant et en analysant les données d’évaluation (décrites ci-dessus), il est possible d’examiner les distorsions de l’échantillon au niveau national et infranational. Sur la base des niveaux de mortalité toutes causes confondues et par cause spécifique, des calculs actualisés de la taille de l’échantillon peuvent être effectués pour évaluer la taille de l’échantillon SMSS actuel. Il se peut également qu’au fil du temps, certains programmes spécifiques du ministère de la Santé ou d’autres parties prenantes souhaitent obtenir des estimations dans d’autres domaines qui n’étaient pas initialement inclus dans la conception de l’échantillon. Pour répondre à cette demande, il faudra réadapter l’échantillon.

Durabilité

Les discussions sur la durabilité du SMSS doivent commencer dès la conception et la définition initiales du système, et se poursuivre tout au long de la mise en œuvre, de l’intégration des données au CRVS, du partage et de la diffusion des données. Si le financement à long terme est essentiel à la durabilité, le système doit continuer à démontrer son utilité pour le pays. La viabilité financière peut être assurée en faisant appel à des partenaires de développement et à des donateurs multilatéraux ou bilatéraux, ainsi qu’à un financement national progressif. La gouvernance du système et son leadership institutionnel sont essentiels pour l’élaboration de propositions permettant de lever des fonds avec succès. Pour démontrer l’utilité du SMSS, il faut partager les données produites, relier/intégrer le système à d’autres systèmes existants, en particulier le CRVS, et démontrer la qualité des estimations générées.

Pour en savoir plus

Système d’échantillonnage des statistiques d’état civil au Mozambique : combler les lacunes dans les données sur la mortalité – Commentaire tiré du supplément COMSA 2023 de l’American Journal of Tropical Medicine and Hygiene

Mise en œuvre de la surveillance nationale de la mortalité au Mozambique : combien cela a-t-il coûté ? – Article de recherche original tiré du supplément COMSA 2023 de l’American Journal of Tropical Medicine and Hygiene

De l’externe au local : opportunités et enseignements tirés de la transition COMSA-Mozambique – Article de recherche original tiré du supplément COMSA 2023 de l’American Journal of Tropical Medicine and Hygiene

Exhaustivité et facteurs influençant la déclaration des naissances et des décès par les agents communautaires dans le cadre de la surveillance nationale de la mortalité au Mozambique – Article évalué par des pairs décrivant l’exhaustivité des déclarations des événements d’état civil par les agents communautaires

Leçons de durabilité tirées de la stratégie COMSA/SIS-COVE au Mozambique

Si, dès le départ, un SMSS peut être conçu, financé et mis en œuvre par les gouvernements nationaux, les premières années de mise en place du système sont souvent financées par des fonds externes et bénéficient d’une assistance technique extérieure. Dans de tels scénarios, il est essentiel d’élaborer un plan de transition afin de garantir le transfert complet du système aux dirigeants et aux autorités nationales. Nous abordons ci-dessous les enseignements tirés du processus de transition du COMSA/SIS-COVE.

Concevoir le système en tenant compte d’une transition éventuelle: le fait d’avoir l’intention de procéder à une transition dès le lancement du projet influe sur les choix qui sont faits au fur et à mesure du développement du système. Par exemple, l’intégration du système dans les institutions locales signifie qu’il sera mieux adapté aux structures locales et qu’il aura une base plus solide pour assurer sa durabilité. De même, tirer parti des relations avec d’autres ministères/agences peut favoriser l’institutionnalisation lors de la transition.

Abordez le renforcement des capacités de manière stratégique, tant pour les besoins immédiats du programme que pour la gestion post-transition: cela nécessitera probablement d’identifier et de répondre aux besoins locaux en matière de capacités tout au long du projet.

Faites attention aux raccourcis programmatiques qui devront être supprimés au moment de la transition: travailler au sein des structures locales, en particulier au sein du gouvernement, peut-être plus compliqué et prendre plus de temps à mettre en place, de sorte que les raccourcis permettant de lancer rapidement la mise en œuvre peuvent être attrayants ; cependant, ces raccourcis doivent souvent être adaptés ou repensés par la suite.

Les partenaires doivent s’entendre dès le début sur les détails de la transition: en particulier, quels aspects du programme sont prioritaires pour la transition et où des adaptations seront nécessaires ou préférables pour assurer la pérennité du programme. Ces décisions déterminent les considérations ultérieures concernant le financement, les parties prenantes, l’institutionnalisation, etc. La planification de la transition nécessite des efforts, une stratégie et un large consensus sur les objectifs:

Une attention particulière, des investissements et du temps doivent être consacrés aux processus de transition afin de minimiser les conséquences négatives sur les objectifs du programme.
Si la transition est l’objectif dès le départ, les considérations relatives au financement futur doivent toujours figurer à l’ordre du jour afin de favoriser à la fois les ressources locales et externes.
La gestion des parties prenantes est essentielle pour garantir que les parties prenantes actuelles restent engagées dans le programme et que de nouvelles parties prenantes ou des parties prenantes potentielles puissent être associées au programme.

Les efforts déployés par SIS-COVE pour répartir, renforcer et restructurer les responsabilités en matière d’analyse et de technologies de l’information entre les partenaires, depuis le lancement du projet jusqu’à la transition, sont un exemple qui s’appuie sur tous ces principes.

Étape 12 Ressources