Outline
Comptes Rendus

Enjeux, approches et contraintes de l'évaluation dans les pays à faible revenu
[Hazards, tactics and constraints of evaluation of health care in low income countries]
Comptes Rendus. Biologies, Volume 331 (2008) no. 12, pp. 1007-1015.

Abstracts

Le niveau de santé dans les pays à faible revenu est encore très bas alors même que la communauté internationale se mobilise de plus en plus. Et si globalement, le financement de la santé reste encore insuffisant dans ces pays, des progrès sont possibles avec les ressources actuelles. Mais pour cela, il est nécessaire d'améliorer la performance des systèmes de santé ainsi que l'efficacité et l'efficience des interventions de santé. L'évaluation est un outil qui permet de vérifier la réalité de cette performance et de cette efficience. Après avoir montré que l'enjeu de l'évaluation n'est pas seulement économique et financier, mais aussi éthique et social, cet article expose les différentes méthodes de l'évaluation puis analyse les contraintes de sa mise en place.

Unless a large, new, financial contribution comes from the international community, health indicators are far from good in low income countries. However, even if health financing is still insufficient, better health care in these countries could be produced with their present resources. It requires an improvement in the health system performance, as well as efficacy and efficiency of health programs. As a tool, evaluation allows one firstly to check this performance and efficiency, and then to assess the impact of different programs. This article is organising in three sections. The first presents the different (economic, ethical and social) stakes of an evaluation system. The second section describes its methods and the third analyses its constraints.

Metadata
Published online:
DOI: 10.1016/j.crvi.2008.09.001
Mot clés : Évaluation, Contrainte, Enjeu, Pays à faible revenu, Efficience, Analyse d'impact
Keywords: Evaluation, Constraint, Hazard, Low income country, Efficiency, Impact analysis

Martine Audibert 1

1 CERDI-CNRS, Université d'Auvergne, 65, boulevard François-Mitterrand, 63000 Clermont-Ferrand, France
@article{CRBIOL_2008__331_12_1007_0,
     author = {Martine Audibert},
     title = {Enjeux, approches et contraintes de l'\'evaluation dans les pays \`a faible revenu},
     journal = {Comptes Rendus. Biologies},
     pages = {1007--1015},
     publisher = {Elsevier},
     volume = {331},
     number = {12},
     year = {2008},
     doi = {10.1016/j.crvi.2008.09.001},
     language = {fr},
}
TY  - JOUR
AU  - Martine Audibert
TI  - Enjeux, approches et contraintes de l'évaluation dans les pays à faible revenu
JO  - Comptes Rendus. Biologies
PY  - 2008
SP  - 1007
EP  - 1015
VL  - 331
IS  - 12
PB  - Elsevier
DO  - 10.1016/j.crvi.2008.09.001
LA  - fr
ID  - CRBIOL_2008__331_12_1007_0
ER  - 
%0 Journal Article
%A Martine Audibert
%T Enjeux, approches et contraintes de l'évaluation dans les pays à faible revenu
%J Comptes Rendus. Biologies
%D 2008
%P 1007-1015
%V 331
%N 12
%I Elsevier
%R 10.1016/j.crvi.2008.09.001
%G fr
%F CRBIOL_2008__331_12_1007_0
Martine Audibert. Enjeux, approches et contraintes de l'évaluation dans les pays à faible revenu. Comptes Rendus. Biologies, Volume 331 (2008) no. 12, pp. 1007-1015. doi : 10.1016/j.crvi.2008.09.001. https://comptes-rendus.academie-sciences.fr/biologies/articles/10.1016/j.crvi.2008.09.001/

Version originale du texte intégral

1 Introduction

Si d'énormes progrès ont été faits en matière de santé depuis les années 1950, l'intensité de ces progrès diffère, comme nous allons le voir selon la période et les pays. On a ainsi observé une accélération des gains de santé, notamment dans les pays à faible et moyen revenu, sur la période 1960–1990. Alors que le monde connaissait un gain d'espérance de vie de 4,3 années tous les 10 ans sur cette période, les pays à faible et moyen revenu obtenaient un gain de 6,3 ans. Mais au sein de ces pays, les différences de gains sont grandes : 9 années en moyenne en Asie de l'Est dont 11 en Chine, 5,7 années au Moyen-Orient et en Afrique du Nord, 4,7 en Asie du Sud, 3,3 en Afrique Subsaharienne. La décade qui suit (1990–2002), voit ces progrès ralentir, si ce n'est chuter, tant dans le monde (le gain n'est plus que de 1,7 année) que dans les pays à faible et moyen revenu où on observe toujours de grandes disparités : 2,5 en Asie de l'Est, 4,2 au Moyen-Orient, en Afrique du Nord et en Asie du Sud. De leur côté, les pays d'Afrique Subsaharienne voient une partie de leurs efforts anéantie puisqu'ils perdent trois années d'espérance de vie [1].

Lorsqu'on s'intéresse à la mortalité des enfants, on observe également de grandes disparités d'évolution selon les régions et les pays. Parmi les pays à faible et à moyen revenu, les pays d'Asie de l'Est ont obtenu les meilleurs résultats, la mortalité infantile et la mortalité infanto-juvénile ayant diminué de plus de 44% entre 1990 et 2004. Dans les pays d'Afrique Sub-Saharienne, où les résultats sont les moins bons, la mortalité des enfants n'a diminué que de 12% et reste très élevée (supérieure à 96 et 163 pour 1000 naissances vivantes, contre 62 et 83 en Asie du Sud ou 43 et 52 en Afrique du Nord et au Moyen-Orient, voir le Tableau 1). Une analyse par pays montre que dans 23 pays, cette mortalité a stagné (Angola, Gabon, Libéria, RDC, Zambie, etc.), voire augmenté1 (comme la Côte d'Ivoire, la Guinée Equatoriale, le Kenya), sans qu'on puisse systématiquement invoquer les conflits [2–4].

Lorsqu'on raisonne en termes d'atteinte des objectifs du millénaire pour le développement (OMD), on est loin pour de nombreux pays des objectifs fixés. Malgré l'afflux de financement, « certains pays ont fait des progrès impressionnants tandis que d'autres, en grand nombre, restent en arrière. Les progrès sont particulièrement lents en Afrique subsaharienne » [4,5]. Et ceci est particulièrement vrai pour les objectifs qui concernent plus spécifiquement la santé, comme on le voit ci-dessous :

  • Objectif 4 : Réduire la mortalité infantile, « Dans 53 pays, la baisse de mortalité infantile enregistrée est inférieure aux 4,3% par an requis pour atteindre les OMD » [2] ;
  • Objectif 5 : Améliorer la santé maternelle, « Plus de 500.000 femmes meurent tous les ans de causes liées à la grossesse et à l'accouchement, malgré l'augmentation du taux d'accouchements en présence de personnes qualifiées en Asie du Sud-Est et en Afrique du Nord. Le taux de mortalité maternelle est 1000 fois plus élevé en Afrique subsaharienne que dans les pays à revenu élevé » ;
  • Objectif 6 : Combattre le VIH/SIDA, le paludisme et d'autres maladies, « Malgré certains succès dans certains pays, de nombreux autres ne parviennent pas à atteindre les objectifs fixés. L'aggravation de la pandémie mondiale de VIH/SIDA a inversé l'espérance de vie et annulé les avancées économiques dans de nombreuses régions d'Afrique » (sites WHO, UNAIDS).

Si le manque de financement global2 est souligné, il est également admis que sans l'élaboration de bonnes politiques, sans un fonctionnement efficace et efficient du système de santé, sans un personnel suffisant, formé et motivé, les progrès demeureront lents et bien en deçà des objectifs du millénaire.

Comment se situe l'évaluation dans un tel contexte ? Nous allons montrer que l'évaluation des politiques et des programmes de santé, en tant qu'instrument, est un des éléments nécessaires pour la « quête » des objectifs du millénaire.

Nous aborderons successivement les enjeux, les approches et les contraintes de l'évaluation.

2 Enjeux

Si la santé est un élément intrinsèque du bien-être, on sait, depuis les travaux de G. Becker [6] et de M. Grossman [7] qui ont contribué au développement de la théorie du capital humain, que la santé est un investissement qui contribue à la croissance (voir, par exemple, [8,9]). Les études, nombreuses, mettant en évidence le lien entre santé et développement économique, ont certainement contribué à faire de l'amélioration de la santé un instrument de lutte contre la pauvreté. Mettre en place des programmes pour améliorer la santé des enfants contribue aussi à améliorer le futur économique et social de l'adulte.3

Améliorer l'état de santé d'une population a donc au moins deux objectifs :

  • (i) améliorer le bien-être (approche welfariste) ou les facultés, les capacités (approche développée par A. Sen [12]) des individus ;
  • (ii) permettre la croissance économique tant à court terme qu'à long terme.

Pour améliorer l'état de santé de la population d'un pays, il faut définir une politique de santé, mettre en place des programmes de santé. Or d'une part, les besoins de la population tout en étant nombreux, ne sont pas identiques, et d'autre part, l'accès aux soins est inégal tandis que les ressources sont limitées.

Il apparaît évident dans ce contexte qu'une « bonne » politique de santé passe par l'établissement de priorités et par leur réalisation. Pour établir des priorités, il faut identifier les problèmes de santé en se basant sur certains critères. Qu'est-ce qui importe :

  • (i) la fréquence du problème (combien de personnes sont concernées par cette maladie) ?
  • (ii) la sévérité, mesurée en termes de gravité, en termes de mortalité, en termes de handicap (physique, mental) ou en termes d'invalidité par rapport à nos occupations (travail, loisirs, activités sociales etc.) ?
  • (iii) la souffrance, exprimée en termes de qualité de vie ?
  • (iv) les objectifs du millénaire pour le développement ?
  • (v) les pauvres ? les enfants ?
  • (vi) le coût pour lutter contre telle ou telle affection ?

Pour mettre en oeuvre les priorités, il faut mettre en œuvre des actions et pour cela, identifier les moyens et les ressources. Or qui dit priorité, dit choix, qui dit choix, dit sacrifice : ce qui sera alloué à telle affection, à tel groupe cible, à telle structure, sera déduit de ce qui aurait pu être alloué à d'autres affections, à d'autres groupes de population, à d'autres structures. Il est donc nécessaire de vérifier, avant la mise en œuvre des actions que ce choix était justifié, et après la mise en œuvre, que les activités ont été faites et bien faites, que les ressources dépensées n'ont pas été gaspillées et que l'objectif est atteint.

Les enjeux de l'évaluation sont multiples, ils sont d'ordre éthique, social, économique et financier.

2.1 Enjeu éthique

Ne pas évaluer est contraire à l'éthique. Il est indispensable de se préoccuper des ressources qui ont été investies dans un secteur, dans la mesure où elles ont été nécessairement ôtées à un autre secteur. Dans « un contexte de rareté des ressources, l'établissement de priorités collectives n'est pas en soi contraire à l'éthique, il le devient si on ne se préoccupe pas de ce qui a été réalisé grâce à ses ressources » [13].

2.2 Enjeu social

Une bonne politique de santé doit se préoccuper non seulement de réduire les inégalités mais doit aussi se préoccuper de justice sociale et d'équité. Les politiques et programmes mis en place tendent-ils à assurer l'équité tant horizontale que verticale4 ?

2.3 Enjeu économique

Malgré l'afflux de financements extérieurs (Fonds Mondial, Fondations, initiative PEPFAR, Fonds Clinton, taxes sur les transports aériens et autres futurs financements innovants, etc.), les ressources restent limitées. Or, on sait qu'une meilleure affectation des ressources permettrait d'atteindre de meilleurs résultats. Par ailleurs, le droit à la santé et l'exigence d'équité induisent l'obligation d'apporter à chacun des soins de qualité au moindre coût [14]. L'évaluation en recherchant a priori les programmes ou stratégies les plus efficients, et en vérifiant a posteriori leur efficience et leur efficacité permet de minimiser les coûts, d'éviter le gaspillage, épargnant ainsi les ressources.

2.4 Enjeu financier

L'enjeu financier prend de plus en plus d'importance du fait d'exigences nouvelles. L'évaluation devient un outil d'aide à la décision pour le remboursement, la mise en place ou la poursuite de financements [15]. Il en va ainsi avec :

  • (i) le passage de budgets de moyens à des budgets de résultats ;
  • (ii) le passage d'un système d'assurance, initialement basé sur le remboursement a posteriori (toute dépense, justifiée ou non, devant être remboursée) à une évaluation des besoins a priori (toute dépense doit être justifiée) qui implique une gestion concertée5 ;
  • (iii) la solidarité internationale qui mobilise de plus en plus de partenaires, mais des partenaires de plus en plus exigeants. L'obtention durable de financements extérieurs est conditionnée par l'obtention de performance, de résultats. La mise en place d'un processus de suivi-évaluation des programmes est exigée. Il en est ainsi par exemple du Fonds Mondial qui, avant de décaisser la tranche suivante, vérifie la performance du programme (les activités et donc les dépenses prévues ont-elles bien été réalisées ? les objectifs fixés par le pays ont-ils été atteints ? [17]).

En résumé, l'évaluation est un outil qui permet :

  • – d'éclairer a priori les décideurs en leur apportant une aide à la décision (choix entre deux traitements, entre deux affections, entre deux politiques, entre deux stratégies) ;
  • – de justifier a posteriori le bien-fondé du, des choix (en terme financier, en terme économique, en terme de résultats) ;
  • – de vérifier que les coûts estimés n'ont pas été dépassés ;
  • – de suivre la mise en œuvre de la politique ou des programmes pour ajuster si nécessaire les activités afin que les objectifs fixés puissent être atteints ; pour vérifier que l'arbitrage entre efficience et équité a été respecté ;
  • – de surveiller l'apparition d'externalités éventuellement négatives des actions entreprises pour rectifier ou réorienter les activités avant qu'il ne soit trop tard.

Comment évaluer ?

3 Approches

La détermination des enjeux de l'évaluation permet d'orienter le choix des approches. L'évaluation sera-t-elle utilisée comme élément d'aide à la décision en matière de politique de santé publique, d'admission au remboursement par l'assurance maladie, d'obtention de financements, de subventions, de recommandations de bonnes pratiques cliniques ?

Il est important de se demander :

  • – qui évalue,
  • – à qui est destinée l'évaluation,
  • – que veut-on évaluer,
  • – pourquoi veut-on évaluer,
  • – que veut-on savoir,
  • – quelles décisions prendra-t-on ?

Selon qui évalue, on distingue deux types d'évaluation :

  • – l'évaluation interne. Elle est menée par les agents de l'entité, du programme ou de la structure qui est évalué. Elle permet de procéder à l'évaluation des activités menées et de la qualité des prestations délivrées pour les structures de santé. Elle a pour vocation une meilleure lisibilité et cohérence des actions, une meilleure qualité des relations avec l'usager, une amélioration continue des actions et de la qualité des actions. Elle doit être menée à intervalles réguliers pour permettre une évaluation en continu. Elle n'exclut pas, au contraire, la nécessité de mener une évaluation externe [18] ;
  • – l'évaluation externe. Elle est menée et financée par les agents d'une structure indépendante.

Il est également nécessaire que les commanditaires et autres destinataires de l'évaluation (les principaux acteurs) puissent s'approprier les résultats et les connaissances produites. Sans cette appropriation, l'objectif de l'évaluation qui est l'amélioration des résultats, de l'efficacité et de l'efficience, ne peut être atteint. Les agents impliqués dans l'évaluation (évaluation interne) ne verront pas l'intérêt de recommencer cet exercice si les résultats ne sont pas présentés, commentés, discutés, pour aboutir à des décisions que chaque agent aura contribué à prendre. Les agents non impliqués dans l'évaluation (évaluation externe) ne comprendront pas toujours les décisions prises à l'issue de l'évaluation et pourront s'y opposer de manière même passive en ne modifiant pas leur comportement.

3.1 Analyses d'évaluation économique (des programmes, des stratégies, des actions)

Les analyses d'évaluation économique ont pour objet de chercher à utiliser efficacement les ressources. Elles englobent l'analyse de minimisation des coûts, les analyses coût-efficacité, coût-utilité, coût-bénéfice et coût-conséquence. Les unes lient les coûts et les résultats d'une action thérapeutique, d'un programme (coût-efficacité, coût-utilité, coût-bénéfice), les autres mettent en parallèle les coûts et les diverses conséquences, sans formaliser de liens (coût-conséquence) [19].

L'une ou l'autre de ces approches est utilisée selon le contexte de l'évaluation, de la décision à prendre. Prenons l'exemple d'une innovation médicale. Pour l'utilisateur, si l'intérêt potentiel de l'innovation est l'amélioration de la qualité de vie, il doit se préoccuper des coûts de cette innovation et les comparer à ceux des techniques existantes et à ceux des autres innovations éventuelles. L'analyse coût-utilité permettra de savoir si cette innovation médicale, eu égard au résultat et à son coût, doit être adoptée et les autres techniques abandonnées.

L'analyse coût-efficacité évalue les gains de santé par rapport au coût des interventions. Elle permet d'identifier les interventions qui allègent la charge de morbidité à un coût plus abordable, d'identifier les interventions inefficaces et de réorienter les ressources vers des interventions efficaces. Elle conduit à économiser les ressources ou à faire mieux avec les mêmes ressources. En proposant un critère, ici économique, pour allouer les ressources, elle devient un outil d'aide à la décision.

Prenons l'exemple d'un nouveau traitement. Bien que l'efficacité du nouveau traitement ait été reconnue, on se demande si le coût de ce traitement n'est pas trop élevé par rapport à son coût et si sa substitution à un traitement antérieur vaut la peine. L'analyse coût-efficacité permet de comparer deux stratégies ou deux traitements et de choisir la stratégie, le traitement, le plus coût-efficace.

Ces analyses demandent que soient pris en considération et estimé non seulement l'ensemble des coûts (directs et indirects) du programme, mais également l'ensemble des effets du programme (Fig. 1).

Fig. 1

Effets d'un programme de santé : processus d'évaluation par étape en termes de résultats (source : auteur, adapté de [20]).

3.2 Analyse d'impact

Issue de la méthode expérimentale, l'analyse d'impact est utilisée pour mesurer l'effet d'une intervention ou d'un programme. Elle a pour objet de vérifier que l'intervention ou le programme mis en place a bien conduit au changement (ici de l'état de santé) espéré. En d'autres termes, l'analyse d'impact doit permettre de conclure que le changement observé est bien dû au programme et non au hasard ou à un événement extérieur.

Prenons l'exemple d'un programme de santé dont l'objectif est d'améliorer la santé maternelle (objectif n 5 des OMD, site UN : http://www.un.org/french/millenniumgoals/).

Si l'analyse d'évaluation économique, évoquée dans le paragraphe précédent, montre par exemple que l'accouchement assisté par un personnel qualifié est la stratégie la plus coût-efficace, le programme mis en place aura pour objectif intermédiaire d'augmenter la couverture des accouchements assistés. A cette fin, il faudra développer l'offre de soins obstétricaux en assurant une meilleure prise en charge en cas de complication. Au contraire de l'analyse précédente, l'analyse d'impact ne vérifiera pas que la stratégie adoptée dans le programme est coût-efficace. Elle permettra par contre de dire que le programme mis en place a contribué ou non à la réduction de la mortalité maternelle et dans ce cas, de combien.

Pour cela, elle demande de comparer deux groupes, l'un avec (groupe expérimental), l'autre sans (groupe témoin ou de contrôle), intervention, en observant la situation avant et après la mise en place de l'intervention. Le choix du groupe avec et du groupe sans intervention doit idéalement se faire de façon aléatoire.

La situation qui permet de suivre un protocole expérimental n'est pas toujours vérifiée. Des solutions alternatives peuvent être envisagées. Elles ne sont pas toutes exemptes de biais (Fig. 2) :

  • – Il n'est en effet pas toujours possible d'obtenir que le tirage du groupe expérimental et du groupe témoin, soit réalisé de façon aléatoire. On est alors dans le cas d'un protocole quasi-expérimental [21,22] dans lequel le groupe témoin6 est choisi par la méthode des groupes appariés et utilise le score de propension [23–25].
  • – La situation avant intervention n'a pas toujours été observée et ne peut l'être de façon rétrospective. On compare alors la situation après intervention entre un groupe qui a bénéficié et un groupe qui n'a pas bénéficié de l'intervention. On suppose ainsi que la différence, si différence il y a, est due au programme. L'hypothèse faite dans cette situation est très forte. Ignorant la situation de départ, on n'est pas sûr que les deux groupes, même s'ils semblent présenter des caractéristiques communes, étaient initialement identiques. Même en admettant cette hypothèse, évaluer la performance du programme en quantifiant cette différence est source de biais incontrôlable.
  • – Il est parfois difficile, voire compliqué, de trouver un groupe témoin. Certains envisagent alors de comparer le groupe expérimental avant et après intervention. Comme dans le cas précédent, on suppose que la différence entre les deux périodes, si différence il y a, est due au programme. Cette hypothèse peut être vraie si aucun événement extérieur, aléatoire et non contrôlable (comme la diminution de la pluviométrie par exemple) qui pourrait agir sur le phénomène observé (la densité des moustiques), ne survient durant la phase d'implantation et de suivi-évaluation du programme. Le risque est grand qu'en cas d'apparition de l'événement extérieur, on n'observe aucune modification de situation ou au contraire une modification beaucoup plus forte que celle qui doit être imputée au programme.7

    Une des critiques faites à l'analyse d'impact repose sur l'impossibilité de son objet qui est d'évaluer la différence entre une situation effective dans un milieu donné (observation du groupe expérimental) et ce qui se serait passé s'il n'y avait pas eu d'intervention (situation approchée par l'observation du groupe témoin, mais impossible à observer pour le groupe expérimental). Cette critique rend encore plus nécessaire de mener l'analyse d'impact de la façon la plus rigoureuse possible [26].

3.3 Que doit-on savoir pour mener à bien une évaluation ?

  • (i) Être capable d'identifier le type d'évaluation en fonction des objectifs fixés. Quand et comment mener une évaluation interne, quand et comment mener une évaluation externe ? Pour y répondre, on se demandera quels sont les enjeux de l'évaluation qu'on veut mener ;
  • (ii) Être capable d'élaborer et mettre en place le recueil des différents indicateurs qui permettront de suivre et d'évaluer les programmes et politiques. Cela implique d'identifier les indicateurs adéquats (faisabilité, compréhension, simplicité du recueil) à chaque étape du processus : indicateurs de réalisation (qui mesurent l'efficacité de l'activité entreprise), indicateurs de résultats intermédiaires (qui mesurent une modification du comportement), indicateurs de résultat final ou d'impact (sur la santé) ;
  • (iii) Être capable de mener une analyse de coûts ;
  • (iv) Être capable de mettre en place une analyse d'impact (définir les groupes témoins, les groupes expérimentaux, mettre en place les indicateurs de suivi) et d'en analyser les résultats.

4 Contraintes

4.1 Évaluation interne

L'évaluation interne, impliquant le personnel de la structure évaluée, demande que ce personnel y consacre du temps, au détriment ou en plus, de ses propres activités. Qui va se charger du recueil et de la collecte des données nécessaires à l'évaluation ? Qui va se charger d'analyser les données recueillies ? Comment motiver les personnes qui en seront chargées ?

4.2 Évaluation externe

L'analyse d'impact peut nécessiter des moyens financiers importants et doit être menée sur une période suffisamment longue pour pouvoir observer des changements. Demandant la coopération des ménages et des individus, les investigateurs peuvent se trouver confronter à des refus. Le programme se poursuivant sur une période plus ou moins longue, les investigateurs peuvent se trouver confronter à des perdus de vue. Ils peuvent être aussi confrontés à l'implantation d'autres interventions qui peuvent avoir un effet sur leurs résultats. Chercher à s'opposer à ces autres interventions peut poser des problèmes éthiques.

Identifier de façon aléatoire deux groupes, celui qui bénéficiera du programme et celui qui n'en bénéficiera pas, demande de renoncer à identifier le groupe bénéficiaire sur un critère politique, ou de répondre, dans ce cas, à la demande de la communauté.

Identifier deux groupes, même de façon aléatoire, peut poser des problèmes d'éthique : observer sans intervenir peut être délicat, même si l'intervention sur le groupe témoin n'est en fait que différer dans le temps. Il est de toutes façons nécessaire d'obtenir le consentement « éclairé » et de la population, et du gouvernement local ou national.

Les personnes concernées par l'évaluation peuvent se sentir surveillées et fausser l'évaluation, voire l'en empêcher.

L'évaluation, qu'elle soit interne ou externe, implique :

  • (i) de rendre compte, tant à ceux qui ont été évalués qu'à ceux qui commandent l'évaluation,
  • (ii) de passer de l'évaluation à la décision. Les liens entre les évaluateurs et les décideurs sont primordiaux pour que les résultats des évaluations soient communiqués aux décideurs, afin qu'ils puissent suivre les recommandations qui en découlent [27].

Les difficultés à appliquer les recommandations peuvent être liées à la rigidité du système (lenteur du passage de la connaissance à l'application), aux difficultés pour interpréter les résultats (lorsque les résultats sont présentés de façon trop agrégée ou avec trop d'hypothèses, ce qui augmente la confusion).

Il est possible de lever en partie les contraintes de l'évaluation par une présentation plus claire de l'étude en montrant que les méthodes sont appropriées. Il convient également de s'assurer non seulement de l'acceptabilité technique et scientifique (non partisan) de l'étude, mais aussi de l'acceptabilité structurelle, institutionnelle, éthique et politique de l'étude [25].

5 Conclusion

Si la culture de l'évaluation est encore relativement récente, même dans les pays développés, sa nécessité est de plus en plus admise, notamment au sein des organisations internationales qui mènent ou supportent financièrement des projets. Ainsi, par exemple, le Fonds Mondial de lutte contre le SIDA, la tuberculose et le paludisme (2006) propose un cadre d'évaluation à quatre niveaux pour permettre aux pays d'évaluer leur programmes et a, en 2007, renforcé son système de mesures des performances en mettant en place des vérifications des résultats sur site.

La santé, n'est pas seulement un élément du bien-être, elle est aussi un élément du développement. Si on admet, comme les OMD en rendent compte, qu'améliorer l'état de santé est un moyen de lutter contre la pauvreté et donc d'œuvrer pour le développement, on admettra que l'évaluation des programmes et des politiques de santé est un enjeu du développement.

Cette impérative nécessité ne devra cependant pas occulter le fait que l'évaluation ne se fait pas sans contraintes et qu'elle doit être menée de façon rigoureuse si on veut en tirer des enseignements pour le développement.

1 Elle a augmenté dans 16 pays, dont 14 se trouvent en Afrique.

Tableau 1 Evolution de quelques indicateurs de santé entre 1990 et 2004 dans les PFMR
Indicateurs Afrique Sub-Sahararienne Afrique du Nord et Moyen-Orient Asie du Sud Asie de l' Est & Pacifique
1990 2004 1990 2004 1990 2004 1990 2004
Espérance de vie à la naissance 50 47 64 70 59 63 67 71
Gain d'années d'EV entre 1990 et 2004 −3 +6 +4 +4
TMI ‰ naiss vivantes 109 96 60 43 86 62 43 26
TMIJ ‰ naiss vivantes 185 163 80 52 129 83 59 33

2 Les dépenses de santé sont, dans la plupart des pays à faible revenu, jugées insuffisantes. Les besoins extérieurs seraient un doublement de l'aide qui doit passer de 50 à 100 milliards US$ par an pour l'ensemble des OMD, une allocation de 20 milliards US$ par an au VIH/SIDA d'ici à 2007 et une quintuple augmentation des fonds engagés par les donateurs en faveur de la santé (www.who.int/mdg/score/fr/).

3 Des études ont montré l'influence des conditions de santé et d'éducation dès l'enfance sur le devenir de l'adulte, ou le retard de croissance de l'enfant et les résultats scolaires (voir, entres autres, [10,11]).

4 Les personnes ayant des besoins identiques bénéficient-elles de soins identiques (équité horizontale) ; les personnes qui ont plus de besoins reçoivent-elles plus de services (équité verticale).

5 L'assurance doit-elle rembourser les nouvelles technologies ? L'accroissement de la demande pour des traitements coûteux dans les pays industrialisés a conduit au développement de l'évaluation économique [16]. En Angleterre, le National Institute for Health and Clinical Excellence (NICE) établit des recommandations pour le National Health Service (NHS).

6 Le groupe témoin doit en effet avoir des caractéristiques similaires au groupe expérimental (structure démographique, caractéristiques économiques, caractéristiques épidémiologiques, environnement, etc.).

Fig. 2Évaluation d'un programme par l'analyse d'impact.

7 Dans les zones de transmission saisonnière du paludisme, une chute importante de la pluviométrie peut avoir une incidence sur la densité des moustiques et par là sur l'incidence du paludisme. Si le programme de lutte mis en place pendant cette période est performant, il aura un impact sur l'incidence du paludisme. Seule la comparaison avant/après entre les deux groupes (expérimental et témoin) permet de différentier le rôle du climat, de celui du programme et de quantifier l'impact réel du programme.


References

[1] World Bank World Development Indicators, Oxford University Press, New York, 2004

[2] Disease Control Priorities in Developing Countries (D.T. Jamison; J.G. Breman; A.R. Meashan et al., eds.), Oxford University Press, The World Bank, New York, 2006

[3] World Bank, 2007 http://devdata.worldbank.org/hnpstats/thematicRpt.asp

[4] WHO, 2007 http://www.who.int/mdg/score/fr/

[5] OMS, Rapport sur le développement dans le monde, 2007

[6] G. Becker Investment in human capital: A theoretical analysis, J. Pol. Eco., Volume 70, 5, 2 (1962), pp. 9-49

[7] M. Grossman On the concept of health capital and the demand for health, J. Pol. Eco., Volume 80 (1972) no. 2, pp. 223-255

[8] P. Lorentzen; J. McMillan; R. Wacziarg Death and development, NBER, 2005 http://www.nber.org/papers/w11620 (Working Paper Series 11620)

[9] D.E. Bloom; D. Canning; J. Sevilla The effect of health on economic growth: A production function approach, World Development, Volume 32 (2004) no. 1, pp. 1-13

[10] M. Marmot; R.G. Wilkinson Social Determinants of Health, Oxford University Press, New York, 1999

[11] R.G. Evans; G.L. Stoddart Produire de la santé, consommer des soins (R.G. Evans; M.L. Barer; T.R. Marmor, eds.), Etre ou ne pas être en bonne santé, biologie et déterminants sociaux de la maladie, John Libbey Eurotext, Les Presses de l'Université de Montréal, Paris, 1996, pp. 37-73

[12] A. Sen Development as Freedom, Oxford University Press, New York, 1999

[13] A. Williams Qalys and ethics: a health economist's perspective, Soc. Sci. Med., Volume 43 (1996) no. 12, pp. 1795-1804

[14] M. Méreau; T. Lebrun; C. Bercez Nouveaux enjeux pour l'évaluation économique, Actualité et Dossier en Santé Pub., Volume 35 (2001), pp. 12-16

[15] S. Radelet; B. Siddiqi Global Fund grant programmes: an analysis of evaluation scores http://www.thelancet.com (vol. 369, May 26, 2007)

[16] I. Williams; S. Bryan Cost-effectiveness analysis and formulary decision making in England: Findings from research, Social Science and Medicine, Volume 65 (2007) no. 10, pp. 2116-2129

[17] Le Fonds Mondial de lutte contre le SIDA, la tuberculose et le paludisme, Investir dans l'impact : résultats à mi-parcours, Rapport d'activités, GFATM, Genève, 2006

[18] Conseil National de l'Evaluation Sociale et Médico-Sociale, L'Evaluation interne, Guide pour les établissements et les services sociaux et médico-sociaux, version 1, 2006, 26 p

[19] , 2003 http://www.ces-asso.org/Pages/defaut_fr.htm (Collège des Economistes de la Santé, Guide méthodologique pour l'évaluation économique des stratégies de santé)

[20] M. Phillips, A. Mills, C. Dye, PEEM, Guidelines 3 – Guidelines for cost-effectiveness analysis of vector control, Geneva, WHO, 1993, WHO/CWS/93.4

[21] T. Cook; D.T. Campbell Quasi-Experimentation, Design and Analysis, Issues for Field Settings, Houghton Mifflin Company, Boston, 1979

[22] S.T. Kuritz; L.J. Richard; G.G. Koch A general overview of Mantel–Haenszel methods: applications and recent developments, Annals Rev. Pub. Hlth., Volume 9 (1988), pp. 123-160

[23] P. Rosenbaum; D. Rubin The central role of the propensity score in observational studies for causal effects, Biometrika, Volume 70 (1983), pp. 41-55

[24] J. Heckman; H. Ichimura; J. Smith; P. Todd Matching as an econometric evaluation estimator: Evidence from evaluating a job training programme, Rev. Eco. Studies, Volume 64 (1997), pp. 605-654

[25] J. Jalan; M. Ravaillon Does piped water reduce diarrhea for children in rural India, J. Econometrics, Volume 112 (2003) no. 1, pp. 153-173

[26] Cerise L'évolution récente des enjeux et outils de l'analyse d'impact en micro-finance, Techn. Fin. Dev., Volume 70 ( mars 2003 ), pp. 52-56

[27] I. Williams; S. Bryan Understanding the limited impact of economic evaluation in health care resource allocation: A conceptual framework, Hlth. Pol., Volume 80 (2007), pp. 135-143


Comments - Policy