La dernière décennie a été le théâtre de nombreuses démarches innovatrices dans le domaine de la formation des enseignants au Québec, comme du reste dans la plupart des pays industrialisés. Citons, à titre d’exemple, l’enseignement réflexif, la formation en partenariat école-milieu et l’approche par compétences. De nombreux programmes sont actuellement en voie d’application et exigent nécessairement le recours à des dispositifs d’évaluation adéquats qui devraient prendre en compte les principaux paramètres de la formation à l’enseignement.
  Or, force nous est de constater que les devis proposés par les responsables administratifs correspondent la plupart du temps à des devis de type traditionnel ou formaliste. Tout se passe comme si on ignorait les avancées des méthodes d’évaluation. À notre avis, les devis traditionnels d’évaluation ne permettent pas d’apprécier à leur juste valeur le mérite des processus de formation mis en oeuvre dans les programmes évalués ; ils ne fournissent à la limite que des informations sur le niveau d’atteinte des objectifs des programmes en question. Une telle démarche évaluative est nettement axée sur la vérification de l’efficacité des programmes, elle ne permet pas de cerner les forces et les faiblesses du programme évalué sous l’angle des processus d’apprentissage et de formation. Ces approches sont souvent ainsi dénoncées par un grand nombre de théoriciens de l’évaluation comme étant mécanistes et insensibles à ce qui se passe réellement dans le milieu de l’éducation, comme le note Wood (1997).
  Spécificités de l’évaluation naturaliste de programmes
  Les évaluations de programmes conduites jusqu’à ce jour sont peu révélatrices des préoccupations et des besoins des principaux intervenants impliqués directement ou indirectement dans les différents programmes de formation. En effet, en n’émettant que des jugements sur l’efficacité d’un programme, les évaluations de type traditionnel n’accordent qu’une importance réduite au processus qui sous-tend le programme. Ce type d’évaluation conduit souvent à des décisions importantes qui prennent des formes diverses : interruption de programmes, modifications apportées sur la base des effectifs de la clientèle, de la rentabilité et de l’efficacité du programme, etc. Ces évaluations sont généralement conçues dans le but d’une accréditation, de sanction, de changement ou encore d’analyse de besoins. Elles ne nous renseignent guère sur la dimension développementale du programme.
  En outre, les approches d’évaluation des programmes utilisées généralement par les universités répondent à des besoins exprimés par l’institution. Ces besoins ne concernent qu’un nombre restreint de personnes et il en va souvent de même pour ce qui est des étapes du programme pour lesquelles il convient tout de même de recueillir des données et des informations essentielles. De plus, le fait que ces évaluations soient, pour la plupart, de type sommatif contribue à gommer le processus du programme lui-même pour ne mettre en perspective que ses résultats axés très souvent sur des données quantitatives.
  Les programmes de formation sont des entités dynamiques qui font l’objet d’expérimentations, de modifications diverses, voire de transformations. Une approche d’évaluation, linéaire, “ confirmée et validée ”, centrée seulement sur l’impact de l’intervention en excluant des informations sur le contexte, les conditions, les motivations des personnes concernées et sur les actions individuelles laisse manifestement de côté des renseignements indispensables à la réalisation des objectifs d’un programme donné. Cette centration sur les résultats et les impacts, quand il s’agit de donner de l’information aux planificateurs sur l’efficacité du programme, ne peut expliquer ni les causes de l’échec, ni les raisons de la réussite. En revanche, la prise en compte des différentes variables par une approche d’évaluation plus analytique et explicative, plus souple en un mot, fournira aux principaux intéressés des explications non seulement sur la façon dont le programme fonctionne mais également sur les raisons qui expliquent son bon ou son mauvais fonctionnement. Souvent décrite comme une représentation de ce que ressentent et connaissent les personnes impliquées dans le programme (Wolf et Tymitz, 1976) ou encore comme toute forme de recherche qui vise une découverte et une vérification par le biais de l’observation (Willems et Raush, 1969), l’approche d’évaluation “ naturaliste ” a fait l’objet de nombreuses définitions.
  L’évaluation centrée sur le processus contribue largement à l’identification des problèmes rencontrés lors de la mise en œuvre et de l’application d’un programme, cela alors qu’il est encore possible d’apporter des correctifs. Aussi, comme le suggèrent Chen (1994) et Smith (1994), des approches, dites de construction, orientées vers l’action permettent plus de flexibilité et sont plus appropriées à la nature du phénomène étudié. Selon Smith (1992), l’un des principaux avantages de telles approches réside dans le fait qu’elles sont mieux en mesure d’expliquer le fonctionnement et l’impact des programmes mis en place tant dans le domaine de l’éducation que des sciences sociales. Cet auteur note à juste titre que la valeur des programmes, le bien-fondé de la formation des maîtres, les réalités de la classe, celui des pratiques pédagogiques préconisées, etc., échapperont toujours à l’entreprise d’évaluation tant et aussi longtemps que les nouveaux modèles d’évaluation dont nous parlons ici ne seront pas utilisés.
  Apport des modèles d’évaluation naturaliste-réflexif de programmes
  Fort heureusement, même si elles sont encore très courantes dans le domaine qui nous concerne, les approches évaluatives, orientées vers la vérification des “ produits ” des programmes ou projets de formation, cèdent peu à peu la place à des approches qui tiennent davantage compte des opinions, des préoccupations, des valeurs et des attentes des personnes concernées par le programme évalué. La prise en compte des modèles naturalistes en général et de leurs caractéristiques en particulier, devrait donc conduire à des approches évaluatives mieux adaptées aux besoins des personnes inscrites à de nouveaux programmes de formation ainsi qu’aux exigences et aux visées de la formation en question.
  La plupart du temps, l’apport des nouveaux modèles est mis en perspective à partir d’une comparaison avec les anciens. C’est ainsi qu’au cours des deux dernières décennies, plusieurs auteurs ont insisté sur l’incapacité des modèles d’évaluation des programmes à cerner les véritables problèmes et besoins qui surgissent lors de l’application de tel ou tel programme. À ce sujet, Hamilton (1997) décrit les caractéristiques principales des modèles naturalistes en évaluation et constate que ces modèles, comparés aux modèles classiques, sont plus complets, vastes et approfondis. Ils se préoccupent davantage des activités d'un programme que de ses intentions et font preuve d’une plus grande souplesse puisqu’ils ne sont pas limités par des devis expérimentaux planifiés a priori. Orientés vers les acteurs, ces nouveaux modèles permettent à l’évaluateur d’être plus sensible aux valeurs véhiculées par les participants, d’utiliser des méthodes empiriques qui mobilisent le travail sur le terrain et de fournir de l’information sur le programme dans un langage accessible aux utilisateurs. Il faut aussi mentionner qu’une telle approche accorde moins de place au jugement formel de l’évaluateur pour en donner davantage à celui des participants. Ainsi donc, l’utilisation d’un modèle naturaliste-réflexif signifie que l’évaluateur considère le processus de l’éducation comme une entreprise complexe qui accorde à l’interaction des divers acteurs et éléments une part déterminante. L’analyse de plusieurs modèles naturalistes développés entre autres par Stake (1978, 1991), Guba et Lincoln (1981), Rippey (1973), Eisner (1979), Levine (1974), nous ont permis d’identifier l’apport du modèle naturaliste-réflexif dans l’évaluation de programmes. Mentionnons à ce titre quelques-unes des ces contributions.
  Observation et participation. Les modèles d’évaluation naturaliste se préoccupent davantage de l’observation du programme en tant que tel et de son fonctionnement. L’évaluateur qui y recourt vise à recueillir des jugements qui l’aideront à la fois dans l’identification des besoins et dans les prises de décision à venir. Ces dernières relèvent de l’identification de la nature des interventions, de la détermination des groupes cibles, de la mise en œuvre du programme, de la sélection des processus de médiation nécessaires, du dénombrement des effets du programme étudié. La participation des personnes concernées par le programme et cela, que ce soit à l’aide de techniques telles que l’étude de cas, les entrevues, les rencontres formelles et informelles, etc., constitue une donnée nécessaire à la bonne marche du processus d’évaluation. Cela présuppose de la part de l’évaluateur une très grande sensibilité aux propos formulés, aux remarques et aux idées émises par les différents participants dans un climat propice à la confidence et exempt de toute censure. L’interaction avec le milieu contribue de façon essentielle à l’alimentation et au cheminement de ce processus évaluatif.
  Subjectivité et compréhension. Contrairement aux modèles traditionnels dont l’une des principales préoccupations est la préparation d’instruments et de documents formels, les modèles naturalistes visent l’observation en situation, la découverte sur le terrain, la prise en compte de la réalité telle qu’elle est et telle qu’elle apparaît, l’identification des préoccupations et des problèmes ainsi que leurs conséquences pour le système d’éducation concerné. En un mot, ces modèles font appel à un processus simple, souple, qui évolue sans cesse et se transforme au fur et à mesure de son utilisation et de son application. Caractériser, comprendre et porter un jugement sur le ou les phénomènes en question, voilà ce en quoi peut se résumer l’ensemble de la mise en pratique du modèle naturaliste-réflexif d’évaluation de programmes.
  Valeur et bien- fondé du programme. Les modèles d’évaluation dits “ formalistes ” mettent l’accent sur le produit fini ainsi que sur les résultats tangibles et bien déterminés. Pour leur part, les modèles naturalistes s’intéressent davantage à la valeur du programme, et cela tant au niveau de sa mise en place, de son implantation et son fonctionnement à plus ou moins long terme. Plus que les objectifs et les intentions du programme, les activités du programme deviennent le “ leitmotiv ” du processus d’évaluation. En effet, définies comme des séries d’événements aussi importants les uns que les autres, les activités du programme ne peuvent être considérées comme statiques, linéaires, invariables et continues puisque l’accent est mis sur l’expérience directe des personnes en lien avec les activités et le milieu concernés par l’évaluation.
  Jugement et réflexion. La réflexion et le jugement sont les deux axes fondamentaux qui dans l’application d’un modèle naturaliste-réflexif qui ne saurait se contenter d’évaluer seulement les événements, les situations ou les données mais surtout les perceptions, les problèmes, les opinions, les questions en litige ainsi que les attentes des personnes concernées par la formation en question. Ce modèle comporte également la mise en oeuvre et la poursuite d’une réflexion approfondie sur la globalité des effets d’un programme de formation, d’où son appellation de modèle naturaliste-réflexif.
  Sources variées et indépendantes. Le modèle naturaliste-réflexif puise à des sources variées et indépendantes les unes des autres. Sa méthodologie utilisée ne prend pas une tournure formelle et immuable dans le temps. Bien au contraire, elle s’adapte, s’élabore, se transforme et se renouvelle selon les données recueillies ainsi que par l’analyse et l’interprétation qui en découlent. La personne devient la première et la principale source d’informations indispensable à la collecte de données. Ce modèle ne saurait être assujetti par aucune théorie ou déduit a priori d’hypothèses préconçues. Il s’insère autant dans un processus d’évaluation formative que dans celui d’une évaluation sommative. La possibilité d’utiliser de multiples techniques de cueillette de données (étude de cas, entrevues, etc.) permet un regard sur des aspects moins tangibles mais non moins cruciaux du comportement humain et organisationnel. Une telle approche peut bien évidemment procurer aux intéressés des informations crédibles et réelles.
  Description et interprétation. Identifier et décrire afin de mieux juger et interpréter, telle est sûrement la visée principale du modèle naturaliste-réflexif. Les concepts de flexibilité, de disparité, de discontinuité, variabilité, etc., font partie du vocabulaire courant des tenants de ce type de modèle. À cet égard, l’approche de Guba et Lincoln (1981) peut servir de point de référence à l’illustration d’une telle approche évaluative axée sur une meilleure interprétation du contexte, de l’environnement et de la problématique d’une évaluation donnée.
  Dimension qualitative. Le modèle naturaliste-réflexif est davantage porté vers la réflexion, la compréhension et l’amélioration du mérite et de la qualité du programme qu’à sa dimension et à ses orientations seulement quantitatives. Comme le souligne Nadeau (1988), les modèles d’évaluation naturalistes sont avant tout à la fois une forme de critique des pratiques et d’appréciation des qualités d’une activité, d’un projet. Sechrest (1980) déplore le fait que certains auteurs présentent l’évaluation qualitative comme une méthodologie destinée à remplacer les autres et non comme un développement dans le domaine de l’évaluation des programmes qui devrait être utilisé avec les méthodes qualitatives. Comme le soulignent Lessard-Hébert, Goyette et Boutin (1996), les méthodes qualitatives et quantitatives ont des rôles différents. D’une façon générale, les méthodes quantitatives constituent des instruments quand il s’agit de mesurer des changements et les méthodes qualitatives deviennent des outils pour connaître les expériences des individus. Selon Chen et Rossi (1992), le développement et les étapes de l’évaluation ne sauraient être dictés par la méthode. Autrement, cela conduirait à éviter des problèmes dont l’analyse permettrait une meilleure compréhension du programme et esquiver les préoccupations ainsi que les revendications des personnes intéressées. Selon Chen (1990), une méthode devrait rester un outil dans le processus d’évaluation des programmes et elle ne devrait pas en déterminer le contenu. Bref, l’utilité d’une méthode dépend des différentes configurations d’un programme telles les besoins des personnes impliquées, le contexte du programme, etc.
  Nonobstant la pertinence de l'approche naturaliste-réflexive en ce qui a trait à l'évaluation des programmes de formation des maîtres, il nous faut bien constater que son application est encore loin d’être généralisée. Certes, la mise en application d’un tel dispositif exige de la part de l’évaluateur une grande expertise de même qu’une bonne connaissance des fondements théoriques de cette nouvelle approche. Mais il nous faut également tenir compte du fait que les “ demandeurs d’évaluation ” ne sont pas en général intéressés plus qu’il ne faut par les questions de processus ou de développement, ils le sont bien plus par des résultats tangibles qu’ils peuvent utiliser à leur guise... Or, l'adéquation entre les visées de l'évaluation et les méthodologies constitue un facteur clé de réussite des approches naturalistes : elle conditionne, pour ainsi dire, l'interprétation des données recueillies réalisée par l’évaluateur. Au delà des limites évoquées, reste du moins la possibilité d’expérimenter de nouvelles avenues comme celles, par exemple, d'intégrer des dispositifs d'évaluation formative dès l’élaboration d'un programme donné, de faire connaître davantage les nouveaux courants d’évaluation. L’idée que décideurs et acteurs se font de l’évaluation n’est-elle pas le reflet de l’intérêt que les uns et les autres portent à la démarche de formation elle-même, aux valeurs qui la sous-tendent, à sa pertinence, en un mot!
  Références bibliographiques
  Chen, H. T. (1994). “ Theory-driven evaluations : Needs, difficulties and options. ” Evaluation Practice, 15(1), 79-82.
  Chen, H. T., Rossi, P. H. (1989). “ Issues in the theory-driven perspective ”. Evaluation and Program Planning, 12(40, 299-306.
  Eisner, E. W. (1979). The Educational Imagination. New York : McMilan.
  Guba, E. G., Lincoln, Y. S. (1981). Effective Evaluation. San Francisco : Jossey-Bass.
  Hamilton, D. (1997). Curriculum evaluation. Londres : Falmer.
  Lessard-Hébert, M., Goyettte, G., Boutin, G. (1996). La recherche qualitative ” Fondements et pratiques. Montréal : Éditions Nouvelles.
  Levine, M. (1974). “ Scientific Method and the Adversary Model ”. American Psychologist, 29(9), 661-677.
  Nadeau, M.-A. (1988). L’évaluation de programme. Théorie et pratique. Québec : Les Presses de l’Université Laval.
  Rippey, R. M. (1973). Studies in Transactional Evaluation. Berkeley, California : McCutchan.
  Sechrest, L. B. (1980). Training program evaluators. San Francisco, Calif. : Jossey-Bass.
  Smith, N. L. (1992). “ Qualitative Plus/Versus Quantitative ”.Qualitative Quantitative Debate : New Perspectives (New Directions for Programs Evaluation), 61, Joessey-Bass.
  Smith, N. L. (1994). “ Claryfing and expanding the application of program theory-drivcen evaluations ”. Evaluation Practice, 15(10), 83-87.
  Stake, R. E. (1978). “ Responsive Evaluation ”. In T. Husen., T. N. Postlewaite (eds.). International Encyclopedia of Education : Research and Studies. New York : Pergamon.
  Stake, R. E. (1991). “ Retrospectiveon : The countenanceof educational evaluation ”. In M. W. McLaughlin, D. C. Philips (eds.). Evaluation ans Education : a quarter century. Chicago : University of Chicago Press, 67-68.
  Willems, E. P., Raush, H. L. (1969). Naturalistic Viewpoints in Psychology Research. New York : Holt, Rinehart and Winston.
  Wolf, R. L. Tymitz, B. (1976). “ Ethnography and reading : Matching Inquiry Mode to Process. ” Reading Research Quaterly, 12, 5-11.
  Wood, J. M. (1997). Consideraciones generales sobre las evaluaciones de practicas educativas : intervenciones, proyectos, programas. Actas dela seminario internacional de investigacion-formacion. EDAMAZ. Centre Interdisciplinaire de recherche sur l’apprentissage et le développement en éducation.