(2012) Pwojè ranfòsman sèvis lekòl yo: rapò teren ak metodoloji

Projet Initiative de Renforcement des Services Scolaires (IRSS) Rapport de terrain et de la Méthodologie Collecte des Données de Baseline 24 septembre 2013 Girl in Haitian school (c) Scholastic, 2010 1 Contents I. Introduction ............................................................................................................................. 3 II. Rapport de formation des agents enquêteurs .......................................................................... 5 III. Rapport de l’échantillonnage ............................................................................................... 5 IV. Logistique mise à la disposition agents enquêteurs ............................................................. 6 V. Type de la supervision ............................................................................................................ 6 VI. Problèmes rencontrés au cours de la collecte des données .................................................. 6 VII. Difficultés rencontrées avec les responsables d’écoles et départementaux ......................... 7 VIII. Saisie des données ............................................................................................................ 7 IX. Traitement des données........................................................................................................ 7 X. Recommandations ................................................................................................................... 8 XI. Conclusion ........................................................................................................................... 8 ANNEXE I. EGRA ......................................................................................................................... 9 ANNEXE II : Responsabilités de Coordonnateur sur le Terrain, Superviseur, Enquêteur .......... 12 2 I. Introduction (English) In the context of the program Education For All (EFA), the World Bank financed an impact evaluation in order to determine the effects of the Education Service Delivery Project, which reinforces service delivery in schools through the use of smartphones to monitor the presence of teachers in schools. The pilot project is being implemented by the Ministry of Education in Haiti, with the support of the World Bank. The objective of the project is to provide an effective monitoring mechanism and incentive structure for the Ministry, education officials, and parents to assure the presence of teachers in schools. The project pilot included both public and private schools, and aimed to improve service delivery by asking school directors and other members of the community to photograph teachers before and after each school day. The dispersed nature of schools in Haiti will be addressed through the utilization of mobile phones equipped with cameras as the monitoring tool, through which the daily photographs will be sent electronically to a central server where they will be grouped by the zone of responsibility of each inspector. The inspector will then analyze each photo in order to confirm the appropriate documentation. The results of the evaluation will be a causal estimation of the impact of the monitoring program on teacher attendance and the subsequent results on education. The objective of the evaluation is to provide decision-makers in Haiti with solid evidence on the costs and benefits of this particular approach, with a view to national expansion of the program if justified from the point of view of costs versus demonstrable impact. The evaluation is led by an international team of experts in program evaluation from within and outside the World Bank. After a competitive process, Catholic Relief Services (CRS) was selected by the World Bank to collect the baseline and endline data for the impact evaluation in the 200 treatment and control schools. 3 (French) Dans le cadre du programme de l’Éducation pour Tous (EPT), la Banque Mondiale financé une évaluation d'impact à fin de déterminer les effets du projet Initiative de renforcement des Services Scolaires, en renforçant la prestation de service dans les écoles par l’usage des Téléphones Intelligents pour contrôler la présence des enseignants dans les écoles Le projet pilote est dirigé par le Ministère de l'Education (MENFP), avec le soutien du personnel de la Banque Mondiale et des consultants. L'objectif du projet est de « fournir un mécanisme de surveillance efficace et une structure incitative pour le MENFP, les personnels scolaires et les parents pour assurer la présence des enseignants dans les écoles ». Le projet pilote a touché à la fois les écoles publiques et les écoles privées, et a tenté d'améliorer la prestation des services en demandant aux directeurs d'école et aux membres de la communauté de photographier les enseignants avant et après chaque jour d’école. Le caractère dispersé des écoles en Haïti sera adressée par l'utilisation des téléphones à camera comme outil de surveillance, où des photos quotidiennes seront envoyées par voie électronique à un serveur central où elles seront regroupées par inspecteur de zone de responsabilité. L'inspecteur va alors analyser à distance chaque photo afin de s'assurer de la documentation appropriée. Le résultat de l'évaluation sera une estimation causale de l'impact du programme de surveillance des performances des enseignants et des résultats subséquents de l'éducation. L'objectif de l'évaluation est de « fournir aux décideurs l'évidence solide quant aux coûts et aux bénéfices de cette approche particulière, avec une vue vers l'expansion nationale si justifié du point de vue des coûts et des impacts démontrables ». L'évaluation est guidée par une équipe internationale d'experts en évaluation de programme interne ou externe de la Banque Mondiale Apres un processus compétitif, le Catholic Relief Services (CRS) a été sélectionné par la Banque Mondiale pour collecter les données de base et de fin de cette étude pour évaluer l’impact du projet. Dans cette étude, le CRS avait la responsabilité de collecte de suivi régulier ou de fréquentation des enseignants dans ces 200 écoles. 4 II. Rapport de formation des agents enquêteurs (choix des superviseurs, commentaires sur le pré-test, difficultés rencontrées au cours de la formation) Les choix des superviseurs a été fait sur la base d’un processus compétitif après un certain nombre de tests. Ils sont été choisis par rapport à l’harmonisation avec les responsabilités écrites dans leurs termes de référence. Le coordonnateur de terrain était un staff CRS avec l’expérience, techniques et compétences de réaliser les objectifs de l’étude. Le pré-test a été bien passé. La grande difficulté rencontre au cours de la formation était justela fréquence élevé de coupure d’électricité. En plus, L’outil l’Early Grade Reading Assessment (EGRA) était difficile au regard des agents enquêteurs en formation. Les instruments EGRA en Haïti (créole et en français) ont été modifiés en août et septembre 2012 lors d’un atelier avec l’équipe TOTAL (RTI et USAID), les représentants du MENFP et des spécialistes des langues. A voir l’Annexe I pour plus d’informations. En plus, Research Triangle internationale (RTI) a développé le logiciel Tangerine qui est compatible avec Kindle Fire (tablette). Ils ont conçu des tests d’EGRA spécifiques pour Haïti. Les bénéfices ont inclus : (1) la fiche des réponses – papier, trop de temps ; (2) pas besoin chronomètre ; (3) données sont disponible immédiatement en ligne après synchronisation Après la formation, 26 enquêteurs étaient retenus pour faire la collecte des données en trois semaines. III. Rapport de l’échantillonnage La Banque Mondiale a fourni Dr. Moussa Blimpo, professeur à Oklahoma University pour faire l’étude, l’échantillonnage, la randomisation, etc., jointement avec Noah Yarrow, spécialiste en éducation. Le programme a été conçu comme un effort de collaboration entre les équipes nationales participantes, le personnel de la Banque mondiale, et des consultants. Les données collectées étaient basées sur le design prédéfini suivant: - Enquête directeur (x200) - Enquête école (x200) - Enquête enseignant (x1200) - Early Grade Reading Assessment (EGRA) pour les élèves (15 3eme / école = 3000) - Les écoles participantes sont un échantillon aléatoire de 200 écoles de l’univers de toutes les écoles primaires publiques et privées dans les districts du nord et du nord-est d'Haïti, 5 tirées des listes fournies par le MENFP. La sélection est représentative et stratifiée par sous-district, privé, et les écoles publiques, à l'exclusion des sous-districts où l'accès physique représente un défi signifiant. L’équipe internationale d’évaluation d’impact a fait l’échantillonnage avec le support du Prestataire de Service d’Evaluation. IV. Logistique mise à la disposition agents enquêteurs Pour se rendre aux sites de collecte des données, les enquêteurs avaient les frais pour prendre un moyen de transport commun. Aux sites de travail également, le CRS a mis les moyens nécessaires, pour assurer le déplacement des agents enquêteurs et superviseurs. V. Type de la supervision Le CRS a pris soin de former une équipe de superviseurs compétents pour assurer le respect du protocole et de la méthodologie de l’étude. Cette équipe également une assistance technique de la part du coordonnateur de terrain au cours de tout le processus de la collecte de ces données. Sur le terrain, certains enquêteurs ont eu la visite du consultant de la Banque Mondiale, Atabanam Simbou, pour s’assurer du travail du travail bien fait par le CRS. VI. Problèmes rencontrés au cours de la collecte des données (échantillonnage des écoles, administration des questionnaires, difficultés logistiques, praticabilité des routes, le climat, etc.) Les défis avec les iPods inclus : • Erreur de programmation dans l’iPod pour la présence des enseignants • Erreur de conception des questionnaires pour la ligne de base à causer quelques données de ne pas être identifiés à une école en particulier • Problèmes avec le fonctionnement des GPS • Problèmes de charge des appareils • Erreurs fait par les enquêteurs • Manque d’usage des champs obligatoires Les défis avec les Kindle Fires inclus : 6 • Problème avec les accents dans l’exportation de Tangerine à Excel – surtout pour la section « écriture d’un phrase complet » • Problèmes de charge des appareils D'autres utilisations de la technologie présentés inclus la redevabilité des inspecteurs / BDS qui ont fait les visites de surveillance des écoles avec l’iPod Touch (photo et GPS). Pour les remplaçantes, le CRS a effectué au total 21 remplacements sous la supervision de Moussa Blimpo où certaines écoles étaient soit fermées, ne fonctionnent plus ou n’ont la troisième année d’étude fondamentale. VII. Difficultés rencontrées avec les responsables d’écoles et départementaux Pas de grandes difficultés rencontrées. VIII. Saisie des données La saisie des données étaient téléchargée des iPods, puis synchronisée à iFormBuilder. Le processus était : • Questionnaires sont créés en ligne avec iFormBuilder, téléchargé (synchroniser) dans les iPods via Wifi • Questionnaires remplis avec chaque répondent dans chaque école • Point de GPS pris pour chaque école • 1 fois par semaine, les iPods sont synchronisé au bureau de CRS (Ouanaminthe) • Données sont disponible immédiatement en ligne après synchronisation Ensuite, les données étaient transférées à Microsoft Excel pour l’utilisation par la Banque Mondiale. IX. Traitement des données Le traitement des données était fait par les logiciels Microsoft Excel et Statistical Product and Service Solutions (SPSS). 7 X. Recommandations Les leçons apprises pour les iPods inclus:  Plus de rigueur dans la vérification/testing des questionnaires dans les appareils  Meilleur conception des questionnaires – plusieurs questionnaires séparées  Utilise les meilleurs appareils de GPS  Cree une compte unique pour chaque utilisateur  Plus de formation et pratique – révision des données dans la formation  Utilise les noms des enquêteurs, pas les codes pour les enquêteurs  1 appareil d’allongement de la batterie par enquêteur, pas par équipe Les leçons apprises pour les iPods inclus: • Six journées de formation pour les enquêteurs sur EGRA et l’usage Kindle sont nécessaires (beaucoup de simulation) • Mettre seulement une version du teste sur le Kindle Fire de ne pas confondre les enquêteurs • Pour l’exportation: – Les résultats par élève ne sont pas automatiquement calculés – Celle/Celui qui fait l’analyse des données doit bien comprendre EGRA et être présents pour la formation des enquêteurs XI. Conclusion L’Initiative de Renforcement des Services Scolaires est un projet intéressant qui peut donner plus d’informations par rapport au système d’éducation en Haïti. Le processus pour l’avenir doit utiliser la technologie pour bien collecter, saisir et traiter les données dans une manière effective. Il sera intéressant pour le secteur de l'éducation à voir comment la Banque Mondiale applique les données dans les interventions futures. 8 ANNEXE I. EGRA EGRA en français et en créole – 6 Tâches / Sections • Section 1: Conscience phonémique • Section 2: Connaissance du nom des lettres • Section 3: Connaissance du son des lettres • Section 4: Lecture de mots familiers • Section 5: Lecture de texte et compréhension du texte lu • Section 6: Ecriture d’une phrase complète • Questionnaire Stimuli des enfants : 9 10 11 ANNEXE II : Responsabilités de Coordonnateur sur le Terrain, Superviseur, Enquêteur COORDONNATEUR DIRECT DE L’EVALUATION SUR LE TERRAIN - Traduire et finaliser les instruments d'enquête - Tester et réviser les instruments - Développer le manuel de guide de terrain des superviseurs et enquêteurs - Former les superviseurs et enquêteurs - Développer les plans de travail hebdomadaires avec les équipes de terrain - Assurer la gestion et la coordination des activités de collecte de données journalières des agents recenseurs durant le baseline et l’end-line - S’assurer de la collecte des données par les enquêteurs (baseline, end-line) - Conduire des vérifications bi-hebdomadaires sur les superviseurs pendant la période de contrôle ponctuel - Assurer le point de contact principal avec le personnel du MENFP et le manager de terrain de l’implémentation du projet de la banque mondiale - Assurer la logistique sur le terrain SUPERVISEUR - Superviser, planifier et organiser la collecte des données pour EGRA et les questionnaires avec les iPods pour chaque école affectée - Responsable de la coordination de la distribution géographique des écoles, et en soutenant la logistique de voyage de chaque équipe des enquêteurs - Assurer le respect des délais de l'équipe pour arriver à chaque école, avec tout le matériel et équipement nécessaire - Garantie que l'échantillon de 15 élèves est attirée suivre les procédures appropriées pour la randomisation - Garantie que chaque instrument pour la collecte des données (EGRA et les questionnaires) est administrée est recueilli, dans l'ordre, et complète. 12 - Superviser le travail des enquêteurs lors de l'évaluation, afin de garantir le traitement amical et professionnel des élèves ainsi que l'application correcte des instructions pour chaque sous-tâche, y compris l'utilisation du chronomètre ou une minuterie - Fournir des conseils aux enquêteurs pour les aider à améliorer la qualité de leur travail - Utiliser une grille d'observation de documenter cette rétroaction - Remplir un « travail sur le terrain résume scolaire » pour chaque école visitée - Préparer et livrer tous l’information d’EGRA remplis, les questionnaires et autres documents recueillies auprès de toutes les écoles, pour le Coordinateur de Terrain - Réunir au moins 1 fois par semaine avec le Coordinateur de Terrain, pour synchronise les iPods de les enquêteurs pour lesquelles il est responsable - Maintenir un contact permanent avec le Coordinateur de Terrain pour résoudre les problèmes qui se posent et communiquer l'avancement des travaux - Préparer un rapport travail sur le terrain et de le donner au Coordonnateur de Terrain à la fin du travail sur le terrain - Assurer que tous l’équipement reçu par les enquêteurs qui il supervise sont retourne au fin de l’étude ENQUÊTEUR - Collecter les données dans les écoles dont la liste est donnée à partir du questionnaire et de l’iPod Touch et Kindle Fire, remis à l’enquêteur pour la mission - Se rendre dans chacune des écoles auxquelles il sera affecté - Remettre en bonne et due forme les données collectées au Coordonnateur du projet - Remettre en bon état au Coordonnateur les matériels mis à sa disposition dans le cadre de l’Enquête - Utiliser exclusivement aux fins de l’enquête les matériels mis à sa disposition. - Travailler en équipe avec un(e) autre enquêteur - Il est fait obligation à l’enquêteur de porter son badge d’identification tout au cours de ses interventions, dans le cadre de ce contrat 13