Test de contenu du Programme du Recensement de 2016 : Design et résultats
2. Design

Date de diffusion : le 1er avril 2016

2.1 Aperçu

Le design du test a été conçu pour répondre aux deux objectifs principaux : évaluer l’impact de tout changement proposé au contenu (objectif no 1), mesurer l’impact de la question sur le NAS (objectif no 2). À cette fin, deux modèles de questionnaire ont été élaborés pour répondre aux objectifs : un modèle avec tous les changements proposés SAUF la question sur le NAS, un modèle avec tous les changements proposés INCLUANT la question sur le NAS. Un modèle de questionnaire de contrôle avec le contenu de 2011 a aussi été élaboré. Le tableau 1 présente chacun de ces modèles de questionnaire.

Tableau 1
Modèles proposés pour le Recensement de 2016 et l’Enquête nationale auprès des ménages de 2016, Test de contenu
Sommaire du tableau
Le tableau montre les résultats de Modèles proposés pour le Recensement de 2016 et l’Enquête nationale auprès des ménages de 2016 Modèle 1, Modèle 2 et Modèle de contrôle(figurant comme en-tête de colonne).
  Modèle 1 Modèle 2 Modèle de contrôle
Recensement Neuf questions obligatoires avec les changements proposés Dix questions obligatoires, avec les changements proposés, incluant la question sur le NAS Neuf questions obligatoires identiques à celles utilisées en 2011
Enquête nationale auprès des ménages Vingt-six questions volontaires, incluant les changements proposés et permettant de recueillir l’information sur les thèmes suivants : activité de la vie quotidienne, renseignements socioculturels (immigration, identité autochtone, minorité visible), mobilité (1 an et 5 ans), lieu de naissance des parents, scolarité, activités sur le marché du travail Cinquante-cinq questions, identiques à celles utilisées en 2011

Pour répondre adéquatement à l’objectif no 2 et bien mesurer l’impact de la question sur le NAS sur la collecte, le Test de contenu était obligatoire pour les répondants. L’aspect obligatoire a ainsi été nécessaire pour simuler des conditions au Test de contenu similaires à celles du Recensement de la population (le recensement est obligatoire). L’aspect obligatoire ne s’appliquait qu’aux questions du recensement; celles de l’ENM étaient volontaires.

Au total, le Test de contenu a nécessité le développement de questionnaires de test et de contrôle différents, en français et en anglais, répartis en 11 panels d’analyse. Ces 11 panels ont été groupés pour répondre aux deux principaux objectifs. Cinq panels ont été utilisés pour l’objectif no 1 et six panels ont été utilisés pour l’objectif no 2.

Les questions incluses dans les modèles 1 et 2 de l’ENM ont permis d’évaluer des modifications potentielles à certaines questions et d’évaluer un contenu réduit dans un contexte d’une plus grande utilisation de données administratives et de diminution du fardeau de réponse.

2.2 Population cible et échantillonnage

Pour chacun des 11 panels, une population cible a été définie et un échantillon a été sélectionné (voir figure 1). En raison des contraintes de collecte du test (par ex., absence de personnel sur le terrain pour la livraison des questionnaires), les logements privés situés dans les secteurs d’envoi par la poste dans l’une des 10 provinces ont été retenus pour la sélection de l’échantillon. Les logements collectifs ont été exclus de ce test, tout comme les logements privés situés dans les secteurs d’énumération par listage/livraison ou par interview. Seuls les ménages vivant dans les logements privés occupés en 2011 ayant répondu à l’ENM ont été ciblés. Cet aspect a été considéré pour maximiser le nombre de répondants au test qui avaient aussi rempli l’ENM en 2011 afin d’obtenir plus de réponses de 2011 et 2014 à comparer parmi les répondants appariés. Pour le test du NAS, la condition de réponse à l’ENM n’était pas nécessaire : des ménages non répondants en 2011 ont été inclus dans la population cible.

Les logements échantillonnés de chaque panel ont été choisis de façon à être représentatifs de différentes populations cibles et ainsi servir soit à l’analyse de contenu de l’objectif no 1 (panels 1 à 5) soit à l’analyse du NAS de l’objectif no 2 (panels 6 à 11). Parmi tous les changements proposés, certains ne s’appliquaient qu’au questionnaire papier (par ex., le format du questionnaire papier) et d’autres ne s’appliquaient qu’au questionnaire électronique (QE) (par ex., fonctionnalité électronique). La population cible et la méthode de collecte des 11 panels ont été définies de façon à obtenir un nombre suffisant de réponses « papier » et un nombre suffisant de réponses « électroniques » pour s’assurer que tous les changements proposés étaient testés correctement. Cette particularité était nécessaire pour permettre un niveau de précision adéquat lors de l’analyse des données et ainsi détecter des différences statistiquement significatives par mode de réponse (papier ou QE). Le tableau 2 présente pour les 11 panels, la population cible et l’objectif associé à chacune.

Tableau 2
Sous-ensembles de la population à l’étude, Test de contenu
Sommaire du tableau
Le tableau montre les résultats de Sous-ensembles de la population à l’étude. Les données sont présentées selon Population cible (titres de rangée) et Panels et Objectifs(figurant comme en-tête de colonne).
Population cible Panels Objectifs
Ménages des secteurs d’envoi par la poste qui ont répondu à la version papier du questionnaire de l’ENM en 2011 Panel de test no 1 et no 2 vs. Panel de contrôle no 4 Mesurer l’impact des changements apportés au questionnaire papier
Ménages des secteurs d’envoi par la poste qui ont répondu à la version électronique du questionnaire de l’ENM en 2011 Panel de test no 3 vs. Panel de contrôle no 5 Mesurer l’impact des changements apportés au questionnaire électronique et à ses fonctionnalités
Ménages des secteurs d’envoi par la poste en 2011 Panel de test no 6 vs. Panel de contrôle no 9
Panel de test no 7 vs. Panel de contrôle no 10
Panel de test no 8 vs. Panel de contrôle no 11
Mesurer l’impact de la question sur le NAS sur la qualité, la collecte et l’appariement possible avec d’autres sources de données

La figure 1 décrit le design de chaque panel et indique s’il s’agit d’un panel de test (panel utilisé pour les changements proposés) ou d’un panel de contrôle. La description de chaque panel donne aussi la population cible (base de sondage), la taille de l’échantillon (n), le principal type de questionnaire utilisé (papier ou QE), le nom du questionnaire (2A, N1, N1.1, 2As, N1s) et le modèle de questionnaire associé (voir le tableau 1 pour les différents modèles). Le questionnaire N1 était le questionnaire qui intégrait les questions du recensement et les questions de l’ENM pour les panels de test et le questionnaire N1.1 était le questionnaire qui intégrait les questions du recensement et celles de l’ENM pour les panels de contrôle.

Figure 1 Design du Test de contenu de 2014

Figure 1 Design du Test de contenu de 2014

Description de la figure 1

L’image 1 donne une description sommaire de la méthodologie de chaque panel du Test du contenu de 2014. Il y a une case pour chacun des 11 panels et chaque case donne le sommaire de la méthodologie du panel. Les 11 panels de l’image sont regroupés en trois groupes selon la base de sondage des secteurs d’envoi par la poste qui a été utilisée pour sélectionner l’échantillon. Les échantillons des panels 1, 2 et 4 ont été sélectionnés à partir des répondants au questionnaire papier de l’ENM de 2011. Les échantillons des panels 3 et 5 ont été sélectionnés à partir des répondants au questionnaire électronique de l’ENM de 2011. Les échantillons des panels 6 à 11 ont été sélectionnés à partir des logements privés occupés au Recensement de 2011.

Le panel 1 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé 2A et avait le modèle du Recensement de 2016.
Le panel 2 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé N1 et avait les modèles du Recensement de 2016 et de l’ENM de 2016.
Le panel 3 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était électronique, nommé N1 et avait les modèles du Recensement de 2016 et de l’ENM de 2016.
Le panel 4 est un panel contrôle, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé N1.1 et avait les modèles du Recensement de 2011 et de l’ENM de 2011.
Le panel 5 est un panel contrôle, avec un échantillon de 5 000 logements, le questionnaire était électronique, nommé N1.1 et avait les modèles du Recensement de 2011 et de l’ENM de 2011.
Le panel 6 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé 2As et avait le modèle du Recensement de 2016 avec une question sur le numéro d’assurance sociale.
Le panel 7 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé N1s et avait le modèle du Recensement de 2016 avec une question sur le numéro d’assurance sociale et le modèle de l’ENM de 2016.
Le panel 8 est un panel test, avec un échantillon de 5 000 logements, le questionnaire était électronique, nommé N1s et avait le modèle du Recensement de 2016 avec une question sur le numéro d’assurance sociale et le modèle de l’ENM de 2016.
Le panel 9 est un panel contrôle, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé 2A et avait le modèle du Recensement de 2016.
Le panel 10 est un panel contrôle, avec un échantillon de 5 000 logements, le questionnaire était papier, nommé N1 et avait les modèles du Recensement de 2016 et de l’ENM de 2016.
Le panel 11 est un panel contrôle, avec un échantillon de 5 000 logements, le questionnaire était électronique, nommé N1 et avait les modèles du Recensement de 2016 et de l’ENM de 2016.

Pour chacun des panels 1 à 5, l’échantillon a été un échantillon aléatoire simple stratifié (selon la province et la langue). Pour chacun des panels 6 à 11, afin de minimiser les coûts du suivi des cas de non-réponse (SCNR), l’échantillon a d’abord été stratifié par bureau local du recensement; ensuite 400 grappes (zones) ont été sélectionnées à l’intérieur des strates selon un plan d’échantillonnage systématique avec probabilité proportionnelle à la taille. Enfin, un échantillon aléatoire simple de 75 logements a été sélectionné dans chacune des grappes.

2.2.1 Approche par vagues du recensement

L’approche par vagues a été utilisée pour la collecte des données du Test de contenu. Cette approche a permis de maximiser le taux de réponse tout en minimisant les coûts de collecte. Le tableau 3 présente les principales dates des différentes vagues. Cette approche est très similaire à celle utilisée lors du Recensement de 2011 et envisagée pour le Recensement de 2016.

Tableau 3
L’approche de collecte par vagues
Sommaire du tableau
Le tableau montre les résultats de L’approche de collecte par vagues. Les données sont présentées selon Étape de la collecte (titres de rangée) et Activité principale, Panels ciblés et Date de début(figurant comme en-tête de colonne).
Étape de la collecte Activité principale Panels ciblés Date de début
Vague 1 Réception d'une lettre comportant un code d'accès sécurisé Panels format QE 5 mai 2014
Réception d'une trousse du questionnaire Panels format papier 5 mai 2014
Vague 2 Réception d'une lettre de rappel comportant un code d'accès sécurisé Tous les ménages non répondants 13 mai 2014
Vague 3 Réception d'une trousse du questionnaire Panels format QE et format papier : ménages non répondants lors de la vague 1 qui ont reçu une lettre 21 mai 2014
Vague ENM Réception d’une lettre de rappel comportant un code d’accès sécurisé pour le QE de l’ENM seulement (QE ENM « application autonome») Tous les ménages répondants QE à la portion recensement et non répondants à la portion ENM 30 mai 2014
Vague 4 Avis de visite et début du suivi des cas de non-réponse (SCNR); visite en personne et par téléphone Panels pour objectif no 2 (NAS) : sous-échantillon des ménages non répondants 2 juin 2014

Au total, 55 000 logements, répartis en 11 panels d’analyse, ont été contactés pendant le Test de contenu; 20 000 lettres d’invitation initiale, 35 000 enveloppes de questionnaires de la vague 1 et des lettres de rappel ont été expédiées par Poste Canada lors de ces vagues.

2.3 Collecte des données

La collecte a eu lieu du 2 mai au 30 juin 2014. La date de référence était le 13 mai.

En plus d’utiliser l’approche par vagues, d’autres activités de collecte ont été mises en place pour favoriser le taux de réponse. L’Assistance téléphonique du recensement (ATR) a été ouverte du 2 mai au 30 juin 2014. Ceux qui avaient des questions ou avaient besoin d’aide pour remplir leur questionnaire pouvaient donc parler avec un agent. L’Assistance téléphonique du recensement a reçu 7 400 appels. Lorsque l’appel visait à assister un répondant pour remplir son questionnaire, les agents ont utilisé l’application iQE, soit un questionnaire électronique spécialement conçu pour ce besoin.

Pour les répondants qui recevaient une lettre comportant un code d’accès sécurisé et qui ne pouvaient pas ou ne voulaient pas utiliser le QE, un système de demande de questionnaire papier a été mis en place.

Une opération de suivi des cas de non-réponse (SCNR) a également eu lieu du 2 au 30 juin. Cette opération n’a été offerte qu’aux panels utilisés pour l’analyse du NAS. Elle a été mise en place pour comparer la collecte lorsqu’une question sur le NAS était présente (panels 6, 7 et 8) contre une collecte lorsque la question sur le NAS n’était pas présente (panels 9, 10 et 11). Cette opération de suivi a été menée par les intervieweurs de Statistique Canada. Les intervieweurs devaient contacter, par téléphone ou par interview sur place, les ménages de tous ces panels qui, en date du 30 mai, n’avaient pas répondu. Pour réduire le nombre de suivis en raison de la limitation des ressources et pour contrôler les coûts de collecte, un sous-échantillon de ménages non répondants a été sélectionné.

2.4 Traitement des questionnaires retournés

Pour le Test de contenu, les QE remplis par les répondants ont été transmis directement aux serveurs du Centre des opérations des données (COD) de Statistique Canada et enregistrés automatiquement dès la réception. Les questionnaires papier qui ont été retournés par la poste ont été enregistrés également au COD en balayant le code à barres sur la couverture du questionnaire. Les questionnaires remplis par les intervieweurs pendant le SCNR ont été envoyés par la poste au COD.

Une fois enregistrés, les questionnaires papier ont été traités pour l’étape de la saisie des données.

2.5 Traitement des données

Les données des questionnaires papier ont été saisies avec ANYDOC, un système de saisi par reconnaissance optique des caractères. Une fois saisies, les données des questionnaires papier (QP) ont été intégrées à celles des questionnaires électroniques (QE) dans un même fichier. Un processus d’intégration complexe a été nécessaire pour uniformiser les données de chaque mode de réponse. Ce processus avait pour but de produire un fichier unique pour tous les modes de réponse et tous les panels. Des règles de traitement ont été appliquées à ce fichier afin d'assurer que certains problèmes et certaines incohérences soient identifiés et corrigés (par ex., un questionnaire papier retourné sans aucune réponse, un questionnaire papier et un questionnaire électronique remplis pour le même ménage, etc.). Un contrôle a aussi permis d’identifier les questionnaires ne contenant aucun renseignement ou des renseignements insuffisants pour continuer à l’étape de traitement et de l’analyse.

Étant donné les ressources disponibles, le calendrier de production et les objectifs d’analyse, les données n’ont pas été soumises au processus de contrôle et imputation. De même, les réponses en toutes lettres dans les questionnaires n’ont pas été soumises à un codage.

2.6 Taux de réponse totale

Cette section présente le taux de retour au niveau du ménage du Test de contenu. Ce taux est calculé à partir du nombre de questionnaires remplis par rapport au nombre total de logements sélectionnés. Pour la portion recensement, un questionnaire a été considéré rempli s’il y avait au moins une question répondue à partir de la question 2 (Sexe). Pour la portion ENM, un questionnaire a été considéré rempli si le répondant avait répondu à au moins une question de l’ENM. Ces règles sont les mêmes que celles qui ont été utilisées en 2011. Le tableau 4 présente les taux de retour au recensement pour le Test de contenu et le Test du NAS. Le taux de retour a été calculé comme le ratio du nombre de ménages qui ont retourné un questionnaire entièrement ou partiellement rempli sur le nombre total de logements de l’échantillon. Ce taux ne tient pas compte des logements inoccupés.

Tableau 4
Taux de retour pour le recensement, selon le test et le panel
Sommaire du tableau
Le tableau montre les résultats de Taux de retour pour le recensement Total des questionnaires envoyés, Total des questionnaires reçus et Taux de retour %(figurant comme en-tête de colonne).
  Total des questionnaires envoyés Total des questionnaires reçus Taux de retour %
Test de contenu (objectif no 1)  
Panel de test (1) 5 000 4 168 83,4
Panel de test (2) 5 000 4 163 83,3
Panel de contrôle (4) 5 000 4 106 82,1
Panel de test (3) 5 000 4 122 82,4
Panel de contrôle (5) 5 000 4 062 81,2
Test du NAS (objectif no 2)  
Panel de test (6) 5 000 4 424 88,5
Panel de contrôle (9) 5 000 4 418 88,4
Panel de test (7) 5 000 4 386 87,7
Panel de contrôle (10) 5 000 4 417 88,3
Panel de test (8) 5 000 4 408 88,2
Panel de contrôle (11) 5 000 4 426 88,5

Comme l’indique le tableau 4, le Test de contenu et le Test du NAS ont donné de bons résultats en matière de collecte des données du recensement, avec des taux de retour supérieurs à 80 % quels que soient les panels et les modes de collecte. Ces taux élevés de participation s’expliquent par le caractère obligatoire du Test de contenu, bien qu’il s’agisse d‘un test, et par le fait que les ménages sélectionnés pour les panels 1 à 5 sont également ceux qui ont répondu en 2011 à l’ENM de façon volontaire. Il faut également tenir compte de l’opération du suivi des cas de non-réponse qui a été mise en place pour le Test du NAS (panels 6 à 11) à partir du 2 juin et grâce à elle, la participation d’environ 2 400 ménages supplémentaires a pu être ajoutée. Enfin, la méthode d’envoi par vagues a certainement contribué à ces résultats élevés. Le tableau 5 présente les taux de retour de l’ENM pour le Test de contenu et le Test du NAS.

Tableau 5
Taux de retour pour l’ENM, selon le test et le panel
Sommaire du tableau
Le tableau montre les résultats de Taux de retour pour l’ENM Total des questionnaires envoyés, Total des questionnaires
reçus et Taux de retour %(figurant comme en-tête de colonne).
  Total des questionnaires envoyés Total des questionnaires
reçus
Taux de retour %
Test de contenu (objectif no 1)  
Panel de test (2) 5 000 3 974 79,5
Panel de contrôle (4) 5 000 3 837 76,7
Panel de test (3) 5 000 3 398 68,0
Panel de contrôle (5) 5 000 3 413 68,3
Test du NAS (objectif no 2)  
Panel de test (7) 5 000 3 963 79,3
Panel de contrôle (10) 5 000 4 010 80,2
Panel de test (8) 5 000 3 679 73,6
Panel de contrôle (11) 5 000 3 757 75,1

En ce qui concerne les taux de retour pour l’ENM, les résultats du Test de contenu et du Test du NAS sont un peu différents. Les premiers (panels pour le Test de contenu) oscillent entre 68 % et 79,5 %, et les seconds (panels pour le Test du NAS), entre 73,6 % et  80,2 %. Il faut rappeler que la participation à l’ENM était volontaire, ce qui peut expliquer ces taux plus bas.

2.7 Stratégie d’analyse

Pour mener à bien l’analyse des données colligées dans le cadre de ce Test de contenu, un groupe de travail a été formé, composé d’analystes des domaines spécialisés, de méthodologistes et de personnel associé aux tâches de détermination du contenu et de certification. Ce groupe a élaboré le plan des analyses à réaliser, précisant les hypothèses à valider concernant l’impact des changements pour chaque modification apportée au contenu ainsi que les activités à mener pour constituer la base de données des réponses, et dériver les variables nécessaires à l’analyse. Les méthodes de comparaison ont également été définies et validées par ce groupe. Un plan d’analyse indépendant, spécifique à l’ajout de la question sur le numéro d’assurance sociale, a aussi été développé.

Aux fins de l’analyse et de la validation des hypothèses, les résultats des panels de test et de contrôle ont été comparés pour évaluer les effets des modifications proposées au contenu. Les réponses provenant des questionnaires papier et des questionnaires électroniques ont été analysées séparément. L'analyse a principalement porté sur l'incidence des modifications sur la répartition des réponses et les taux de non-réponse.

Dans le cas des modifications apportées au contenu existant, les résultats des panels de contrôle et de test ont été comparés et les écarts ont été évalués. En ce qui a trait aux nouvelles questions, les résultats du panel de test ont été comparés à ceux du panel de contrôle pour veiller à ce que ces questions n'aient pas d'effet sur les questions situées à proximité dans le questionnaire ou sur d'autres questions connexes. Pour vérifier l'exactitude et la cohérence des données, on a aussi comparé les résultats des panels de test et des panels de contrôle pour les questions sans aucune modification.

Les résultats des panels de contrôle ont aussi été analysés et comparés aux données du Recensement de 2011. Puisque le contenu des panels de contrôle était sensiblement le même qu’en 2011, des analyses sommaires ont été faites entre les données des panels de contrôle et les données de 2011 pour vérifier que les répartitions et la qualité étaient similaires.

Les données

Une base de données intégrant les modes de collecte électronique et papier, et contenant les données nettoyées et les poids de sondage a permis d’effectuer les analyses liées au contenu (objectif no 1).

Pour l’analyse du Test du NAS (objectif no 2), une base de données indépendante, incluant des poids de sondage avec un accès restreint aux personnes impliquées dans cette analyse, a été créée.

De plus, les données du test ont été appariées aux données du recensement et de l’ENM de 2011. Ainsi, dans le cas des répondants qui vivaient dans le même logement que lors du Recensement de 2011, les réponses fournies dans le contexte du Test de 2014 ont été comparées à celles fournies en 2011, pour mieux comprendre les variations potentielles dans les données et approfondir l’analyse des données sur les changements proposés.

Date de modification :