Le tableau de bord de gestion du Vérificateur général du Québec

Centre de cas HEC Montréal
Ce cas traite de l’élaboration et de l’utilisation d’un tableau de bord de gestion dans un organisme du secteur public ainsi que de la pertinence d’un tel tableau par rapport à la planification stratégique, au processus de reddition de comptes et à des fins de gestion interne. Écrit alors que Renaud Lachance occupait le poste de vérificateur général du Québec, il permet également d’aborder la question du processus d’amélioration continue du tableau de bord.
Boutique evalorix
Vous pourrez trouver une version PDF de cette étude de cas ainsi que les notes pédagogiques qui l’accompagnent à cette adresse de la boutique evalorix

Nous sommes1 en août 20112, et Renaud Lachance, Vérificateur général du Québec (VGQ) depuis août 2004, en est à la fin du cycle d’utilisation de son tableau de bord pour la période 2009-2012. Il se prépare à commencer l’élaboration de son prochain tableau de bord, celui qui accompagnera le plan stratégique du Bureau du VGQ pour la période 2012-20153.

Lorsque le VGQ présente à la Commission de l’administration publique (CAP) ses rapports de gestion, qui incluent entre autres son tableau de bord, ses présentations suscitent parfois des « envolées » des plus positives, comme celle-ci :

(…) Bravo! Félicitations (…) Je pense que votre rapport est très bien (…) Je pense qu’il faut prendre le temps de vous le dire quand vous faites des bonnes choses […], mais on ne voudrait pas qu’un matin vous deveniez l’arroseur arrosé et qu’on trouve votre nom en première page pour une mauvaise gestion, donc on vous encourage tous à continuer dans cette direction qui est celle, dans le fond, qui devrait inspirer toutes les entités, tous les organismes, tous les ministères gouvernementaux, c’est-à-dire celle de l’efficacité, de la rigueur, de la rigueur, parce que c’est toujours l’argent des contribuables. (Membre de la CAP4)

Cependant, malgré certaines remarques « flatteuses », Renaud Lachance tient à réévaluer périodiquement le contenu de son tableau de bord, sans pour autant remettre en question sa mission. Il se prépare d’ailleurs pour une première séance exploratoire avec les membres de son comité de direction. Renaud Lachance est bien conscient de l’importance du développement de son plan stratégique pour les trois prochaines années ainsi que du tableau de bord de gestion qui l’accompagnera. Actuellement, son tableau de bord de gestion contient notamment les objectifs, les indicateurs et les cibles qui servent à l’évaluation de la performance du Bureau.

Présentation du Bureau du VGQ

Créée en 1867, la fonction du VGQ vise à « favoriser par la vérification le contrôle parlementaire sur les fonds et autres biens publics5». Les activités du VGQ sont régies par la Loi sur le vérificateur général (L.R.Q., chapitre V-5.016). Comme Renaud Lachance l’indique, l’objectif du VGQ est simple : « Servir l’Assemblée nationale… pour contribuer à la saine gestion des fonds publics ». De façon plus précise, l’organisation pilotée par le VGQ se décrit en ces termes :

Expert dans le domaine de la vérification législative, le Vérificateur général du Québec produit des rapports dans lesquels il communique aux intéressés ses constatations, ses conclusions et ses recommandations, ainsi que tout autre commentaire qu’il juge utile de formuler. Son intention première est de susciter des améliorations en matière de gestion publique, et ce, dans la perspective d’un développement durable. (Plan stratégique 2009-2012, VGQ, 2009, p. 4)

Le VGQ est nommé « sur motion présentée par le premier ministre et adoptée par au moins les deux tiers des membres de l’Assemblée nationale7». Le VGQ est nommé pour une période de 10 ans et relève de l’Assemblée nationale8. Le VGQ doit rendre des comptes sur sa gestion à la CAP. Cette commission est formée d’élus de tous les partis politiques représentés à l’Assemblée nationale et fonctionne dans un contexte non partisan.

Le Bureau du VGQ compte quelque 250 employés et utilise annuellement des ressources financières de l’ordre de 25 millions de dollars9. Le Bureau du VGQ est financé par des crédits annuels octroyés par l’Assemblée nationale10. La gestion du Bureau du VGQ est chapeautée par le comité de direction où siège le VGQ ainsi que les six vérificateurs généraux adjoints (VGA) (voir organigramme – Annexe 1).

Les activités du VGQ

Les travaux effectués par le VGQ concernent principalement la vérification financière et la vérification de l’optimisation de ressources (VOR11), appelée parfois vérification de performance ou de gestion. Une attention est également portée à la conformité aux lois et aux règlements. Environ 40 % des ressources sont attribuées à la vérification financière, 30 % à la vérification d’optimisation de ressources et 30 % à des activités de soutien (soutien professionnel, formation, encadrement, administration) (voir résultats financiers – Annexe2).

La vérification financière des différentes entités gouvernementales « a pour but de fournir l’assurance raisonnable que les états et information sont exempts d’inexactitudes importantes12». La vérification financière permet de certifier les états financiers consolidés du gouvernement du Québec. Le VGQ effectue également la vérification des livres et des comptes des organismes publics (voir Annexe 3 pour une liste sommaire des entités assujetties à la Loi sur le vérificateur général). De plus, certaines sociétés d’État (exemples : Hydro-Québec, SAAQ, SAQ, etc.) sont covérifiées avec des cabinets privés. Notons également que des rapports visant l’amélioration des contrôles internes des entités gouvernementales peuvent découler de la vérification financière.

En ce qui concerne la VOR, ce type de missions porte sur la vérification de la gestion de l’appareil gouvernemental. Elle comprend « la vérification de la qualité et du fonctionnement des systèmes et des procédés que l’entité emploie pour s’assurer que les ressources à sa disposition sont utilisées de manière économique, efficiente et efficace13» sans toutefois remettre en question l’objectif des programmes ou activités, ceci étant du ressort des parlementaires14. La VOR inclut également les vigies qui ont pour but de fournir aux parlementaires l’information nécessaire à la prise de décision15 ainsi que de les informer quant aux principaux risques associés à de grands projets tels que les projets de modernisation des CHU de Montréal.

Comme l’explique Renaud Lachance, chaque VOR est singulière. Un périmètre de vérification doit y être délimité (une entité, un programme, une activité) ainsi que l’objet particulier de la vérification. À titre d’exemple de VOR, mentionnons le suivi de la performance des établissements du réseau de la santé et des services sociaux, la gestion des musées, les frais d’administration des commissions scolaires16. Des recommandations sont faites, basées sur les meilleures performances observées, afin d’apporter des améliorations à la gestion de ces entités17.

Le tableau de bord du VGQ

Dans le hall d’entrée du Bureau du VGQ se trouve une affiche18 bien en évidence :

309) Tableau de bord de gestion du VGQ-figure1

Cette affiche décrit la mission, la vision, les valeurs, les orientations du VGQ (Annexe 4). Celles-ci sont la base du plan stratégique triennal qui comprend des indicateurs et des cibles pour chacune des orientations. Le tableau de bord du VGQ repose sur ces cinq grandes orientations stratégiques. Chaque année, le VGQ publie un rapport de gestion qui fait état des résultats par rapport à l’atteinte des cibles. Certains éléments du rapport sont attestés par le vérificateur interne du VGQ, tels que les résultats, les explications et les informations contenus dans ce rapport (voir Annexe 6).

Origine du tableau de bord

Tout en reconnaissant que, dans le secteur privé, le tableau de bord de gestion est un outil auquel on a très souvent recours, son utilisation dans les entités gouvernementales doit s’adapter à une réalité très différente. Par exemple, dans le secteur public, l’allocation des ressources est prépondérante puisqu’elle détermine les ressources disponibles pour les entités. Le budget est donc d’une importance stratégique. De plus, un aspect important du secteur public est la reddition de comptes afin de s’assurer de l’utilisation économique, efficiente et efficace des fonds publics. À cet effet, le tableau de bord s’avère un outil utile pour communiquer l’information visant la reddition de comptes.

Le tableau de bord du VGQ est donc à la base un outil de reddition de comptes. Il repose sur la philosophie de gestion par les résultats. Il permet, entre autres, « d’amener les entités gouvernementales à aller plus loin que le simple fait d’expliquer leurs dépenses » (Renaud Lachance). Ainsi, le VGQ publie chaque année un rapport annuel de gestion où il rend compte de la performance atteinte sur chacun des indicateurs, indicateurs qui vont au-delà du respect du budget.

Tous les ministères ont l’obligation de par la Loi sur l’administration publique (L.R.Q., chapitre A-6.01 19 ), depuis 2000, d’avoir un tableau de bord. Bien que le Bureau du VGQ ne soit pas assujetti à cette loi, le VGQ mentionne qu’il le fait pour « montrer l’exemple aux autres entités du secteur public » et parce que « ça fait partie de la culture organisationnelle ». D’ailleurs, selon les dires de Renaud Lachance, le tableau de bord du VGQ est utilisé à l’ENAP20 pour des fins de formation. Et comme il le précise, l’utilisation du tableau de bord dans son organisation permet au VGQ de « montrer qu’on peut faire une reddition de comptes parlante ». Par exemple, Renaud Lachance souhaite montrer aux autres entités que si un objectif n’est pas atteignable ou qu’il n’est plus valide, il est préférable de l’indiquer plutôt que d’éviter la question. Selon lui, « il ne faut pas occulter le résultat ».

Les résultats quant aux indicateurs du tableau de bord du VGQ sont colligés dans le rapport de gestion annuel qui est présenté à la CAP. Un recherchiste de l’Assemblée nationale étudie préalablement les rapports de gestion, dont celui du VGQ, et en résume le contenu aux parlementaires. Avant la séance publique, ce recherchiste rencontre le VGQ pour discuter du rapport, et ensuite émet son opinion aux parlementaires. Par la suite, les parlementaires rencontrent le VGQ et lui posent des questions sur ses résultats. Le tableau de bord aide ainsi à la reddition de comptes. Comme l’indique Renaud Lachance, le tableau de bord est une mine d’or d’informations.

On peut mieux répondre aux questions des parlementaires lorsqu’ils regardent par exemple comment on utilise notre budget (VOR vs vérification financière), pourquoi cela a coûté plus cher, etc. Vous trouvez tout là-dedans, et vous pouvez vous comparer avec les autres vérificateurs législatifs.

Processus de développement des indicateurs

Tous les trois ans, le VGQ fait un nouveau plan stratégique. Les indicateurs choisis lors de cette planification stratégique s’appliqueront donc aux trois années du plan. L’élaboration des indicateurs se fait en collaboration avec les employés du Bureau du VGQ de même que les membres de la CAP. Comme l’indique un membre du personnel :

Il faut regarder l’environnement externe et demander à la commission de l’administration publique comment on peut leur être utile maintenant, s’il y a des choses qui maintenant ne les intéressent plus, s’il y a des choses qui seraient pertinentes et qu’on n’a pas faites.

Selon un autre employé du VGQ, lorsque Renaud Lachance a élaboré son premier plan stratégique (pour 2006-2009), il s’est inspiré de ce que faisaient les autres VG :

Il est allé voir ce que faisait le VG du Canada et ailleurs dans le monde; il a regardé tous les plans stratégiques de tout le monde, ce que le monde pensait être stratégique. Il a ramassé les suggestions de tout le monde et puis il s’est demandé : « Qu’est-ce qui irait dans telle orientation, combien j’ai d’orientations? »

Ajoutons que dans le cadre de ce premier plan stratégique, Renaud Lachance avait également recruté un ancien sous-ministre (les sous-ministres étant les responsables de l’administration quotidienne gouvernementale) qui avait, de façon anonyme, consulté une vingtaine de sous-ministres afin de connaître leur opinion à propos du Bureau du VGQ.

Ainsi donc, une fois les grandes lignes stratégiques établies par le VGQ, le comité de direction s’isole pour bâtir une première ébauche d’un projet d’indicateurs. Cette ébauche est ensuite discutée lors d’un colloque des cadres qui réunit tous les cadres de l’organisation. Pendant cette rencontre, ces derniers sont invités à donner leur opinion sur les indicateurs proposés et à en suggérer d’autres. À cette étape, les directeurs forment de petits groupes pour discuter de ce qui devrait être mesuré ou bien pour se comparer entre eux (exemple : indicateurs pour vérification financière vs ceux pour la VOR). Finalement, suite à ce colloque, les cadres consultent leurs employés afin de s’assurer que l’ensemble du personnel est sensibilisé à la démarche.

Habituellement, il est assez facile d’obtenir un consensus puisque la mission est très claire. Par contre, il arrive que les gens réclament plus d’indicateurs (souvent des indicateurs opérationnels). De plus, malgré la consultation de tous, la plupart des indicateurs choisis viennent de la haute direction. Comme l’explique un membre du personnel :

La première année de monsieur Lachance, il avait descendu jusqu’au personnel, à tout le personnel professionnel et demandé si les gens avaient des idées pour des orientations stratégiques. Mais je vais vous dire qu’à 98 %, même parmi le personnel d’encadrement, on a peu de suggestions stratégiques. Dans le plan stratégique, ça prend beaucoup de créativité.

Enfin, avant de finaliser le tableau de bord, le VGQ rencontre les parlementaires de la CAP lors d’une séance de travail. Les indicateurs sont alors présentés aux membres de la commission qui les interrogent et les commentent, et qui font ensuite leurs recommandations.

Un membre de la CAP nous a déjà demandé pourquoi on n’avait pas un indicateur comme celui du VG du Royaume-Uni qui quantifie les économies engendrées par la VOR. Je crois qu’il y a trop d’hypothèses dans le calcul de ce montant, ce qui réduit sa robustesse. Mais ça, c’est mon opinion. (Renaud Lachance)

Puisque le tableau de bord sert d’abord et avant tout d’outil de reddition de comptes, les exigences et recommandations des parlementaires jouent un rôle important lors du choix des indicateurs. Par exemple, bien que le VGQ ait décidé d’exclure du tableau de bord le nombre de vigies effectuées, la CAP mentionne dans son rapport qu’elle souhaite que le Bureau du VGQ continue à mettre beaucoup d’énergie dans ces vigies. Il s’ensuit un questionnement au sein du Bureau du VGQ quant au bien-fondé de réintégrer cet indicateur. Une fois les parlementaires consultés, le comité de direction, et en particulier le VGQ, décide du choix des indicateurs. En effet, comme l’explique Renaud Lachance, bien que le VGQ reçoive les conseils des gens qui l’entourent, au final, c’est lui qui prend les décisions quant au retrait ou à l’ajout d’indicateurs.

La planification stratégique ainsi établie est déposée à l’Assemblée nationale. L’année du dépôt, la CAP interroge le VGQ non seulement sur le rapport annuel de gestion, mais également sur la nouvelle planification stratégique.

Outre les questionnements stratégiques, l’élaboration des indicateurs est influencée par des considérations pratiques. Par exemple, selon un membre du personnel, il est indispensable de s’assurer lors du choix des indicateurs que ces derniers donneront lieu à de l’information comparable d’année en année et comparable avec celle des autres VG. La mesurabilité de l’indicateur est donc primordiale.

Les indicateurs sont élaborés par le comité de direction et, en cours d’élaboration, des statistiques sont recueillies pour s’assurer que l’indicateur est mesurable. Une fois les indicateurs acceptés, des fiches d’information sont développées pour chacun d’entre eux. Ces fiches indiquent le nom de l’indicateur et son objectif, l’orientation stratégique visée, la cible à atteindre, la méthode de calcul adoptée, une définition précise des différentes composantes de ce calcul, le responsable de l’indicateur, la source et la disponibilité des informations, de même que les données comparatives historiques et d’autres précisions au besoin.

De tous ces éléments, c’est la définition des composantes du calcul qui représente la plus grande difficulté. En effet, s’entendre sur une définition représente un grand défi. Comme l’indique Renaud Lachance, il ne s’agit pas simplement de dire « c’est 40 % ». De plus, la personne qui élabore les fiches n’assiste pas aux réunions du comité de direction ce qui complexifie la tâche. Voici les précisions d’un membre du personnel :

Moi, j’élabore les fiches à partir du plan stratégique, de ce que j’en comprends, car je ne suis pas aux réunions du comité de direction. Des fois, ils me disent « non, non, ce n’est pas ça qu’on voulait dire », mais je leur dis « c’est ça qui est écrit, donc il faut s’en tenir à ce qui est écrit ». L’année suivante, le calcul est modifié pour représenter ce qu’on voulait vraiment mesurer et une mention de ce changement est faite dans le rapport annuel de gestion.

Pour certains indicateurs, la définition peut entraîner des problèmes plus complexes. Par exemple, l’indicateur mesurant l’augmentation des honoraires de vérification financière confiée à des cabinets d’experts-comptables est défini comme étant le pourcentage moyen d’augmentation des honoraires relatifs aux contrats renouvelés (voir objectif 5.2.2, Annexe 5). Ce calcul qui paraît simple porte pourtant à confusion puisque la hausse moyenne peut se calculer de plusieurs façons. En effet, la hausse moyenne peut être calculée selon la moyenne d’augmentation de tous les contrats de façon globale ou selon la moyenne des moyennes d’augmentation de chaque contrat. Comme l’indique un membre du personnel :

Vous n’avez pas idée de comment on peut calculer les choses, nous les comptables. Et le français étant ce qu’il est…

L’établissement des cibles à atteindre demande également un certain travail, qui se fait en collaboration avec les employés. Pour cela, les données historiques sont consultées de même que les résultats des autres VG. La stabilité des données historiques est également considérée. Une cible est plus facile à établir si l’historique est stable. Ensuite, il faut déterminer à quel niveau mettre la cible. Par exemple, pour l’indicateur « combien de nos rapports sont cités à l’Assemblée nationale », avant de fixer la cible, un membre du personnel consulte les données des trois dernières années pour dénombrer combien de fois les rapports du VGQ ont été cités à l’Assemblée nationale. Sur la base de cette donnée, on établit la cible de façon à favoriser une amélioration. Par exemple, si les rapports ont été cités 65 fois à l’Assemblée nationale, les employés établiront la cible à « au moins 70, parce qu’ils veulent toujours s’améliorer », de préciser Renaud Lachance.

Il n’est pas toujours facile d’établir une cible. Prenons l’indicateur qui prône le respect du budget en VOR (voir objectif 5.2.3, Annexe 5). Premièrement, l’établissement d’un budget en heures peut entraîner des écarts importants puisque les vérifications sont très différentes entre elles et qu’il est difficile d’établir a priori ce que l’on cherche et ce que l’on va trouver. Pour pallier ce problème, la cible est maintenant établie à partir de la deuxième version du budget de chaque VOR, celle-ci étant plus précise. Deuxièmement, la présence même de cet indicateur amène certains questionnements. Toujours selon Renaud Lachance :

Certains députés ont dit : « On n’aimerait pas ça que vous trouviez quelque chose d’exceptionnel, mais que vous n’en parliez pas parce que vous n’avez pas d’heures dans le budget pour ça. » Les parlementaires nous demandaient : « C’est quoi votre priorité… atteindre votre indicateur? » On les a rassurés en leur disant que nos gens sont professionnels.

La collecte d’information pour les indicateurs se fait à la fois de façon manuelle et informatisée. Par exemple, le Bureau du VGQ a un système informatique permettant aux employés de remplir leurs feuilles de présence par mission de vérification. Par contre, la collecte de données pour certains indicateurs, comme le nombre de nouveaux membres de la CAP rencontrés par le VGQ, se fait manuellement.

Une fois l’information collectée, le rapport de gestion est rédigé. Un membre du personnel est spécifiquement affecté à la rédaction de ce rapport. Cette personne est aussi responsable du suivi des indicateurs tout au long de l’année.

Processus d’amélioration du tableau de bord

Le tableau de bord est repensé à chaque planification stratégique, c’est-à-dire tous les trois ans. Les indicateurs en place sont évalués et s’il y a lieu, d’autres indicateurs sont ajoutés. Bien qu’en principe tout puisse changer, il existe une certaine continuité entre les planifications stratégiques, comme le précise Renaud Lachance.

Tous les 3 ans, on refait l’exercice au grand complet. Par contre, on ne repart pas à zéro. Chaque planification a ses couleurs, mais il y a une forme de cohérence.

En principe, les indicateurs choisis lors de la planification stratégique restent en place pour les trois années du plan. Par contre, chaque année, un processus d’amélioration continue permet de vérifier la pertinence des indicateurs. Lors de ce processus, on se questionne sur la pertinence des indicateurs. « Est-ce que l’indicateur qu’on avait pensé il y a deux ans est encore pertinent? On se pose la question chaque année. Ce ne sont pas des changements importants, mais on peaufine », explique Renaud Lachance.

Lors de cette phase d’amélioration continue, il n’y a pas d’ajout d’indicateur. Par contre, si un indicateur n’est plus pertinent, il sera enlevé et le VGQ informera la CAP de ce retrait. Toutefois, le retrait d’un indicateur doit être justifié. Par exemple, lorsque la cible de couper le budget de 5 % en vérification financière a été établie (voir objectif 5.2.1, Annexe 5), l’effet de l’application des IFRS n’était pas encore connu. Par la suite, cette cible s’est avérée irréaliste et pour ne pas démoraliser les employés, elle n’a pas été incluse dans le rapport de gestion cette année-là.

Parfois, des changements sur le plan du travail font en sorte qu’un indicateur ou sa mesure n’est plus approprié. Par exemple, la VOR fait l’objet d’un rapport divisé en chapitres identifiables. Chaque chapitre est considéré comme un rapport lors du calcul du pourcentage des rapports publiés par le VGQ qui sont examinés par une commission parlementaire (voir objectif 1.1.1, Annexe 5). Depuis 2009, le Bureau du VGQ publie un nouveau type de rapport traitant de plusieurs sujets appelé le tome financier. Pour l’instant, puisque le tome financier n’est pas structuré en chapitres identifiables, il ne compte que pour un seul rapport. Par contre, à long terme, ce calcul ne sera plus représentatif de l’étendue du travail, comme l’explique un membre du personnel :

Maintenant, on commence à être plus structuré avec des chapitres identifiables. On ne pourra plus le compter pour un [rapport]. Il va falloir changer la mesure de l’indicateur. Ce qu’on veut, c’est refléter l’ampleur du travail qu’exige le tome financier.

Lors de la prochaine planification stratégique, le VGQ veut étudier certaines questions21 . Une première question concerne la contrôlabilité des indicateurs. En effet, en ce moment, selon le VGQ, certains indicateurs ne sont pas entièrement sous son contrôle. Par exemple, si des élections sont déclenchées et qu’il n’y a pas de commission sur l’administration publique pour entendre ses rapports, il ne pourra pas atteindre sa cible. Un autre exemple concerne les honoraires professionnels provenant des vérifications faites par sous-traitance, le taux horaire des cabinets comptables n’étant pas sous le contrôle du VGQ.

Renaud Lachance considère qu’il est nécessaire de distinguer les indicateurs qu’il contrôle vraiment de ceux qu’il ne contrôle pas parfaitement, entre autres pour permettre aux parlementaires de mieux évaluer sa performance. D’ailleurs, les parlementaires l’ont déjà souligné ainsi que le précise Renaud Lachance.

Quand ils parlent de ma planification stratégique, les parlementaires me le font remarquer : « Vous avez des indicateurs de performance, mais vous savez, vous ne contrôlez pas tous les indicateurs. »

Cet aspect a d’ailleurs été intégré au rapport annuel de gestion pour l’année 2010-201122 . Toutefois, selon un membre du personnel, une réflexion plus approfondie sur le sujet est nécessaire.

Une deuxième question concerne l’aspect stratégique des indicateurs. En effet, selon le VGQ et des membres du personnel, certains indicateurs sont stratégiques alors que d’autres sont opérationnels. Par exemple, l’objectif 5.1.1 (Annexe 5) pose problème.

On a un indicateur qui est d’avoir 100 % des travaux évalués répondant aux normes de certification. C’est extrêmement important, mais je me suis demandé si c’est inhérent au processus, si c’est stratégique. Quand on a une révision de nos dossiers, on veut que 100 % de ces révisions concluent qu’on a respecté les normes de vérification. On a toujours 100 %. Est-ce qu’on l’enlève? On ne pose pas de geste particulier pour ça. Ça fait partie du processus. (Renaud Lachance)

Cette question a d’ailleurs déjà été soulevée lors d’un colloque des cadres. Les cadres devaient mentionner pour chaque indicateur s’il était de nature opérationnelle ou stratégique. Par contre, il n’y a pas eu consensus sur la nature des indicateurs. Un membre du personnel explique :

C’était 50/50 : il y avait des directeurs qui voyaient certains indicateurs comme stratégiques, d’autres directeurs les voyaient comme opérationnels.

Il est effectivement parfois difficile de statuer sur la nature d’un indicateur, comme l’explique Renaud Lachance :

Dans l’opérationnel, tu as du stratégique aussi. Le fait d’avoir des opinions appuyées sur des dossiers suffisants, c’est opérationnel, mais c’est stratégique. Ce n’est pas stratégique dans le sens d’une démarche vers l’Assemblée nationale, mais c’est autre chose.

Enfin, le VGQ aimerait également réduire le nombre d’indicateurs, ce qui encore une fois n’est pas une tâche facile. En effet, explique un membre du personnel, même si « initialement la volonté c’est de ne pas en avoir tant que cela, dans le feu de l’action, ça finit avec 26! »

Le tableau de bord : plus qu’un outil de reddition de comptes

Bien que le tableau de bord ait comme utilité principale la reddition de comptes auprès des membres de la CAP, il sert également à la gestion quotidienne des activités du Bureau du VGQ. Par exemple, depuis quelques années, les résultats du tableau de bord sont présentés aux réunions du comité de direction qui ont lieu environ toutes les deux semaines. À cette fin, les résultats sont mis à jour et un résumé des indicateurs à surveiller est préparé. Les membres du comité portent une attention particulière à ces indicateurs et l’on discute des gestes à poser. Si l’atteinte d’une cible est incertaine, c’est lors de ces réunions qu’on en discutera.

Certains indicateurs sont reliés aux deux groupes de vérification (financière et VOR), alors que d’autres sont propres à un de ces groupes. Toutefois, chaque indicateur est associé à une personne de l’organisation ou à un groupe responsable. Par exemple, l’indicateur de l’efficience en attestation financière (objectif 5.2.1, Annexe 5) est suivi par le groupe attestation financière alors que l’indicateur prônant le respect du budget en VOR (objectif 5.2.3, Annexe 5) fait l’objet d’une reddition de comptes par ce groupe de travail. Certains indicateurs sont directement reliés au VGQ et agissent à titre d’aide-mémoire. Ce dernier les utilise afin de garder en mémoire ses objectifs.

Un des indicateurs spécifie que je dois rencontrer tous les présidents des commissions parlementaires au cours des trois prochaines années [dans le cadre du développement durable, voir objectif 2.2.1, Annexe 5]. C’est un indicateur de démarche. J’en ai rencontré la moitié. Il m’en reste quelques-uns à voir d’ici le 31 mars. Quand on arrive au comité de gestion… « Il ne me reste qu’un an et j’ai encore deux commissions parlementaires à rencontrer ». Je vais demander à mon adjointe de me donner « un rendez-vous avec les présidents et vice-présidents de ces commissions ». C’est là que la « checklist » au comité de direction va t’aider à te rappeler ces choses-là. (Renaud Lachance)

D’ailleurs, le VGQ admet que, dans le passé, s’il n’avait pas regardé le tableau de bord de façon régulière, certaines cibles n’auraient pas été atteintes. Pour reprendre les mots d’un membre du personnel, « ça oblige à faire des plans d’action ».

Selon le VGQ, le tableau de bord est également un agent de changement très fort qui amène des modifications sur le plan des processus et même de la culture organisationnelle. Toutefois, le VGQ explique :

C’était une surprise de voir à quel point ça devenait un instrument de changement. […] Tu peux vraiment t’en servir pour changer les choses. Amener tes gens à changer leurs pratiques. Ça te prend l’adhésion des gens, mais surtout la volonté du Vérificateur général. Ça a beaucoup servi à faire passer la vision.

Ainsi, lors de la consultation anonyme des sous-ministres (à l’étape de la planification stratégique), on a formulé certaines critiques quant aux pratiques du Bureau du VGQ, ce qui a entraîné des changements. En effet, les sondages ont révélé une insatisfaction quant à l’âge moyen des équipes de vérification et au manque de spécialistes dans des domaines spécifiques tels que l’éducation, la santé, le transport, etc. Ces deux aspects font désormais partie du tableau de bord (voir indicateur 5.3.1 et 5.3.2, Annexe 5) et le Bureau du VGQ porte maintenant une plus grande attention à la constitution des équipes de vérification.

De plus, l’ajout de certains indicateurs, tels que ceux reliés au respect du budget d’heures pour la vérification financière et la VOR (voir indicateur 5.2.1 et 5.2.3, Annexe E), a profondément changé la culture organisationnelle, comme l’explique Renaud Lachance :

C’était un changement de culture. Nous ici, on ne facture pas les honoraires, ce sont souvent des gens qui aiment la vérification et qui veulent faire un très bon travail. Les gens ont pensé que je voulais les amener à réduire la qualité. Ce n’est pas ça. Je leur ai dit que le temps que tu mets en trop sur un dossier, c’est du temps que tu mets en moins pour vérifier une autre entité.

Toujours selon Renaud Lachance, les directeurs se sentent plus interpellés par le respect des budgets des heures et l’indicateur est au cœur de ce changement. Ils assument maintenant cette responsabilité et par le fait même remettent en question la méthodologie de vérification.

Un autre changement résultant du tableau de bord concerne l’adhésion des entités vérifiées aux recommandations émises par le Bureau du VGQ. Avant l’ajout de cet indicateur, le sous-ministre écrivait une lettre au sujet de la vérification qui avait été faite. Cette lettre était toujours la même, poursuit Renaud Lachance :

Quand je suis arrivé, la lettre était très standard, avec deux paragraphes : « nous prenons note… nous prenons note ». Incapable de savoir ce qu’il pensait vraiment.

Puis, en regardant le rapport de gestion du VG de l’Australie, Renaud Lachance a remarqué que ce dernier demandait l’adhésion des entités aux recommandations d’une VOR. Un indicateur a donc été ajouté pour mesurer le pourcentage des recommandations obtenant l’adhésion des entités (voir objectif 3.2.1, Annexe 5). Cet indicateur a initialement causé quelques inquiétudes.

Quand j’ai vu l’idée de l’Australie, j’ai demandé aux dirigeants des entités vérifiées de remplir un formulaire contenant des cases à cocher, « je suis d’accord ou pas », après chaque recommandation. Au Bureau, les vérificateurs étaient mal à l’aise avec cet indicateur. [Ils ont dit] : « Ça veut dire qu’il va falloir argumenter pour chaque recommandation quant à sa pertinence et sa faisabilité? » [J’ai répondu] : « C’est en plein ça ». Si la recommandation est bien écrite et qu’elle est pertinente, il devrait dire oui. S’il dit non, c’est peut-être parce qu’il n’a pas les moyens de la mettre en application ou bien c’est qu’elle est mal écrite. On est aussi bien de ne pas la faire.

À la suite de ce changement, le taux d’application des recommandations est passé de 35-40 % à 75 %. Selon Renaud Lachance, ce bond s’explique par le fait qu’en signifiant leur accord avec les recommandations, les entités s’engagent à les mettre en application.

Le tableau de bord du VGQ a également eu des impacts à l’extérieur du Bureau du VGQ. Par exemple, un des objectifs du tableau de bord est de permettre le suivi des recommandations de la CAP faites aux différentes entités gouvernementales (objectif 2.1.2, Annexe E). D’après Renaud Lachance, cet indicateur pousse les membres de la CAP à formuler des recommandations plus précises et plus concrètes afin de faciliter leur implantation.

Un tableau de bord « validé »

Afin d’assurer la fiabilité des données du tableau de bord, ce dernier est « validé » par le vérificateur interne (VI) du VGQ.

Cette validation, fondée sur les normes23 de l’Institut des auditeurs internes, apporte une assurance au VGQ quant « au caractère plausible et à la cohérence de l’information24» contenue dans le rapport annuel de gestion. Par exemple, le vérificateur interne (VI) révisera le calcul des indicateurs et, si un problème survient, il demandera à ce que des modifications soient apportées. De fait, son travail consiste non seulement à réviser des calculs, mais aussi à obtenir des renseignements et des pièces justificatives concernant l’information fournie dans le rapport de gestion, de même qu’à discuter de cette information et à mettre en œuvre des procédés analytiques (voir Annexe 6).

Au cours de ce travail, des difficultés « techniques » peuvent survenir. Parmi celles-ci, on retrouve des considérations comme l’intégralité des données et la démarcation des informations. Par exemple, en ce qui concerne l’intégralité, le problème peut être lié à l’absence de système informatique pour la collecte de données de certains indicateurs. Comme l’explique un membre du personnel :

On n’a pas de système pour tous les indicateurs. Il y a beaucoup d’information qu’on s’efforce d’obtenir. La certitude sur l’intégralité, c’est difficile encore.

Pour la démarcation, le problème peut provenir de l’interprétation quant à la date de « fin des travaux ». Par exemple, si un des rapports de VOR est terminé au 31 mars (date de fin d’exercice), mais que pour une raison quelconque, la publication est retardée au début d’avril, on se demandera dans quel exercice ce dernier doit être pris en compte. Cette décision aura un impact sur le calcul de certains indicateurs (voir objectif 1.1.2., Annexe 5).

La décision de faire appel au vérificateur interne vient d’un désir d’exemplarité. Comme l’explique un membre du personnel :

On fait la promotion de la vérification interne dans les ministères et organismes… Un vérificateur général se doit d’être exemplaire.

C’est dans cet esprit de « plus-value » que le vérificateur interne adresse ainsi son rapport directement au Vérificateur général et que le contenu de son rapport est publié à l’intérieur du rapport de gestion.

Vers un nouveau tableau de bord

Défenseur du travail d’équipe, Renaud Lachance compte sur les membres de son comité de direction pour mettre à jour le prochain tableau de bord. Plusieurs questions lui trottent dans la tête devant l’exercice qui s’annonce… Quels critères devraient prévaloir dans le choix des indicateurs? À partir de quoi faut-il réexaminer un indicateur? Comment définir un indicateur contrôlable et non contrôlable, un indicateur opérationnel et un indicateur stratégique?…

L'étude de cas complète
Vous appréciez cette étude de cas? Bénéficiez du cas complet incluant les annexes suivantes (10 pages au total) sur la boutique :
  • Organigramme (mars 2011)
  • VGQ Résultats financiers
  • Liste sommaire des entités assujetties à la Loi sur le vérificateur général
  • Mission, vision, valeurs, orientations
  • Extraits du tableau de bord de gestion
  • Rapport du vérificateur interne
Afin d’acheter l’étude de cas dans son intégralité, rendez-vous à cette adresse de la boutique evalorix
  1. Nous tenons à remercier chaleureusement Renaud Lachance et toutes les personnes du Bureau du VGQ ayant collaboré à nos travaux pour leur disponibilité et leurs précieux commentaires qui ont permis la rédaction de ce cas.
  2. La collecte des éléments de ce cas a été réalisée avant que Renaud Lachance ne soit sollicité, en novembre 2011, pour siéger à titre de commissaire sur la Commission d’enquête sur l’industrie de la construction et démissionne ainsi de son poste de VG du Québec. À moins d’indications additionnelles, toutes les données de ce cas proviennent d’entrevues réalisées au Bureau du VGQ en 2011, ainsi que des documents Planification stratégique 2009-2012 et Rapport de gestion 2010-2011.
  3. Les auteurs tiennent à remercier HEC Montréal pour son soutien financier dans la production de ce cas par l’entremise de l’atelier stratégique d’innovations pédagogiques 2011-2012 et à remercier tous les participants de cet atelier pour leurs précieux commentaires.
  4. Extraits des délibérations des membres de la Commission de l’administration publique, Journal des débats de la Commission de l’administration publique, 39e législature, 1re session, le mercredi 11 novembre 2009, vol. 41, no 11.
  5. http://www.vgq.gouv.qc.ca/fr/fr_organisation/fr_index.aspx (consulté le 24 mai 2012).
  6. http://www.vgq.gouv.qc.ca/fr/fr_organisation/fr_Lois-reglements.aspx
  7. Loi sur le vérificateur général, p. 2, http://www.vgq.gouv.qc.ca/fr/fr_organisation/fr_Lois-reglements.aspx (consulté le 4 octobre 2013).
  8. Idem.
  9. Données de 2011.
  10. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, p. 49.
  11. http://www.vgq.qc.ca/fr/fr_organisation/fr_verif-legislative.aspx (novembre 2011)
  12. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, p. 7.
  13. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, p. 8.
  14. Loi sur le vérificateur général, http://www.vgq.gouv.qc.ca/fr/fr_organisation/fr_Lois-reglements.aspx, p. 4 (consulté le 4 octobre 2013).
  15. Voir par exemple le Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011, rapport spécial portant sur la vigie relative aux projets de modernisation des centres hospitaliers universitaires de Montréal, http://www.vgq.qc.ca/fr/fr_publications/fr_rapport-annuel/fr_2010-2011-Rapport-CHU/fr_Rapport2010-2011-CHU.pdf (consulté le 4 octobre 2013).
  16. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, annexe 3, p. 63.
  17. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, p. 31.
  18. Voir également l’Annexe 4.
  19. Loi sur l’administration publique :
    http://www2.publicationsduquebec.gouv.qc.ca/dynamicSearch/telecharge.php?type=2&file=/A_6_01/A6_01.html (consulté le 4 octobre 2013).
  20. École nationale d’administration publique.
  21. Lors de notre entretien en août 2011, Renaud Lachance nous a fait part de ces questions pour la prochaine planification stratégique. Par contre, Renaud Lachance a quitté les fonctions de VGQ en décembre 2011.
  22. Voir les faits saillants en page 5.
  23. Normes internationales pour la pratique professionnelle de l’audit interne, https://na.theiia.org/standards-guidance/mandatory-guidance/Pages/Standards.aspx (consulté le 21 octobre 2013).
  24. Rapport du Vérificateur général du Québec à l’Assemblée générale pour l’année 2010-2011 – Rapport annuel de gestion, p. 4.