Comment la Préfecture d'Ile de France a utilisé la méthode "définir des indicateurs" pour connaître au fil du temps les impacts d'un service numérique innovant en cours de développement

Cas d'usage

Publié le 24 juin 2019 par Mission « Innovation publique »

Durée de la démarche : 1h30 pour utiliser cette méthode.
Périmètre de la démarche : 1 équipe de 3 participants. 8 indicateurs produits
Equipe : Préfecture d'Ile de France.

Dans le cadre du Programme d’Investissement d’Avenir (PIA) un appel à projet « Services publics innovants à destination des start-ups de la French Tech » a été lancé en juin 2017. L’objectif de cet AAP est de créer une offre de service spécifique pour faciliter les démarches adminstratives des entrepreneurs ainsi que leurs liens avec les administrations. Ces nouveaux services ont vocation à être développées puis expérimentés au sein de l’incubateur Station F (Halle Freyssinet). La Préfecture d’Ile de France lauréate de cet appel à projet a identifié en juin lors d’un atelier de créativité une opportunité porteuse de valeur pour les start-ups: la mise en place d’un chatbot permettant de répondre automatiquement à leurs questions.
Afin d’opérer un suivi sur 15 mois de la réalisation de ce chatbot, l’équipe projet de la PRIF était invitée à formuler des indicateurs de réalisation, de résultats et d’impacts.

Partager

Modalités du projet

  • Date: 10 janvier 2017
  • Lieu: Direction Interministérielle de la Transformation Publique, Paris.
  • Appui d’un agent de la DITP pour animer l’atelier.
  • Livrables / produits de la démarche : 5 indicateurs détaillés.

Afin de suivre la mise en œuvre de leur projet, les agents de la Préfecture d’Ile de France sont chargés de transmettre des indicateurs de suivis à l’administration mandatée pour encadrer les projets (ici en l’occurrence, la DITP). Ces indicateurs vont permettre d’avoir une vue d’ensemble du travail réalisé, des résultats (statistiques d’utilisation, taux de satisfaction,…) et de l’impact de ces résultats sur la population ciblée (ici les entrepreneurs de Station F dans un premier temps, puis l’ensemble des entreprises dans un second temps).
Pour identifier ces indicateurs la DITP met à disposition des agents la méthode « créer des indicateurs », utilisée lors de la phase de prototypage / expérimentation.

Apports de la méthode design

L’utilisation du template  « indicateurs » permet d’imaginer collectivement des indicateurs pertinents afin de mesurer par exemple la qualité du service imaginé (s’il est simple, rapide, accessible…), son utilisation (statistiques permettant de mesurer sa fréquentation, sa popularité…) ou encore ses impacts (les effets indirects générés par la création du service…).

La méthode présentée sur Comment Faire permet également aux agents de se projeter sur les différentes actions à mettre en place pour recueillir ces données (par exemple un questionnaire de satisfaction,…).

Exemple de canevas « définir des indicateurs ».

Résultats

Cette méthode a permis à la PRIF d’obtenir plusieurs types d’indicateurs.

Des indicateurs de réalisation, cadencés sur 4 trimestres :

  • le premier trimestre (T1) : le début du projet (par exemple une maquette) ;
  • le second trimestre (T2) : l’ébauche d’un prototype ;
  • le troisième trimestre (T3) : la réalisation du prototype ;
  • le quatrième trimestre (T4) : le lancement du service.

Deux types d’indicateurs de résultats :

  • des indicateurs de qualité : le taux de satisfaction des utilisateurs, taux de compréhension des questions par le chatbot ;
  • des indicateurs d’utilisation : le nombre d’utilisateurs ayant utilisés le chatbot, le taux de retour des utilisateurs, le temps de présence sur le chatbot, le nombre d’utilisateurs étrangers.

Des indicateurs d’impacts :

  • le temps gagné pour l’usager;
  • l’amélioration de l’image de l’administration.

Enfin, pour avoir une vision globale de ces différents éléments les agents ont retenu 5 indicateurs « phares » (voir les cercles du template ci-dessus) qui permettront ensuite la mise en place d’un dispositif d’amélioration continue.

Aperçu de la démarche

Le canevas « définir des indicateurs » complété par les agents de la PRIF.

Les agents remplissent collectivement le canevas « créer des indicateurs » pas à pas. Pour chaque indicateurs imaginés, ils explicitent la manière dont ils comptent les retenir.

Ici, le chatbot étant un service permettant de rendre l’administration plus accessible aux entrepreneurs, l’équipe projet a imaginé un dispositif permettant de mesurer la perception qu’avaient les entrepreneurs quant aux services de la préfecture avant la mise en place effective de cet « agent conversationnel ». Cette enquête sera ensuite réalisée à nouveau auprès de la même population une fois le service mis en ligne. De cette manière la PRIF pourra obtenir un indicateur d’impact évaluant explicitement ce qui a changé pour les entrepreneurs.

Un agent de la PRIF identifient les principaux indicateurs retenus pour suivre l’évolution du chatbot

Bon à savoir

Pour développer le mieux possible le projet il est nécessaire que chaque membre de l’équipe s’exprime sur ce qui lui semble important afin de pouvoir confronter l’ensemble des idées. En outre, il est très important de bien prendre le temps d’identifier en amont tous les indicateurs qui seront ensuite indispensables pour mesurer les effets du projet en question sur le long terme. En effet, pour aller plus loin et mettre en place par la suite un dispositif d’amélioration continue, l’équipe devra savoir les éléments sur lesquels elle devra itérer afin d’en perfectionner par exemple la qualité ou la robustesse.

VOUS AUSSI DEFINISSEZ VOS INDICATEURS!

PDF (46.2 Ko) - Dernière mise à jour le 24 juin 2021

Télécharger