1. Objet
Ce plan organise la collecte et l'analyse systématiques des données d'exploitation des systèmes à haut risque tout au long de leur vie, afin de vérifier en continu leur conformité et d'alimenter la gestion des risques (DOC-03).
2. Sources de données surveillées
| Source | Contenu | Fréquence d'analyse |
|---|---|---|
| Journaux d'usage IA | Volume d'appels par système et par client, taux d'échec, consommation, latences | Mensuelle |
| Résultats d'entretien IA | Taux de complétion, durée moyenne, taux de sessions interrompues, fréquence des réponses candidat aux points à clarifier | Mensuelle |
| Retours candidats | Remarques libres de fin d'entretien (candidateFeedback), réponses aux points à clarifier (candidateClarification), demandes d'explication reçues | Mensuelle |
| Signalements | Signalements « Incident IA » (déployeurs, candidats, tiers) — registre DOC-07 | Au fil de l'eau |
| Support / réclamations | Tickets liés à un résultat IA contesté ou erroné | Au fil de l'eau |
| Fournisseurs de modèles | Annonces de mise à jour, dépréciation ou changement de comportement des modèles Gemini utilisés | Au fil de l'eau |
3. Contrôles qualitatifs périodiques
- Revue d'échantillons (semestrielle) : tirage aléatoire d'évaluations (scores de matching, synthèses d'entretien, narratifs) relues par un humain pour vérifier : absence de référence à des attributs protégés, absence d'inférence émotionnelle, formulation respectueuse des points de vigilance, cohérence sortie/sources.
- Test de non-régression conformité (à chaque déploiement) : vérification automatisée que le mode « évaluation candidat » exclut l'analyse émotionnelle (prompt + schéma) et que
aiNoticeest présent dans les réponses des endpoints d'évaluation. - Revue de dérive (à chaque changement de modèle) : comparaison avant/après sur un jeu de dossiers de référence ; écarts significatifs → réévaluation DOC-03 §6.
4. Indicateurs et seuils d'alerte
| Indicateur | Seuil d'alerte | Action |
|---|---|---|
| Taux d'échec d'un endpoint d'évaluation | > 5 % sur 7 jours | Investigation technique ; information des déployeurs si impact |
| Réclamations pour résultat discriminatoire ou infondé | ≥ 1 | Instruction immédiate (DOC-07) ; revue de l'échantillon concerné |
| Sessions d'entretien interrompues | > 15 % sur 30 jours | Analyse des causes (réseau, modèle, navigateur) ; correctif |
| Écart de comportement après mise à jour modèle | Écart significatif sur le jeu de référence | Gel éventuel de la mise à jour (modèle épinglé) ; réévaluation des risques |
5. Boucle de retour
Les constats alimentent : le registre des risques (DOC-03 §2), la notice déployeurs (DOC-04 §5, limites), la documentation technique (DOC-02) et, le cas échéant, la procédure incidents (DOC-07). Chaque revue périodique fait l'objet d'un compte rendu daté conservé avec le dossier de conformité.
6. Coopération avec les autorités
Sur demande motivée d'une autorité de surveillance du marché, Spotlite fournit la documentation du présent dossier, les journaux pertinents (art. 12, 19) et les comptes rendus de surveillance, dans les délais réglementaires.