Case Study : Utiliser l’IA dans sa boite mail

Pour aborder le sujet, j’ai identifié 3 cas d’usages qui devraient s’appliquer à la majorité et faire gagner du temps + améliorer la qualité des messages envoyés :

1. La classification et labelling des mails pour ordonner votre boite mail
2. La rédaction de brouillon sur chaque mail reçu demandant une réponse
3. Le résumé de thread pour obtenir les informations importantes (plutôt que tout relire)
4. Quelques bonus d’amélioration de gestion de votre boite mail

Dans les exemples ci-dessous, prenons l’exemple d’une boite mail type contact@entreprise.com

1/3 - La catégorisation des emails

Cette étape de catégorisation va vous permettre d’organiser la boite mail pour être plus productif dans le traitement.

L’objectif est d’établir une priorisation de traitement sur les mails entrants.

Pour cela, la première étape est d’analyser les typologies de mails que vous recevez. Vous pouvez vous-même définir les catégories de mail que vous recevez ou procéder à une analyse passée via une extraction de tous les mails reçues.

Pour faire cette analyse passée, voici les étapes que vous pouvez suivre :

1. Extraction des mails reçus sur takeout.google.com
2. Transformer le fichier reçu d’un format mbox en csv
3. Importer le csv sur google sheets et utiliser l’extension Claude for sheets pour mener une analyse de texte sur le corps du mail et définir la catégorie de l’email.
4. Vérifier les résultats et mener une analyse sur la répartition des catégories. Si 70% des mails tombent dans la même catégorie, il y a un problème de granularité et vous pouvez affiner le prompt à l’étape 3 en détaillant les catégories à sélectionner.

Le gros plus est que vous aurez une bonne base de labelling pour organiser votre boite mail.

Par exemple, voici une liste de catégorie possible pour une boite mail générique : Demande prospect / Demande client / Fournisseurs / Prestataires / Partenariat / Presse et médias / Recrutement / Newsletters / Spam et messages non sollicités

Cette catégorisation va nous permettre d’ajouter en plus un label “urgent” / “important”, des transferts automatiques et un archivage des mails non essentiels, sans demande de réponse.

Cette automatisation sur la catégorisation peut se faire via un outil de workflow automation (type Make) pour appliquer un tag à chaque mail entrant sur la base du résultat de l’analyse de texte du LLM (Claude-3 dans notre cas), puis transférer, déplacer dans des dossiers, archiver ou laisser le mail en attente de traitement.

Pourquoi s’embêter à passer par un modèle d’analyse de texte plutôt que de le faire par gmail ? Essentiellement pour la précision de la catégorisation. Aujourd’hui, le labelling sur gmail se fait l’utilisation de certains termes dans un mail, beaucoup trop limité par rapport à notre besoin.

2/3 - La rédaction de brouillon

Pour arriver à réaliser efficacement un brouillon, on a besoin de contexte !

Pour apporter du contexte et faire en sorte que le ton et la structure de réponse corresponde à votre plume, voici une série d’étapes à réaliser (assez similaire à la catégorisation)

1. Extraction des mails que vous avez envoyés pour identifier votre ton, la manière dont vous répondez et structurez vos messages. L’extraction se fait sur Google Take Out.

2. Transformer le fichier obtenu en format mbox en un csv avec les échanges de chaque mail envoyé pour éduquer le modèle sur les informations de votre boite mail.
3. Créer une base d’informations externes liées à votre activité (dans notre cas, on va prendre les informations disponibles sur la fintech Louve Invest : Q&A / FAQ / Articles de Blog / …) avec le même format CSV qu’à l’étape 2 : Questions / Réponses.

Au final, ces 2 fichiers csv vont nous permettre d’apporter des connaissances supplémentaires à notre modèle : des exemples de réponses et du contexte.

Construction de notre modèle

On va utiliser l’outil Relevance.ai qui permet d’utiliser des modèles, ajouter des informations externes et les déployer pour réaliser des tâches (ici la rédaction d’un brouillon).

1ère étape : ajout des infos externe

On va venir ajouter les documents dans l’onglet “Data” (Knowledge Base). Nos fichiers csv seront transformés en base de données vectorielles que l’on pourra alimenter au fur et à mesure.

2ème étape : création de l’outil de rédaction

On va ensuite créer notre tool pour la création d’un brouillon avec :

1. Notre base de données mails (mails envoyés) + contexte de l’entreprise (FAQ, articles de blogs, etc)
2. Les inputs nécessaires : objet, contenu du mail et sender
3. Le LLM qui va executer un prompt de création de brouillon (Claude-3).
   Voici le prompt que j’utilise

L’output sera le brouillon à ajouter dans notre boite mail.

L’intérêt principal d’utiliser Relevance AI est :

1. pouvoir ajouter des informations externes
2. utiliser n’importe quel LLM dont Mistral qui est open source
3. déléguer la gestion du scaling

On utilise cette fois-ci Zapier pour automatiser l’ensemble du process pour plusieurs raisons :

• le trigger est instantané dès que je reçois un mail. Sur Make, il faut utiliser un mailhook, pas pratique.
• le module Gmail me permet de faire un brouillon à un mail reçu. Ce n’est pas le cas dans Make.

Voici le résultat final dans ma boite mail 🎉

Le contenu est à titre d'exemple uniquement. Toutes les informations affichées sont fictives et générées aléatoirement. Aucun élément n'est réel ni exploitable.

Exemple de rédaction de brouillon sur un mail technique sur la proposition de valeur de l’entreprise.

Les avantages pour la rédaction automatique de brouillons sont énormes :

• gain de temps
• meilleure qualité de rédaction : absence de faute, ton chaleureux, …
• délai de réponse plus faible - accessible en 1 clic 😊

3/3 - Résumé de mails / thread de mails

L’idée est de venir rédiger un brouillon de réponse tout en apportant un résumé des informations du thread.

Sur ce cas, je voulais reproduire une fonctionnalité de “résumé de texte” pour vous permettre d’avoir l’ensemble des informations du mail en un coup d’oeil. Plutôt que de proposer quelque chose d’un peu trop complexe, je pense qu’ajouter un filtre dans l’automatisation sur Zapier permet d’atteindre facilement l’objectif.

Par exemple, en fonction de la longueur du mail, il est possible d’ajouter en plus du brouillon, un résumé des points importants juste au dessus de la réponse. Le résumé portera sur l’ensemble des mails du thread.

De cette manière, vous allez pouvoir lire l’ensemble des informations du mail et juger de la pertinence de la réponse sans passer du temps sur la relecture de tous les mails.

Voici le zapier adapté en conséquence avec l’ajout de :

• un filtre sur le labelling du mail
• une analyse de contenu dans le cas où le nombre de caractères du mail est supérieur à X (thread inclus) et l’ajout du résumé dans le brouillon.

Le résumé est fait sous forme de bullets points, doit rester concis et mentionner uniquement les informations importantes.

Bonus 1/2 : Automatiser des tâches grâce à la catégorisation

Analyser le texte permet de catégoriser les mails. L’extraction de certaines informations permet d’atteindre l’automatisation.

Avec votre catégorisation, vous allez pouvoir dessiner un arbre de décisions en fonction des catégories / sous-catégories de chaque email et automatiser les actions.

Exemple : Vous recevez certains templates mails de partenaires indiquant un changement de statut impactant vos utilisateurs, il est relativement simple de venir automatiser les actions réalisées par votre équipe.

Prenons le cas où un mail nécessite de réaliser des actions basiques type :

1. répondre brièvement pour confirmer la réception des informations
2. télécharger une pièce jointe et l’associer au dossier client
3. mettre à jour le nouveau statut utilisateur sur votre CRM
4. Prévenir une équipe interne / le client

Ce type de tâches sont classiques pour une équipe ops et 100% automatisable. Notamment grâce à une analyse de texte et l’extraction des informations clés (mail du client, mail du destinataire, extraction des informations clés du contenu, etc).

Pour toute équipe back-office / middle-office d’un service opérations, c’est un gain de temps énorme !

Dernièrement, j’ai réalisé cette opération pour une équipe ops et c’est plus de 50% de la boite mail que l’on a automatisé pour déclencher les actions précédemment réalisées à la main sur une base de quelques milliers de mails par mois. Le temps total gagné est dingue : un mi-temps dans une équipe de 4 personnes, soit une économie d’au moins 25 000€ sur un an pour l’entreprise (estimation basée sur un salarié à mi-temps en ops)

Et tout ça permet de se concentrer sur les cas particuliers, plus tricky et d’améliorer l’expérience client.

Bonus 2/2 : Analyse et optimisation

Lorsque vous avez mis en place les catégorisation et automatisation de rédaction d’un brouillon, il est fondamental d’analyser et optimiser pour :

• prendre conscience des demandes entrantes sur votre mail (demande client répétée sur un sujet, ) : analyse de répartition
• mesurer le délai de réponse par catégorie
• identifier d’autres axes d’amélioration (sur le prompt, dans la rédaction, ..)

Les limites ❌

Voici les limites que j’ai pu identifier sur la gestion de la boite mail :

• le sujet de la confidentialité des données en passant par GPT ou Claude : en réalité, ce sujet est mineur car vous pouvez aussi utiliser des solutions open source comme Mistral.
• la supervision humaine reste nécessaire : malgré leur performance, les IA peuvent faire des erreurs, surtout sur des tâches subjectives comme la détection de l'urgence/priorité d'un email, la détection de spam ou la rédaction sur des sujets sensibles. La vérification et l’amélioration constante de votre prompt ou des informations dont dispose le modèle est une étape vers la fiabilité.
• le temps : Sur le court-terme, mettre en place ce type de process peut demander pas mal de temps pour être plus productif à moyen-terme. Mais les économies d’échelles au sein d’une équipe sont croissants. Plus vous alimentez le modèle avec des données sur vos mails ou sur votre entreprise, meilleures seront les réponses.

Bilan

L’objectif que l’on essaye d’atteindre - l’inbox 0 - devient plus accessible et simple avec l’IA.

Bien prioriser l’automatisation avec l’IA, y aller progressivement et garder un contrôle humain sont quelques clés pour une utilisation responsable et efficace de l'IA dans ses emails au quotidien.

Concrètement, quel serait le temps économisé avec l’IA sur sa boite mail ?

Je me souviens d’un épisode de Pauline Laigneau qui interviewait Jean de La Roche Brochard sur sa gestion des mails où il fixe 2h par jour pour gérer ses mails :

• 1ère passe sur les mails courts qui prennent max 15 secondes de traitement
• déplacer les mails longs dans son inbox 0 pour les traiter dimanche soir
• déplacer les mails urgents dans un dossier “forward” à traiter le lendemain matin

L’application des étapes vues précédemment se transformerait en :

• lecture des résumés et informations importantes des mails urgents
• relecture des mails avant envoi

On parle d’au moins 30% d’économies de temps. Avec un salaire à 50k€/mois (69 138 € en coût employeur), cela donne un coût d’environ 40€/h.

30% de temps économisé sur votre boite mail = 120€ d’économie par semaine. Pas énorme, mais l’économie long-terme devient vite importante : 6100€ par an par personne. Et cela simplement sur la catégorisation et rédaction des brouillons.

Adopter les bonnes pratiques pour augmenter sa productivité est crucial !