Analyse de sentiment : intérêts et limites pour les avis clients
Dans le domaine de l’analyse sémantique, on attend beaucoup de la mesure du sentiment, ou de la tonalité des verbatim. Faisons le point sur les limites de cette analyse et les bonnes pratiques pour l’utiliser à bon escient.
L’attribution à chaque message d’une tonalité positive, neutre ou négative est presque devenue un exercice obligé pour tous ceux qui écoutent le web (solutions de veille, social media analysis). On retrouve également cet indicateur dans les solutions d’analyse sémantique dédiées à la mesure de l’expérience client (logiciels d’analyse d’enquêtes, customer feedback management…). On parle souvent à tort de “sentiment analysis”, ou “analyse de sentiment”, pour qualifier cette analyse : mais le “sentiment analysis” est en réalité une discipline beaucoup plus large, qu’on appelle également “opinion mining” ou fouille d’opinions.
1. La tonalité, un indicateur difficile à interpréter
L’analyse de la tonalité d’un message a été décriée car il peut être difficile de l’interpréter hors contexte. Effectivement, lorsque l’on teste, par exemple, les nombreuses solutions dédiées à l’analyse des flux de discussions sur Twitter, on est souvent déçu par l’apport en information de l’analyse.
Selon le site Topsy, la tonalité des discussions autour du mot “chômage” est de 49/100… OK, et alors ?
L’attribution d’une note à un sujet très global ne paraît pas un bon moyen de comprendre les enjeux dont il est question dans ces discussions, et ce pour plusieurs raisons :
- Premièrement, ce score cache quelques informations, notamment la marge d’erreur due aux ambiguïtés de la langue et les éléments qui ont permis de le calculer. Si le score attribué à un message ou un mot-clé est souvent neutre, c’est parce les solutions d’analyse ne prennent pas de risque…
- Deuxièmement, les solutions se contentent en général de donner un score global à chaque message ou verbatim. Toutefois, quand une personne s’exprime au sujet de son expérience avec une marque, ou donne son avis sur un produit, les propos sont souvent nuancés. Prenons un exemple très simple avec cet avis client posté sur une compagnie d’assurance :
“Les prix sont compétitifs, mais il est difficile d’obtenir une prise en charge, et les experts sont peu courtois.”
À la lecture de cet avis client, on voit bien que tout n’est pas blanc ou noir : les prix sont mentionnés de façon plutôt positive, mais la prise en charge et l’amabilité de l’expert sont mal jugés. Une solution classique donnera sans doute à ce verbatim une tonalité intermédiaire (5/10, 50%…), ce qui ne donnera aucune information exploitable.
Enfin, et c’est le plus important, mesurer si un message est positif ou négatif ne permet pas de connaître les arguments avancés par les locuteurs. Si on vous dit que 67% des commentaires de vos clients négatifs, quelles conclusions pouvez-vous en tirer ? Pas grand chose : vous avez besoin de savoir quels sujets sont abordés positivement et négativement, et dans quel volume.
2. Faut-il pour autant bannir l’analyse de sentiments ?
Et bien… Ça dépend ! Plus on la situe dans un contexte global et peu qualifié, moins la tonalité apporte d’enseignements. En revanche, si l’on est capable de voir évoluer dans le temps la tonalité sur un sujet donné, l’apport en information devient concret. Ajoutons que la capacité à extraire des informations utiles est fortement liée à la qualité de l’analyse des données textuelles.
Celle-ci est bien meilleure sur des verbatim structurés et d’une thématique précise, que sur un flux de texte bruité et très hétérogène vis-à-vis des sujets abordés (ex: Twitter). La mesure de la tonalité est donc plus parlante au sein de données de qualité, comme par exemple les commentaires des questionnaires de satisfaction client, et triées selon le thème des discussions. Pour résumer, la notion de tonalité n’est pas à exclure d’une analyse de verbatim, que ceux-ci proviennent du web ou de vos propres canaux de collecte.
Elle est un bon moyen d’entrer dans la problématique et d’évaluer les différents enjeux de manière globale. Il est en revanche nécessaire de la calculer au sein d’ensembles de textes cohérents, et sur des points d’intérêt ciblés. C’est à partir de ces points d’intérêt qualifiés qu’un analyste saura interpréter les résultats et mettre en lumière les enseignements stratégiques.
Pour résumer :
– La capacité des outils à détecter automatiquement le caractère positif ou négatif d’un message dépend fortement de la qualité intrinsèque des messages analysés : cohérence, argumentation, orthographe et syntaxe;
– Donner une note positive ou négative à un message n’a de sens que si vous souhaitez recevoir des alertes pour réagir en temps réel aux commentaires négatifs : si vous avez besoin de comprendre les sources de satisfaction et d’insatisfaction de vos clients et de les hiérarchiser, vous devrez vous intéresser au contenu des messages et aux sujets de discussion;
– La tonalité commence à être réellement intéressante dans une optique de comparaison (temporelle, entre deux marques, entre deux typologies de clients…) ou pour détecter des signaux faibles.
