Comparer Spacy, StanfordNLP et TreeTagger sur un corpus oral et un corpus de presse 🇫🇷¶

Stratégie d’échantillonnage des deux corpus¶

Vu la quantité de textes et le manque de personnel il nous a paru impossible d’annoter tous les deux corpus. Il n’est pas pour autant préférable d’annoter uniquement quelques articles ou quelques posts pour faire l’évaluation car l’intérêt de l’aspiration se trouvera fortement diminué.

Nous avons décidé d’extraire un échantillon de chacun des deux corpus avec une méthode qui permettrait à cet échantillon de représenter plus ou moins l’ensemble du corpus.

Par souci de concision, nous ne prenons uniquement le corpus de presse comme exemple pour démontrer la méthodologie. L’échantillonnage a été effectué avec le même principe pour le corpus de forum.

Nous avons d’abord calculé la distribution des longueurs de mots de l’ensemble des phrases du corpus de presse. Les 4 quartiles de la distribution sont 16, 25, 36 et 115, à savoir que ¼ de phrases ont une longueur <= 16 et ainsi de suite. La figure suivante illustre cette distribution :

Pour que ces quatre catégories de phrases soient également représentées, nous avons généré 60 nombres aléatoires par catégorie pour extraire aléatoirement 60 phrases par catégorie.

À la fin de cette phase nous avons pu recenser 6798 mots pour le corpus de presse et 6094 pour le corpus de forum. Ces deux échantillons constituent une bonne base pour garantir la comparabilité concernant l’annotation de ces deux types de corpus.

Standardisation des étiquettes¶

Si les deux taggers Spacy et StanfordNLP ont recours aux étiquettes de Universal Dependencies ( UD, Nivre et al., 2016), Treetagger utilise des étiquettes basées sur le jeu d’étiquettes de Penn Treebank (Marcus et al., 1993). Ces deux systèmes ne sont pas entièrement convertibles. Par exemple l’étiquette « aux » n’existe pas dans Treetagger français et de l’autre côté, l’étiquette « SYM » en UD n’a pas d’équivalent dans Treetagger.

Le cas le plus délicat est l’étiquette de « SCONJ » en UD qui recense des conjonctions de subordination telles que « que », « si » et « quand », etc. alors que ces mots sont tous étiquetés en « PRO:REL » (pronoms relatifs) dans Treetagger.

Treetagger aussi propose une étiquette « ABR » (abréviation) qui est difficilement définissable, nous l’avons assimilé à la catégorie « PROPN » (nom propre) en UD.

Le tableau suivant détaille notre choix pour convertir au maximum les étiquettes de Treetagger en UD.

Une dernière question porte sur la lemmatisation. Treetagger parfois attribue une sous-étiquette @card@ à des chiffres. Nous avons transformé systématiquement ce lemme en token original pour garantir la fiabilité des mesures ultérieures.

Quelques problèmes mineurs¶

Il nous a paru utile de préciser ici quelques problèmes rencontrés durant la standardisation d’étiquettes pour permettre une meilleure reproductibilité de codes :

1. Les trois points « … » s’étiquettent tantôt comme trois symboles tantôt comme un seul symbole. Nous avons standardisé la transcription en trois symboles pour à la fois rendre l’annotation plus comparable et éviter des problèmes d’encodage.

2. Spacy n’arrive pas à tokéniser ‘«’ et ‘»’. En plus de ne pas reconnaître cette ponctuation, il insère systématiquement une ligne vide après ces deux tokens. Cela rend les mesures de précision très difficiles et nous avons dû remplacer tous les guillemets français par les guillemets anglais dans les deux échantillons de corpus avant de les faire annoter automatiquement.

3. Les espaces insécables peuvent aussi causer des problèmes d’annotation. Nous les avons remplacés tous par des espaces normaux.

Présentation générale des taggers¶

Les taggers morphosyntaxiques sont nombreux sur le marché, ci-dessous une liste de quelques taggers pour le français utilisés dans la littérature :

Le principe des taggers peut être fort simple. Un algorithme simpliste qui catégorise les mots connus dans le tag le plus courant et les mots inconnus dans les noms propres peut atteindre une précision globale de 90% sur des données en anglais (Charniak, 1997).

Cependant des difficultés considérables existent pour atteindre une précision plus élevée. Entre les principales difficultés nous pouvons citer le fait curieux que la plupart des types formant le vocabulaire sont non ambigus qui ne peuvent porter qu’une catégorie morphosyntaxique. Or, ces derniers sont les plus fréquents dans les textes.

Différents types d’étiqueteurs existent.

Des étiqueteurs à bases de règles qui utilisent lexique (forme fléchie, POS, morpho, lemme) et de grammaires locales ( ex : Unitex). Ce type d’étiqueteurs ont notamment l’avantage d’avoir des règles explicites et modifiables aisément et d’être facilement implémentables (automates finis). Mais l’écriture manuelle des règles est difficile et coûteux et l’adaptation à de nouvelles données difficile, ce qui fait qu’ils ne sont plus très utilisés aujourd’hui.

Une autre famille d’étiqueteurs est basée sur des méthodes probabilistes, ce qui les rend très performants. Le comble, c’est que ce genre de méthodes nécessite moins d’expertise par rapport aux étiqueteurs à bases de règles. Les chaînes de Markov sont au cœur de la plupart des algorithmes utilisés et de nombreuses variantes sont possibles (entropie maximale, SVM, CRF, etc.)

Cependant les taggers basés sur l’apprentissage statistique nécessitent un corpus de référence annoté. Ce type de protocoles nécessitent un grand investissement de temps. De plus, il n’est pas toujours aisé d’analyser les erreurs.

Spacy, TreeTagger et StanfordNLP¶

Les taggers morphosyntaxiques utilisés ici sont Spacy, TreeTagger et StanfordNLP (désormais appelé Stanza). Il est à noter que le nom du dernier tagger peut prêter à confusion car il existe aussi un framework appelé Stanford CoreNLP ( Manning et al., 2014) qui est surtout connu pour sa performance sur des données en anglais et ses fonctions avancées telles que résolution de coréférence. Nous verrons dans la suite de cette section que ce framework n’est pas adapté notre projet et que le StanfordNLP utilisé dans ce rapport est bien le StanfordNLP en Python appelé aujourd’hui Stanza.

Tous ces trois taggers sont des taggers basés sur des méthodes probabilistes. Le cœur des algorithmes de ces taggers repose sur des ngram utilisés pour modéliser la probabilité d’une séquence de mots taggués.

• TreeTagger repose également sur des ngram mais il utilise des arbres de décision binaires pour estimer les probabilités de transition entre les mots de la séquence (Schmid, 1994). C’est un modèle écrit en C et très utilisé pour le français car il est gratuit (mais propriétaire), rapide et propose de nombreux modèles. Cependant, on ne sait presque rien sur les données utilisées pour entraîner le modèle français. Les étiquettes de TreeTagger sont basées sur le tagset de Penn Treebank. Pour le modèle français, les fonctions tokénisation, lemmatisation, annotation morphosyntaxique et chunking sont proposées.

• Spacy est une librairie relativement jeune (2015). C’est une librairie polyvalente de Python qui dans le cas du français est équipée de tokéniseur, POS tagger, tagger de dépendance syntaxique, chunkeur, identifieur de NER etc… Spacy est entraîné sur UD French-Sequoia et WikiNER, ce qui fait qu’il serait moins performant sur les textes d’autres genres comme les posts de forum. Il est à noter que deux modèles existent pour le français, le modèle utilisé dans notre projet est le plus grand fr_core_news_md (84 Mb). L’un de ses grands atouts est sa « industry level speed ». • Stanford CoreNLP est un framework écrit en Java applicable à 6 langues. C’est un framework puissant qui propose des fonctions poussées comme l’analyse sentimentale. Cependant le modèle actuel pour le français n’a pas de lemmatisateur.

• Stanford CoreNLP est un framework écrit en Java applicable à 6 langues. C’est un framework puissant qui propose des fonctions poussées comme l’analyse sentimentale. Cependant le modèle actuel pour le français n’a pas de lemmatisateur.

Enfin StanfordNLP est un framework de Python basé sur PyTorch et applicable à 66 langues à l’heure actuelle. C’est un framework puissant et également un grand consommateur de capacités de calcul car il est basé sur des réseaux de neurones.

Évaluation sur le plan de la vitesse de traitement¶

Pour cette tâche nous avons construit un gros corpus de 568 000 mots en dupliquant simplement un corpus de base. Les commandes utilisées pour évaluer les 4 taggers sont :

• Stanford CoreNLP

command time java-Xmx6g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLP -props french.properties

• TreeTagger

command time tree-tagger-french testAnnotator.txt

• Spacy

t0 = time()
nlp = spacy.load("fr_core_news_md", disable=["ner", "parser"])
nlp.max_length = 343000  # as long as > 1000000 and you don't run out of RAM
doc = nlp(text)
t1 = time()

• StanfordNLP (Stanza)

t0 = time()
nlp = stanza.Pipeline(lang='fr', processors='tokenize,mwt,pos,lemma,depparse')
doc = nlp(text)
t1 = time()

Nous avons montré le code car la comparaison de vitesse est une tâche bien délicate. Sans spécifier la configuration on peut parfois être littéralement ahuri par des évaluations fournies sur Internet. StanfordNLP fournit par exemple un record de 4.51 millions de mots par seconde sur leur page alors qu’il s’agit simplement d’une tâche de tokénisation effectuée en plus par un tokéniseur par règles. Spacy paraîtrait bien plus lent par rapport à cet exploit car il n’affiche que 13 963 mots par seconde sur sa page officielle. Or il n’en est rien car Spacy tient compte aussi du processus d’annotation de dépendance syntaxique. C’est pour dire combien il est important de préciser les paramètres lorsqu’on parle de vitesse de traitement.

Dans notre cas, tous les 4 taggers (sauf Stanford CoreNLP) ont effectué une tâche de tokénisation + lemmatisation + annotation morphosyntaxique. Le tableau suivant résume les résultats du test.

Vitesse d’annotation de 4 taggers sur un corpus de 568000 mots

Pour mieux apprécier la validité de notre test, voici les caractéristiques techniques de notre ordinateur :

Nous voyons bien que Stanford NLP est le plus lent et Spacy le plus rapide. Cependant quelques remarques préliminaires méritent d’être avancées ici. Tout d’abord Spacy est un modèle mettant l’accent sur la vitesse, comme fait remarquer avec pertinence l’auteur de Stanford NLP dans son article (Qi et al., 2020). Nous verrons par la suite qu’au niveau de la précision C’est Stanford NLP qui l’emporte. Ensuite Stanford NLP permet une accélération considérable si une carte GPU est disponible. Nous n’avons pas pu faire un essai faute d’équipement. Cependant des entreprises peuvent très bien avoir les moyens de s’en fournir, ce qui réduire l’écart de vitesse entre les deux frameworks.

TreeTagger s’est classé le deuxième. Cependant la vitesse de TreeTagger, comme nous le verrons plus tard, est obtenue au prix d’une perte considérable de précision.

Enfin un dernier mot sur Stanford CoreNLP. La vitesse de traitement est lente. Elle sera d’autant plus lente si l’on considère que la tâche de lemmatisation n’a pas été effectuée car indisponible pour le français (voir plus haut). De plus il faut rappeler qu’ici nous avons utilisé le préfixe java -Xmx6g, à savoir que nous avons alloué 6g de mémoires au programme pour la tâche en question. En effet nous avons fait plusieurs tests et il s’est avéré que 6g de mémoires est un minimum pour que le programme puisse aboutir. Compte tenu de ces facteurs nous avons décidé d’examiner uniquement StanfordNLP pour la suite de l’évaluation.

Évaluation sur le plan de la précision¶

Dans les sous-sections qui suivent nous présentons notamment les mesures de précision, de rappel et le F-mesure tout en sachant que dans des tâches d’annotation on met en avant la précision.

Les deux échantillons de corpus ont été annotés manuellement par nos soins, servant de « gold standard ».

Voici les premières lignes de notre gold standard du corpus de forum, notons l’annotation de « a » en adposition car il s’agit ici d’une faute d’orthographe typique de ce genre de corpus :

Nous commençons par les tests sur le corpus de presse.

Tableau des mesures de précision de StanfordNLP sur le corpus de presse

Nous voyons que les résultats de StanfordNLP ont été plutôt satisfaisant sur le corpus de presse. Cela est plutôt prédictible car il s’agit d’un corpus de français écrit relativement formel. Nous menons une discussion en détail dans une sous-section dédiée spécialement à l’analyse des erreurs et nous nous contentons de donner des résultats en chiffres dans cette sous-section.

Les résultats de Spacy sont moins bons que StanfordNLP mais assez satisfaisants :

Tableau des mesures de précision de Spacy sur le corpus de presse

Enfin, les résultats de TreeTagger sont les moins bons :

Tableau des mesures de précisions de TreeTagger sur le corpus de presse

Voici les résultats des tests sur le corpus de forum.

Nous commençons toujours par le tagger de StanfordNLP :

Tableau des mesures de précision de StanfordNLP sur le corpus de forum

Le tagger de Spacy :

Tableau des mesures de précison de Spacy sur le corpus de forum

Et enfin le tagger de TreeTagger, toujours le moins précis sur tous les plans :

Tableau des mesures de précision de TreeTagger sur le corpus de forum