Jargon : Une suite de modèles de langues et de référentiels d'évaluation pour les domaines spécialisés du français - Multidisciplinary Institute in Artificial intelligence - Grenoble Alpes Access content directly
Conference Papers Year : 2024

Jargon : Une suite de modèles de langues et de référentiels d'évaluation pour les domaines spécialisés du français

Iris Eshkol-Taravela

Abstract

Les modèles de langue préentraînés (PLM) constituent aujourd’hui de facto l’épine dorsale de la plupart des systèmes de traitement automatique des langues. Dans cet article, nous présentons Jargon, une famille de PLMs pour des domaines spécialisés du français, en nous focalisant sur trois domaines : la parole transcrite, le domaine clinique / biomédical, et le domaine juridique. Nous utilisons une architecture de transformeur basée sur des méthodes computationnellement efficaces(LinFormer) puisque ces domaines impliquent souvent le traitement de longs documents. Nous évaluons et comparons nos modèles à des modèles de l’état de l’art sur un ensemble varié de tâches et de corpus d’évaluation, dont certains sont introduits dans notre article. Nous rassemblons les jeux de données dans un nouveau référentiel d’évaluation en langue française pour ces trois domaines. Nous comparons également diverses configurations d’entraînement : préentraînement prolongé en apprentissage autosupervisé sur les données spécialisées, préentraînement à partir de zéro, ainsi que préentraînement mono et multi-domaines. Nos expérimentations approfondies dans des domaines spécialisés montrent qu’il est possible d’atteindre des performances compétitives en aval, même lors d’un préentraînement avec le mécanisme d’attention approximatif de LinFormer. Pour une reproductibilité totale, nous publions les modèles et les données de préentraînement, ainsi que les corpus utilisés.
Fichier principal
Vignette du fichier
8197.pdf (45.82 Ko) Télécharger le fichier
Origin Publisher files allowed on an open archive

Dates and versions

hal-04622997 , version 1 (28-06-2024)

Licence

Identifiers

  • HAL Id : hal-04622997 , version 1

Cite

Vincent Segonne, Aidan Mannion, Laura Alonzo-Canul, Audibert Alexandre, Xingyu Liu, et al.. Jargon : Une suite de modèles de langues et de référentiels d'évaluation pour les domaines spécialisés du français. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.9-10. ⟨hal-04622997⟩
0 View
0 Download

Share

Gmail Mastodon Facebook X LinkedIn More