<commit_before># Évaluation de modèles sémantiques distributionnels

Ce dossier contient des ressources et des programmes que j'ai
développés dans le cadre de mon doctorat. L'objectif de ma recherche
était de développer un cadre méthodologique basé sur la sémantique
distributionnelle pour l'analyse des relations lexicales à partir de
corpus spécialisés. À cette fin, j'ai évalué des modèles sémantiques
distributionnels au moyen de données de référence que j'ai extraites
de dictionnaires spécialisés. De cette façon, j'ai exploré comment le
choix et le paramétrage optimaux du modèle distributionnel sont
influencés par différents facteurs, tels que le genre de relations
lexicales qu'on souhaite identifier, la langue traitée ou la partie du
discours des requêtes utilisées pour évaluer le modèle.

## Code


* `exp_AD.py` et `exp_W2V.py` : programmes qui construisent des
  modèles distributionnels (analyse distributionnelle et word2vec
  respectivement) et les évaluent sur les données de
  référence. **ATTENTION** : Le programme `exp_AD.py` exige beaucoup
  de mémoire (du moins si le nombre de mots-cibles est élevé).

* `Corpus.py` : module utilisé par `exp_AD.py` et `exp_W2V.py` pour<commit_msg>Réviser README<commit_after># Évaluation de modèles sémantiques distributionnels

Ce répertoire contient des ressources et des programmes que j'ai
développés dans le cadre de mon doctorat. L'objectif de ma recherche
était de développer un cadre méthodologique basé sur la sémantique
distributionnelle pour l'analyse des relations lexicales à partir de
corpus spécialisés. À cette fin, j'ai évalué des modèles sémantiques
distributionnels au moyen de données de référence que j'ai extraites
de dictionnaires spécialisés. De cette façon, j'ai exploré comment le
choix et le paramétrage optimaux du modèle distributionnel sont
influencés par différents facteurs, tels que le genre de relations
lexicales qu'on souhaite identifier, la langue traitée ou la partie du
discours des requêtes utilisées pour évaluer le modèle.

## Code


* `exp_AD.py` et `exp_W2V.py` : programmes qui construisent des
  modèles distributionnels (analyse distributionnelle et word2vec
  respectivement) et les évaluent sur les données de
  référence. **ATTENTION** : Le programme `exp_AD.py` exige beaucoup
  de mémoire (du moins si le nombre de mots-cibles est élevé).

* `Corpus.py` : module utilisé par `exp_AD.py` et `exp_W2V.py` pour
{'fraction_non_alphanumeric': 0.045454545454545456, 'fraction_numerical': 0.0024793388429752068, 'mean_word_length': 5.239690721649485, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4766078', 'n_tokens_mistral': 800, 'n_tokens_neox': 817, 'n_words': 324}