Определить промпты в config_sentence_transformers.json

#3
by bulatovv - opened

У SentenceTransformers есть функционал для определения формата промптов (Для данной модели это query: и passage: ).
https://www.sbert.net/examples/applications/computing-embeddings/README.html#prompt-templates
Можно обозначить их в конфиге для лучшей интеграции с sentence-transformers. Как дефолтный установить query потому что:

  1. Использование модели без префиксов нежелательно, лучше фаллбэкнуться на какой-то
  2. Это ожидаемое поведение на случай когда пользователь не указывает промпт
deep vk org

Спасибо за комментарий. Эта модель обучалась без добавления каких-либо промптов, в отличие от USER-base. Но в конфиг младшей модели мы добавим инструкции.

Да, я перепутал репозитории двух моделей. Спасибо!

bulatovv changed discussion status to closed

Sign up or log in to comment