huggingshogun
commited on
Commit
•
89f4216
1
Parent(s):
c98c7fd
Initial model upload
Browse files- .gitattributes +1 -0
- 1_Pooling/config.json +10 -0
- README.md +486 -0
- config.json +32 -0
- config_sentence_transformers.json +10 -0
- model.safetensors +3 -0
- modules.json +20 -0
- sentence_bert_config.json +4 -0
- special_tokens_map.json +37 -0
- tokenizer.json +3 -0
- tokenizer_config.json +58 -0
- vocab.txt +0 -0
.gitattributes
CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
|
33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
|
|
|
33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
36 |
+
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
1_Pooling/config.json
ADDED
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"word_embedding_dimension": 768,
|
3 |
+
"pooling_mode_cls_token": false,
|
4 |
+
"pooling_mode_mean_tokens": true,
|
5 |
+
"pooling_mode_max_tokens": false,
|
6 |
+
"pooling_mode_mean_sqrt_len_tokens": false,
|
7 |
+
"pooling_mode_weightedmean_tokens": false,
|
8 |
+
"pooling_mode_lasttoken": false,
|
9 |
+
"include_prompt": true
|
10 |
+
}
|
README.md
ADDED
@@ -0,0 +1,486 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
base_model: sentence-transformers/use-cmlm-multilingual
|
3 |
+
datasets: []
|
4 |
+
language: []
|
5 |
+
library_name: sentence-transformers
|
6 |
+
pipeline_tag: sentence-similarity
|
7 |
+
tags:
|
8 |
+
- sentence-transformers
|
9 |
+
- sentence-similarity
|
10 |
+
- feature-extraction
|
11 |
+
- generated_from_trainer
|
12 |
+
- dataset_size:200000
|
13 |
+
- loss:ContrastiveLoss
|
14 |
+
widget:
|
15 |
+
- source_sentence: 'Сапоги ALEX for me 1: Одежда и обувь, 2: Обувь, 3: Повседневная
|
16 |
+
обувь, 4: Сапоги,Вид каблука: [''Без каблука''], Длина стельки, см: [''27,5''],
|
17 |
+
Российский размер (обуви): [''42''], Пол: [''Женский''], Информация о размерах:
|
18 |
+
[''Задавайте любые вопросы, с удовольствием поможем Вам подобрать подходящий размер.''],
|
19 |
+
Вид застёжки: [''Молния''], Сезон: [''Зима''], Внутренний материал: [''Евромех''],
|
20 |
+
Коллекция: [''Базовая коллекция''], Высота платформы, см: [''3.5''], Тип пронации:
|
21 |
+
[''Нейтральная''], Бренд в одежде и обуви: [''ALEX for me''], Страна бренда: [''Россия''],'
|
22 |
+
sentences:
|
23 |
+
- 'Сапоги ALEX for me 1: Одежда и обувь, 2: Обувь, 3: Повседневная обувь, 4: Сапоги,Вид
|
24 |
+
каблука: [''Без каблука''], Длина стельки, см: [''27''], Российский размер (обуви):
|
25 |
+
[''42''], Пол: [''Женский''], Информация о размерах: [''Задавайте любые вопросы,
|
26 |
+
с удовольствием поможем Вам подобрать подходящий размер.''], Вид застёжки: [''Молния''],
|
27 |
+
Сезон: [''Зима''], Материал: [''Натуральная кожа''], Внутренний материал: [''Натуральный
|
28 |
+
мех''], Коллекция: [''Базовая коллекция''], Высота платформы, см: [''3.5''], Тип
|
29 |
+
пронации: [''Нейтральная''], Бренд в одежде и обуви: [''ALEX for'
|
30 |
+
- '30 700 МЕ/кг, витамин D3 1610 МЕ/кг, витамин Е (ал-рац-альфа-токоферилацетат)
|
31 |
+
72 мг/кг, хлорид холина 1500 мг/кг, селен (селенит натрия 0,27). мг/кг) 0,12 мг/кг,
|
32 |
+
Марганец (моногидрат сульфата марганца 57,7 мг/кг) 18,7 мг/кг, Цинк''], Класс
|
33 |
+
корма: [''Супер-премиум''], Gemon Cat Adult Sterilized (Тунец, лосось)Полноценный
|
34 |
+
корм для стерилизованных взрослых кошек.Состав характеризуется качественными ингредиентами,
|
35 |
+
такими как тунец и лосось, источниками необходимых питательных веществ, и рисом,
|
36 |
+
источником углеводов, приготовленных и легко усвояемых в процессе экструзии. Идеальная'
|
37 |
+
- 'Материал подклада/внутренней отделки: [''Хлопок''], Стиль: [''Коктейльный'',
|
38 |
+
''Повседневное''], Коллекция: [''Осень-зима 2023''], Рост модели на фото: [''180
|
39 |
+
см''], Декоративные элементы: [''Карманы''], Размер на модели: [''58''], Состав
|
40 |
+
материала: [''72,1 % хлопок, 20,6 % полиэфирное волокно, 5,0 % вискозное волокно,
|
41 |
+
2,3 % нейлон''], Рисунок: [''Однотонный''], Размер производителя: [''S''], Бренд
|
42 |
+
в одежде и обуви: [''CCONCOSS''], Стиль: Уличный, Модный, Повседневный<br/><br/>стиль:
|
43 |
+
длинный<br/><br/>Тип брюк: прямые<br/><br/>Тип талии: средняя талия<br/><br/>Талия:
|
44 |
+
ширинка на шнурке<br/><br/>Название ткани: джинсовая ткань<br/><br/>Состав ткани:
|
45 |
+
72,1 % хлопок,'
|
46 |
+
- source_sentence: 'STEVIOSIDE, CAMELLIA SINENSIS LEAF EXTRACT, ROSMARINUS OFFICINALIS
|
47 |
+
(ROSEMARY) EXTRACT, ROYAL JELLY EXTRACT, DAUCUS CAROTA SATIVA (CARROT) ROOT EXTRACT,
|
48 |
+
SALVIA OFFICINALIS (SAGE) EXTRACT, CHAMOMILLA RECUTITA (MATRICARIA) EXTRACT, CALENDULA
|
49 |
+
OFFICINALIS EXTRACT, PUNICA GRANATUM FRUIT EXTRACT, TOCOPHERYL ACETATE, FRAGRANCE,
|
50 |
+
LIMONENE''], Объем, мл: [''450''], Бренд: [''Kundal''], Тип: [''Набор зубных паст''],
|
51 |
+
Страна-изготовитель: [''Корея''], Название аромата: [''освежающая мята''], Особенности
|
52 |
+
состава: [''Без парабенов'', ''Не тестируется на животных'', ''Подходит для ежедневного
|
53 |
+
применения''], Действие: [''Комплексный уход'', ''Отбеливание'', ''Против неприятного'
|
54 |
+
sentences:
|
55 |
+
- (ND) (2004-2015)</p>"
|
56 |
+
- 'семян: [''райграс, овсянница, мятлик''], Жизненный цикл: [''Многолетник''], Время
|
57 |
+
урожая: [''Апрель''], Семена газонной травы<br/><br/>Травосмесь для солнечных
|
58 |
+
и неравномерно освещенных участков.<br/><br/>Универсальная травосмесь с высокой
|
59 |
+
декоративностью.<br/><br/>Подходит для создания газонов на детских площадках,
|
60 |
+
около частных домов, на открытых лужайках в парках.<br/><br/>Газонная трава быстро
|
61 |
+
развивается после посева, формирует густой и прочный травостой.<br/><br/>Обладает
|
62 |
+
устойчивостью к вытаптыванию и повышенной засухоустойчивостью.<br/><br/>Медленно
|
63 |
+
отрастает после скашивания.<br/><br/>Норма высева: 30-35 г/м2.<br/><br/>Состав:<br/><br/>-
|
64 |
+
овсяница тростниковая Старлетт 40%<br/><br/>- овсяница красная Мистик 20%<br/><br/>-
|
65 |
+
мятлик луговой Компакт'
|
66 |
+
- 'STEVIOSIDE, SODIUM CHLORIDE, CAMELLIA SINENSIS LEAF EXTRACT, ROSMARINUS OFFICINALIS
|
67 |
+
(ROSEMARY) EXTRACT, ROYAL JELLY EXTRACT, DAUCUS CAROTA SATIVA (CARROT) ROOT EXTRACT,
|
68 |
+
SALVIA OFFICINALIS (SAGE) EXTRACT, CHAMOMILLA RECUTITA (MATRICARIA) EXTRACT, CALENDULA
|
69 |
+
OFFICINALIS EXTRACT, PUNICA GRANATUM FRUIT EXTRACT, TOCOPHERYL ACETATE, MENTHOL,
|
70 |
+
FRAGRANCE, CITRAL, LIMONENE''], Объем, мл: [''450''], Бренд: [''Kundal''], Тип:
|
71 |
+
[''Набор зубных паст''], Страна-изготовитель: [''Корея''], Название аромата: [''лимонная
|
72 |
+
соль''], Особенности состава: [''Без парабенов'', ''Не тестируется на животных'',
|
73 |
+
''Подходит для ежедневного применения''], Вес, г:'
|
74 |
+
- source_sentence: этот прекрасный компьютерный стол "Stalker" от Stalkermebel, который
|
75 |
+
станет отличным дополнением для вашего домашнего офиса или игровой комнаты. И
|
76 |
+
если вам нужен письменный стол, который бы сочетал в себе элегантный дизайн и
|
77 |
+
практичность, то обратите внимание на другие изделия нашей компании. <br/>
|
78 |
+
sentences:
|
79 |
+
- этот прекрасный компьютерный стол "Stalker" от Stalkermebel, который станет отличным
|
80 |
+
дополнением для вашего домашнего офиса или игровой комнаты. И если вам нужен письменный
|
81 |
+
стол, который бы сочетал в себе элегантный дизайн и практичность, то обратите
|
82 |
+
внимание на другие изделия нашей компании. <br/>
|
83 |
+
- 'Поводок-рулетка для собак Ferplast Amigo Mini со сменной крышкой корпуса (бежево-фиолетовая,
|
84 |
+
шнур) 3 м./до 12 кг. 1: EPG, 2: Товары для животных, 3: Аксессуар для прогулки
|
85 |
+
и дрессировки, 4: Поводок,Артикул: [''75700019''], Комплектация: [''Товар в фабричной
|
86 |
+
упаковке''], Размер упаковки (Длина х Ширина х Высота), см: [''25х 10''], Размер
|
87 |
+
животного: [''Малый'', ''Средний''], Бренд: [''FERPLAST''], Тип: [''Поводок''],
|
88 |
+
Материал: [''ABS пластик''], Вид поводка: [''Рулетка''], Предназначено для: [''Для
|
89 |
+
кошек'', ''Для собак''], Размеры, мм: [''25х 10''],'
|
90 |
+
- 'Вес товара, г: [''15''], Леденец Цифра 3 из изомальта Mon Realle 15г Россия -
|
91 |
+
1 шт.'
|
92 |
+
- source_sentence: 'Магнитный конструктор/Детский конструктор "Цветные магниты", 17
|
93 |
+
деталей 1: EPG, 2: Детские товары, 3: Конструкторы, 4: Магнитный конструктор,Цвет
|
94 |
+
товара: [''разноцветный''], Пол ребенка: [''Унисекс''], Название цвета: [''разноцветный''],
|
95 |
+
Бре��д: [''ANGE DE LUNE''], Тип: [''Конструктор магнитный''], Страна-изготовитель:
|
96 |
+
[''Китай''], Минимальный возраст ребенка: [''От 1 года''], Материал: [''Магнит'',
|
97 |
+
''Пластик''], Максимальный возраст ребенка: [''До 5 лет''], Почувствуйте силу
|
98 |
+
притяжения! Представляем вашему вниманию конструктор нового поколения, который
|
99 |
+
будет интересен не только детям, но и их родителям. Магнитный конструктор'
|
100 |
+
sentences:
|
101 |
+
- 'учитывать уровень активности ребенка.<br/><br/>Инструкция по уходу: Перед стиркой
|
102 |
+
необходимо отстегнуть мех! Очень деликатная стирка при макс. 30°C; Не отбеливать;
|
103 |
+
Не сушить в сушильной машине; Гладить при макс. 110 °C без пара; Деликатная химчистка
|
104 |
+
в тетрахлорэтене или в углеводородах; Очень деликатная профессиональная влажная
|
105 |
+
чистка; Сушить на горизонтальной поверхности в тени; Стирать отдельно; Гладить
|
106 |
+
с использованием ткани для глажения; Рекомендуется стирка и утюжка с изнаночной
|
107 |
+
стороны.<br/><br/>ЗАЩИТИТЬ ФУРНИТУРУ ПЕРЕД СТИРКОЙ'
|
108 |
+
- 'Конструктор магнитный Цветные магниты, 17 деталей 1: EPG, 2: Детские товары,
|
109 |
+
3: Конструкторы, 4: Магнитный конструктор,Цвет товара: [''разноцветный''], Пол
|
110 |
+
ребенка: [''Унисекс''], Тематика конструкторов: [''Фантазия без границ''], Количество
|
111 |
+
элементов, шт: [''17''], Бренд: [''CUBU''], Тип: [''Конструктор магнитный''],
|
112 |
+
Страна-изготовитель: [''Китай''], Особенности конструктора: [''Магнитный''], Минимальный
|
113 |
+
возраст ребенка: [''От 3 лет''], Материал: [''Металл'', ''Пластик''], Максимальный
|
114 |
+
возраст ребенка: [''До 18 лет''], Почувствуйте силу притяжения!Представляем вашему
|
115 |
+
вниманию конструктор нового поколения, который будет интересен не только детям,
|
116 |
+
но'
|
117 |
+
- '''Коридор'', ''Мансарда'', ''Мастер-спальня'', ''Офис'', ''Прихожая'', ''Спальня'',
|
118 |
+
''Студия'', ''Студия-кухня'', ''Терраса'', ''Торговый зал'', ''Холл''], Материал
|
119 |
+
чехла: [''Жаккард''], Материал наполнителя: [''Memory Foam'', ''Меморикс'', ''Пена
|
120 |
+
Memory Gel''], Бренд: [''SLEEP A LOT''], Особенности матраса: [''Гипоаллергенный
|
121 |
+
наполнитель'', ''Зоны комфорта'', ''Стеганое покрытие'', ''Съемный чехол'', ''Эффект
|
122 |
+
памяти''], Длина, см: [''170''], Минимальная жесткость: [''Мягкий''], Максимальная
|
123 |
+
жесткость: [''Мягкий''], Высота, см: [''4''], Вид выпуска товара: [''Фабричное
|
124 |
+
производство''], Ширина, см: [''135''], Вес товара, г: [''5000''], Топпер GARRETT
|
125 |
+
Aydon — это отличная модель'
|
126 |
+
- source_sentence: 'флексов: [''Да''], Пол: [''Женский''], Коллекция (год): [''2022.0''],
|
127 |
+
Общая ширина, мм: [''142''], Цвет товара: [''бежевый''], Ширина линзы, мм: [''53''],
|
128 |
+
Название цвета: [''BEIGE & CRYSTAL''], Высота линзы, мм: [''52''], Размер заушника,
|
129 |
+
мм: [''148''], Бренд: [''Boccaccio''], Оптическая сила: [''0.00''], Размер моста
|
130 |
+
на переносице, мм: [''20''], Форма лица: [''Квадратная'', ''Круглая'', ''Овальная'',
|
131 |
+
''Прямоугольная'', ''Треугольная''], Покрытие линз: [''Упрочняющее, просветляющее,
|
132 |
+
металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее
|
133 |
+
и антистатическое''], Расстояние между оптическими центрами: [''62-64''], Форма
|
134 |
+
оправы: [''Круглая''],'
|
135 |
+
sentences:
|
136 |
+
- Изначально сборка паяется с разъёмом SMA-male, после чего интегрируется (накручивается,
|
137 |
+
конечно) переходник с SMA-female на запрашиваемый. Сборка поставляется вместе
|
138 |
+
с переходником (или даже с двумя, если оба разъема попадают под данную ремарку).<br>
|
139 |
+
О кабеле:<br> Кабель имеет толщину примерно 7,58 миллиметров, сборка создана на
|
140 |
+
кабеле 5D-FB CCA 50 Ом, материал оболочки - PVC. Диаметр центральной жилы - 1.8
|
141 |
+
мм, диаметр изоляции (не кабеля) - 4.9 мм, материал изоляции - вспененный полиэтилен,
|
142 |
+
- 'Радиоуправляемый краулер Huang Bo 4WD RTR масштаб 1:10 2.4G - HB-ZP1005 1: EPG,
|
143 |
+
2: Детские товары, 3: Радиоуправляемые игрушки, 4: Машинка радиоуправляемая,Радиус
|
144 |
+
действия, м: [''60''], Пол ребенка: [''Мальчик''], Время работы, мин: [''20''],
|
145 |
+
Максимальная скорость, км/ч: [''15''], Тип: [''Машинка радиоуправляемая''], Страна-изготовитель:
|
146 |
+
[''Китай''], Питание радиоуправляемой модели: [''Сменная батарея''], Типоразмер
|
147 |
+
батареек пульта: [''AA''], Управление радиоуправляемой моделью: [''Пульт Д/У''],
|
148 |
+
Питание пульта: [''Сменная батарея''], Цвет товара: [''желтый''], Масштаб радиоуправляемой
|
149 |
+
игрушки: [''1/10''], Особенности радиоуправляемых игрушек: [''Световые'
|
150 |
+
- 'флексов: [''Да''], Пол: [''Женский''], Коллекция (год): [''2022.0''], Общая ширина,
|
151 |
+
мм: [''142''], Цвет товара: [''бежевый''], Ширина линзы, мм: [''53''], Название
|
152 |
+
цвета: [''BEIGE & CRYSTAL''], Высота линзы, мм: [''52''], Размер заушника, мм:
|
153 |
+
[''148''], Бренд: [''Boccaccio''], Оптическая сила: [''-1.00''], Размер моста
|
154 |
+
на переносице, мм: [''20''], Форма лица: [''Квадратная'', ''Круглая'', ''Овальная'',
|
155 |
+
''Прямоугольная'', ''Треугольная''], Покрытие линз: [''Упрочняющее, просветляющее,
|
156 |
+
металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее
|
157 |
+
и антистатическое''], Расстояние между оптическими центрами: [''62-64''], Форма
|
158 |
+
оправы: [''Круглая''],'
|
159 |
+
---
|
160 |
+
|
161 |
+
# SentenceTransformer based on sentence-transformers/use-cmlm-multilingual
|
162 |
+
|
163 |
+
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/use-cmlm-multilingual](https://huggingface.co/sentence-transformers/use-cmlm-multilingual). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
164 |
+
|
165 |
+
## Model Details
|
166 |
+
|
167 |
+
### Model Description
|
168 |
+
- **Model Type:** Sentence Transformer
|
169 |
+
- **Base model:** [sentence-transformers/use-cmlm-multilingual](https://huggingface.co/sentence-transformers/use-cmlm-multilingual) <!-- at revision 6f8ff6583c371cbc4d6d3b93a5e37a888fd54574 -->
|
170 |
+
- **Maximum Sequence Length:** 256 tokens
|
171 |
+
- **Output Dimensionality:** 768 tokens
|
172 |
+
- **Similarity Function:** Cosine Similarity
|
173 |
+
<!-- - **Training Dataset:** Unknown -->
|
174 |
+
<!-- - **Language:** Unknown -->
|
175 |
+
<!-- - **License:** Unknown -->
|
176 |
+
|
177 |
+
### Model Sources
|
178 |
+
|
179 |
+
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
|
180 |
+
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
|
181 |
+
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
|
182 |
+
|
183 |
+
### Full Model Architecture
|
184 |
+
|
185 |
+
```
|
186 |
+
SentenceTransformer(
|
187 |
+
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel
|
188 |
+
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
|
189 |
+
(2): Normalize()
|
190 |
+
)
|
191 |
+
```
|
192 |
+
|
193 |
+
## Usage
|
194 |
+
|
195 |
+
### Direct Usage (Sentence Transformers)
|
196 |
+
|
197 |
+
First install the Sentence Transformers library:
|
198 |
+
|
199 |
+
```bash
|
200 |
+
pip install -U sentence-transformers
|
201 |
+
```
|
202 |
+
|
203 |
+
Then you can load this model and run inference.
|
204 |
+
```python
|
205 |
+
from sentence_transformers import SentenceTransformer
|
206 |
+
|
207 |
+
# Download from the 🤗 Hub
|
208 |
+
model = SentenceTransformer("sentence_transformers_model_id")
|
209 |
+
# Run inference
|
210 |
+
sentences = [
|
211 |
+
"флексов: ['Да'], Пол: ['Женский'], Коллекция (год): ['2022.0'], Общая ширина, мм: ['142'], Цвет товара: ['бежевый'], Ширина линзы, мм: ['53'], Название цвета: ['BEIGE & CRYSTAL'], Высота линзы, мм: ['52'], Размер заушника, мм: ['148'], Бренд: ['Boccaccio'], Оптическая сила: ['0.00'], Размер моста на переносице, мм: ['20'], Форма лица: ['Квадратная', 'Круглая', 'Овальная', 'Прямоугольная', 'Треугольная'], Покрытие линз: ['Упрочняющее, просветляющее, металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее и антистатическое'], Расстояние между оптическими центрами: ['62-64'], Форма оправы: ['Круглая'],",
|
212 |
+
"флексов: ['Да'], Пол: ['Женский'], Коллекция (год): ['2022.0'], Общая ширина, мм: ['142'], Цвет товара: ['бежевый'], Ширина линзы, мм: ['53'], Название цвета: ['BEIGE & CRYSTAL'], Высота линзы, мм: ['52'], Размер заушника, мм: ['148'], Бренд: ['Boccaccio'], Оптическая сила: ['-1.00'], Размер моста на переносице, мм: ['20'], Форма лица: ['Квадратная', 'Круглая', 'Овальная', 'Прямоугольная', 'Треугольная'], Покрытие линз: ['Упрочняющее, просветляющее, металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее и антистатическое'], Расстояние между оптическими центрами: ['62-64'], Форма оправы: ['Круглая'],",
|
213 |
+
'Изначально сборка паяется с разъёмом SMA-male, после чего интегрируется (накручивается, конечно) переходник с SMA-female на запрашиваемый. Сборка поставляется вместе с переходником (или даже с двумя, если оба разъема попадают под данную ремарку).<br> О кабеле:<br> Кабель имеет толщину примерно 7,58 миллиметров, сборка создана на кабеле 5D-FB CCA 50 Ом, материал оболочки - PVC. Диаметр центральной жилы - 1.8 мм, диаметр изоляции (не кабеля) - 4.9 мм, материал изоляции - вспененный полиэтилен,',
|
214 |
+
]
|
215 |
+
embeddings = model.encode(sentences)
|
216 |
+
print(embeddings.shape)
|
217 |
+
# [3, 768]
|
218 |
+
|
219 |
+
# Get the similarity scores for the embeddings
|
220 |
+
similarities = model.similarity(embeddings, embeddings)
|
221 |
+
print(similarities.shape)
|
222 |
+
# [3, 3]
|
223 |
+
```
|
224 |
+
|
225 |
+
<!--
|
226 |
+
### Direct Usage (Transformers)
|
227 |
+
|
228 |
+
<details><summary>Click to see the direct usage in Transformers</summary>
|
229 |
+
|
230 |
+
</details>
|
231 |
+
-->
|
232 |
+
|
233 |
+
<!--
|
234 |
+
### Downstream Usage (Sentence Transformers)
|
235 |
+
|
236 |
+
You can finetune this model on your own dataset.
|
237 |
+
|
238 |
+
<details><summary>Click to expand</summary>
|
239 |
+
|
240 |
+
</details>
|
241 |
+
-->
|
242 |
+
|
243 |
+
<!--
|
244 |
+
### Out-of-Scope Use
|
245 |
+
|
246 |
+
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
|
247 |
+
-->
|
248 |
+
|
249 |
+
<!--
|
250 |
+
## Bias, Risks and Limitations
|
251 |
+
|
252 |
+
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
|
253 |
+
-->
|
254 |
+
|
255 |
+
<!--
|
256 |
+
### Recommendations
|
257 |
+
|
258 |
+
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
|
259 |
+
-->
|
260 |
+
|
261 |
+
## Training Details
|
262 |
+
|
263 |
+
### Training Dataset
|
264 |
+
|
265 |
+
#### Unnamed Dataset
|
266 |
+
|
267 |
+
|
268 |
+
* Size: 200,000 training samples
|
269 |
+
* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
|
270 |
+
* Approximate statistics based on the first 1000 samples:
|
271 |
+
| | sentence_0 | sentence_1 | label |
|
272 |
+
|:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------|
|
273 |
+
| type | string | string | int |
|
274 |
+
| details | <ul><li>min: 3 tokens</li><li>mean: 155.76 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 153.29 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>0: ~55.40%</li><li>1: ~44.60%</li></ul> |
|
275 |
+
* Samples:
|
276 |
+
| sentence_0 | sentence_1 | label |
|
277 |
+
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------|
|
278 |
+
| <code>Удилище с катушкой в комплекте - леска, поплавок, грузило 1: EPG, 2: Спорт и отдых, 3: Аксессуары и принадлежности для рыбалки, 4: Удилище,Количество колец: ['7'], Материал удилища: ['Карбон'], Бренд: ['Нет бренда'], Тип: ['Удилище с катушкой'], Рабочая длина, см: ['370'], Конструкция удилища: ['Телескопическая'], Длина в сложенном виде, см: ['65'], Вершинка удилища: ['Вклеенная монолитная (solid tip)'], Количество секций: ['7'], Длина рукояти, см: ['40'], Вес товара, г: ['460'], Удочка (удилище) - удобная и</code> | <code>Удилище с катушкой в комплекте - леска, поплавок, грузило, 200 см 1: EPG, 2: Спорт и отдых, 3: Аксессуары и принадлежности для рыбалки, 4: Удилище,Количество колец: ['4'], Материал удилища: ['Карбон'], Бренд: ['Нет бренда'], Тип: ['Удилище с катушкой'], Рабочая длина, см: ['200'], Конструкция удилища: ['Телескопическая'], Длина в сложенном виде, см: ['45'], Вершинка удилища: ['Вклеенная монолитная (solid tip)'], Количество секций: ['4'], Длина рукояти, см: ['28'], Вес товара, г: ['270'], Удочка (удилище) -</code> | <code>0</code> |
|
279 |
+
| <code>['Мягкая обложка'], Язык издания: ['Русский'], Предмет обучения: ['История'], <p>Атлас предназначен для углубления знаний учащихся по курсу Новой истории. Картографический материал, включенный в атлас, соответствует Государственному образовательному стандарту. </p> <p>Атлас может быть использован в комплекте с основными учебниками по Новой истории как на уроках, так и во внеурочной деятельности. Он содержит богатый материал для самостоятельной работы, дает возможность проверить знания школьников и расширить их кругозор. </p></code> | <code>любителей занимаются приусадебным хозяйством и получают от этого неплохую прибыль.<br>В этой книге собраны материалы, необходимые современному дачнику. Постройка садового домика, уход за садом и огородом, основы интенсивного животноводства - об этом и о многом другом читайте на страницах издания.<br><br>Издание адресовано широкому кругу читателей.</code> | <code>0</code> |
|
280 |
+
| <code>комод деревянный также на кухне для посуды.</code> | <code>деревянный также на кухне для посуды.</code> | <code>0</code> |
|
281 |
+
* Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
|
282 |
+
```json
|
283 |
+
{
|
284 |
+
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
|
285 |
+
"margin": 0.5,
|
286 |
+
"size_average": true
|
287 |
+
}
|
288 |
+
```
|
289 |
+
|
290 |
+
### Training Hyperparameters
|
291 |
+
#### Non-Default Hyperparameters
|
292 |
+
|
293 |
+
- `per_device_train_batch_size`: 40
|
294 |
+
- `per_device_eval_batch_size`: 40
|
295 |
+
- `num_train_epochs`: 1
|
296 |
+
- `multi_dataset_batch_sampler`: round_robin
|
297 |
+
|
298 |
+
#### All Hyperparameters
|
299 |
+
<details><summary>Click to expand</summary>
|
300 |
+
|
301 |
+
- `overwrite_output_dir`: False
|
302 |
+
- `do_predict`: False
|
303 |
+
- `eval_strategy`: no
|
304 |
+
- `prediction_loss_only`: True
|
305 |
+
- `per_device_train_batch_size`: 40
|
306 |
+
- `per_device_eval_batch_size`: 40
|
307 |
+
- `per_gpu_train_batch_size`: None
|
308 |
+
- `per_gpu_eval_batch_size`: None
|
309 |
+
- `gradient_accumulation_steps`: 1
|
310 |
+
- `eval_accumulation_steps`: None
|
311 |
+
- `torch_empty_cache_steps`: None
|
312 |
+
- `learning_rate`: 5e-05
|
313 |
+
- `weight_decay`: 0.0
|
314 |
+
- `adam_beta1`: 0.9
|
315 |
+
- `adam_beta2`: 0.999
|
316 |
+
- `adam_epsilon`: 1e-08
|
317 |
+
- `max_grad_norm`: 1
|
318 |
+
- `num_train_epochs`: 1
|
319 |
+
- `max_steps`: -1
|
320 |
+
- `lr_scheduler_type`: linear
|
321 |
+
- `lr_scheduler_kwargs`: {}
|
322 |
+
- `warmup_ratio`: 0.0
|
323 |
+
- `warmup_steps`: 0
|
324 |
+
- `log_level`: passive
|
325 |
+
- `log_level_replica`: warning
|
326 |
+
- `log_on_each_node`: True
|
327 |
+
- `logging_nan_inf_filter`: True
|
328 |
+
- `save_safetensors`: True
|
329 |
+
- `save_on_each_node`: False
|
330 |
+
- `save_only_model`: False
|
331 |
+
- `restore_callback_states_from_checkpoint`: False
|
332 |
+
- `no_cuda`: False
|
333 |
+
- `use_cpu`: False
|
334 |
+
- `use_mps_device`: False
|
335 |
+
- `seed`: 42
|
336 |
+
- `data_seed`: None
|
337 |
+
- `jit_mode_eval`: False
|
338 |
+
- `use_ipex`: False
|
339 |
+
- `bf16`: False
|
340 |
+
- `fp16`: False
|
341 |
+
- `fp16_opt_level`: O1
|
342 |
+
- `half_precision_backend`: auto
|
343 |
+
- `bf16_full_eval`: False
|
344 |
+
- `fp16_full_eval`: False
|
345 |
+
- `tf32`: None
|
346 |
+
- `local_rank`: 0
|
347 |
+
- `ddp_backend`: None
|
348 |
+
- `tpu_num_cores`: None
|
349 |
+
- `tpu_metrics_debug`: False
|
350 |
+
- `debug`: []
|
351 |
+
- `dataloader_drop_last`: False
|
352 |
+
- `dataloader_num_workers`: 0
|
353 |
+
- `dataloader_prefetch_factor`: None
|
354 |
+
- `past_index`: -1
|
355 |
+
- `disable_tqdm`: False
|
356 |
+
- `remove_unused_columns`: True
|
357 |
+
- `label_names`: None
|
358 |
+
- `load_best_model_at_end`: False
|
359 |
+
- `ignore_data_skip`: False
|
360 |
+
- `fsdp`: []
|
361 |
+
- `fsdp_min_num_params`: 0
|
362 |
+
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
|
363 |
+
- `fsdp_transformer_layer_cls_to_wrap`: None
|
364 |
+
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
|
365 |
+
- `deepspeed`: None
|
366 |
+
- `label_smoothing_factor`: 0.0
|
367 |
+
- `optim`: adamw_torch
|
368 |
+
- `optim_args`: None
|
369 |
+
- `adafactor`: False
|
370 |
+
- `group_by_length`: False
|
371 |
+
- `length_column_name`: length
|
372 |
+
- `ddp_find_unused_parameters`: None
|
373 |
+
- `ddp_bucket_cap_mb`: None
|
374 |
+
- `ddp_broadcast_buffers`: False
|
375 |
+
- `dataloader_pin_memory`: True
|
376 |
+
- `dataloader_persistent_workers`: False
|
377 |
+
- `skip_memory_metrics`: True
|
378 |
+
- `use_legacy_prediction_loop`: False
|
379 |
+
- `push_to_hub`: False
|
380 |
+
- `resume_from_checkpoint`: None
|
381 |
+
- `hub_model_id`: None
|
382 |
+
- `hub_strategy`: every_save
|
383 |
+
- `hub_private_repo`: False
|
384 |
+
- `hub_always_push`: False
|
385 |
+
- `gradient_checkpointing`: False
|
386 |
+
- `gradient_checkpointing_kwargs`: None
|
387 |
+
- `include_inputs_for_metrics`: False
|
388 |
+
- `eval_do_concat_batches`: True
|
389 |
+
- `fp16_backend`: auto
|
390 |
+
- `push_to_hub_model_id`: None
|
391 |
+
- `push_to_hub_organization`: None
|
392 |
+
- `mp_parameters`:
|
393 |
+
- `auto_find_batch_size`: False
|
394 |
+
- `full_determinism`: False
|
395 |
+
- `torchdynamo`: None
|
396 |
+
- `ray_scope`: last
|
397 |
+
- `ddp_timeout`: 1800
|
398 |
+
- `torch_compile`: False
|
399 |
+
- `torch_compile_backend`: None
|
400 |
+
- `torch_compile_mode`: None
|
401 |
+
- `dispatch_batches`: None
|
402 |
+
- `split_batches`: None
|
403 |
+
- `include_tokens_per_second`: False
|
404 |
+
- `include_num_input_tokens_seen`: False
|
405 |
+
- `neftune_noise_alpha`: None
|
406 |
+
- `optim_target_modules`: None
|
407 |
+
- `batch_eval_metrics`: False
|
408 |
+
- `eval_on_start`: False
|
409 |
+
- `eval_use_gather_object`: False
|
410 |
+
- `batch_sampler`: batch_sampler
|
411 |
+
- `multi_dataset_batch_sampler`: round_robin
|
412 |
+
|
413 |
+
</details>
|
414 |
+
|
415 |
+
### Training Logs
|
416 |
+
| Epoch | Step | Training Loss |
|
417 |
+
|:-----:|:----:|:-------------:|
|
418 |
+
| 0.1 | 500 | 0.0449 |
|
419 |
+
| 0.2 | 1000 | 0.0356 |
|
420 |
+
| 0.3 | 1500 | 0.0328 |
|
421 |
+
| 0.4 | 2000 | 0.0311 |
|
422 |
+
| 0.5 | 2500 | 0.0304 |
|
423 |
+
| 0.6 | 3000 | 0.0302 |
|
424 |
+
| 0.7 | 3500 | 0.0293 |
|
425 |
+
| 0.8 | 4000 | 0.029 |
|
426 |
+
| 0.9 | 4500 | 0.0292 |
|
427 |
+
| 1.0 | 5000 | 0.0287 |
|
428 |
+
|
429 |
+
|
430 |
+
### Framework Versions
|
431 |
+
- Python: 3.10.14
|
432 |
+
- Sentence Transformers: 3.0.1
|
433 |
+
- Transformers: 4.44.0
|
434 |
+
- PyTorch: 2.4.0
|
435 |
+
- Accelerate: 0.33.0
|
436 |
+
- Datasets: 2.21.0
|
437 |
+
- Tokenizers: 0.19.1
|
438 |
+
|
439 |
+
## Citation
|
440 |
+
|
441 |
+
### BibTeX
|
442 |
+
|
443 |
+
#### Sentence Transformers
|
444 |
+
```bibtex
|
445 |
+
@inproceedings{reimers-2019-sentence-bert,
|
446 |
+
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
|
447 |
+
author = "Reimers, Nils and Gurevych, Iryna",
|
448 |
+
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
|
449 |
+
month = "11",
|
450 |
+
year = "2019",
|
451 |
+
publisher = "Association for Computational Linguistics",
|
452 |
+
url = "https://arxiv.org/abs/1908.10084",
|
453 |
+
}
|
454 |
+
```
|
455 |
+
|
456 |
+
#### ContrastiveLoss
|
457 |
+
```bibtex
|
458 |
+
@inproceedings{hadsell2006dimensionality,
|
459 |
+
author={Hadsell, R. and Chopra, S. and LeCun, Y.},
|
460 |
+
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
|
461 |
+
title={Dimensionality Reduction by Learning an Invariant Mapping},
|
462 |
+
year={2006},
|
463 |
+
volume={2},
|
464 |
+
number={},
|
465 |
+
pages={1735-1742},
|
466 |
+
doi={10.1109/CVPR.2006.100}
|
467 |
+
}
|
468 |
+
```
|
469 |
+
|
470 |
+
<!--
|
471 |
+
## Glossary
|
472 |
+
|
473 |
+
*Clearly define terms in order to be accessible across audiences.*
|
474 |
+
-->
|
475 |
+
|
476 |
+
<!--
|
477 |
+
## Model Card Authors
|
478 |
+
|
479 |
+
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
|
480 |
+
-->
|
481 |
+
|
482 |
+
<!--
|
483 |
+
## Model Card Contact
|
484 |
+
|
485 |
+
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
|
486 |
+
-->
|
config.json
ADDED
@@ -0,0 +1,32 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"_name_or_path": "sentence-transformers/use-cmlm-multilingual",
|
3 |
+
"architectures": [
|
4 |
+
"BertModel"
|
5 |
+
],
|
6 |
+
"attention_probs_dropout_prob": 0.1,
|
7 |
+
"classifier_dropout": null,
|
8 |
+
"directionality": "bidi",
|
9 |
+
"gradient_checkpointing": false,
|
10 |
+
"hidden_act": "gelu",
|
11 |
+
"hidden_dropout_prob": 0.1,
|
12 |
+
"hidden_size": 768,
|
13 |
+
"initializer_range": 0.02,
|
14 |
+
"intermediate_size": 3072,
|
15 |
+
"layer_norm_eps": 1e-12,
|
16 |
+
"max_position_embeddings": 512,
|
17 |
+
"model_type": "bert",
|
18 |
+
"num_attention_heads": 12,
|
19 |
+
"num_hidden_layers": 12,
|
20 |
+
"pad_token_id": 0,
|
21 |
+
"pooler_fc_size": 768,
|
22 |
+
"pooler_num_attention_heads": 12,
|
23 |
+
"pooler_num_fc_layers": 3,
|
24 |
+
"pooler_size_per_head": 128,
|
25 |
+
"pooler_type": "first_token_transform",
|
26 |
+
"position_embedding_type": "absolute",
|
27 |
+
"torch_dtype": "float32",
|
28 |
+
"transformers_version": "4.44.0",
|
29 |
+
"type_vocab_size": 2,
|
30 |
+
"use_cache": true,
|
31 |
+
"vocab_size": 501153
|
32 |
+
}
|
config_sentence_transformers.json
ADDED
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"__version__": {
|
3 |
+
"sentence_transformers": "3.0.1",
|
4 |
+
"transformers": "4.44.0",
|
5 |
+
"pytorch": "2.4.0"
|
6 |
+
},
|
7 |
+
"prompts": {},
|
8 |
+
"default_prompt_name": null,
|
9 |
+
"similarity_fn_name": null
|
10 |
+
}
|
model.safetensors
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:4cd6a4cf7329e8a081dc25fc38891ba01e9bd7ff74623527f71def8fd2f72f26
|
3 |
+
size 1883730160
|
modules.json
ADDED
@@ -0,0 +1,20 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
[
|
2 |
+
{
|
3 |
+
"idx": 0,
|
4 |
+
"name": "0",
|
5 |
+
"path": "",
|
6 |
+
"type": "sentence_transformers.models.Transformer"
|
7 |
+
},
|
8 |
+
{
|
9 |
+
"idx": 1,
|
10 |
+
"name": "1",
|
11 |
+
"path": "1_Pooling",
|
12 |
+
"type": "sentence_transformers.models.Pooling"
|
13 |
+
},
|
14 |
+
{
|
15 |
+
"idx": 2,
|
16 |
+
"name": "2",
|
17 |
+
"path": "2_Normalize",
|
18 |
+
"type": "sentence_transformers.models.Normalize"
|
19 |
+
}
|
20 |
+
]
|
sentence_bert_config.json
ADDED
@@ -0,0 +1,4 @@
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"max_seq_length": 256,
|
3 |
+
"do_lower_case": false
|
4 |
+
}
|
special_tokens_map.json
ADDED
@@ -0,0 +1,37 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"cls_token": {
|
3 |
+
"content": "[CLS]",
|
4 |
+
"lstrip": false,
|
5 |
+
"normalized": false,
|
6 |
+
"rstrip": false,
|
7 |
+
"single_word": false
|
8 |
+
},
|
9 |
+
"mask_token": {
|
10 |
+
"content": "[MASK]",
|
11 |
+
"lstrip": false,
|
12 |
+
"normalized": false,
|
13 |
+
"rstrip": false,
|
14 |
+
"single_word": false
|
15 |
+
},
|
16 |
+
"pad_token": {
|
17 |
+
"content": "[PAD]",
|
18 |
+
"lstrip": false,
|
19 |
+
"normalized": false,
|
20 |
+
"rstrip": false,
|
21 |
+
"single_word": false
|
22 |
+
},
|
23 |
+
"sep_token": {
|
24 |
+
"content": "[SEP]",
|
25 |
+
"lstrip": false,
|
26 |
+
"normalized": false,
|
27 |
+
"rstrip": false,
|
28 |
+
"single_word": false
|
29 |
+
},
|
30 |
+
"unk_token": {
|
31 |
+
"content": "[UNK]",
|
32 |
+
"lstrip": false,
|
33 |
+
"normalized": false,
|
34 |
+
"rstrip": false,
|
35 |
+
"single_word": false
|
36 |
+
}
|
37 |
+
}
|
tokenizer.json
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:92262b29204f8fdc169a63f9005a0e311a16262cef4d96ecfe2a7ed638662ed3
|
3 |
+
size 13632172
|
tokenizer_config.json
ADDED
@@ -0,0 +1,58 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"added_tokens_decoder": {
|
3 |
+
"0": {
|
4 |
+
"content": "[PAD]",
|
5 |
+
"lstrip": false,
|
6 |
+
"normalized": false,
|
7 |
+
"rstrip": false,
|
8 |
+
"single_word": false,
|
9 |
+
"special": true
|
10 |
+
},
|
11 |
+
"100": {
|
12 |
+
"content": "[UNK]",
|
13 |
+
"lstrip": false,
|
14 |
+
"normalized": false,
|
15 |
+
"rstrip": false,
|
16 |
+
"single_word": false,
|
17 |
+
"special": true
|
18 |
+
},
|
19 |
+
"101": {
|
20 |
+
"content": "[CLS]",
|
21 |
+
"lstrip": false,
|
22 |
+
"normalized": false,
|
23 |
+
"rstrip": false,
|
24 |
+
"single_word": false,
|
25 |
+
"special": true
|
26 |
+
},
|
27 |
+
"102": {
|
28 |
+
"content": "[SEP]",
|
29 |
+
"lstrip": false,
|
30 |
+
"normalized": false,
|
31 |
+
"rstrip": false,
|
32 |
+
"single_word": false,
|
33 |
+
"special": true
|
34 |
+
},
|
35 |
+
"103": {
|
36 |
+
"content": "[MASK]",
|
37 |
+
"lstrip": false,
|
38 |
+
"normalized": false,
|
39 |
+
"rstrip": false,
|
40 |
+
"single_word": false,
|
41 |
+
"special": true
|
42 |
+
}
|
43 |
+
},
|
44 |
+
"clean_up_tokenization_spaces": true,
|
45 |
+
"cls_token": "[CLS]",
|
46 |
+
"do_basic_tokenize": true,
|
47 |
+
"do_lower_case": false,
|
48 |
+
"full_tokenizer_file": null,
|
49 |
+
"mask_token": "[MASK]",
|
50 |
+
"model_max_length": 256,
|
51 |
+
"never_split": null,
|
52 |
+
"pad_token": "[PAD]",
|
53 |
+
"sep_token": "[SEP]",
|
54 |
+
"strip_accents": null,
|
55 |
+
"tokenize_chinese_chars": true,
|
56 |
+
"tokenizer_class": "BertTokenizer",
|
57 |
+
"unk_token": "[UNK]"
|
58 |
+
}
|
vocab.txt
ADDED
The diff for this file is too large to render.
See raw diff
|
|