Yohhei commited on
Commit
ae451b1
1 Parent(s): d157d41

Add new SentenceTransformer model.

Browse files
Files changed (2) hide show
  1. README.md +75 -115
  2. model.safetensors +1 -1
README.md CHANGED
@@ -25,83 +25,39 @@ tags:
25
  - sentence-similarity
26
  - feature-extraction
27
  - generated_from_trainer
28
- - dataset_size:16
29
  - loss:MultipleNegativesRankingLoss
30
  widget:
31
- - source_sentence: Please contact each construction office of the Construction Bureau.
32
- The police will respond in cooperation with the police and other authorities.
33
- For the telephone number of each construction office, please refer to the link
34
- "Area Management Offices and Construction Offices".
35
  sentences:
36
- - I have an abandoned vehicle on the street, what should I do?
37
- - Do I need special permission to place a giant ad?
38
- - What is katagatashi/tai?
39
- - source_sentence: Currently, there are four Seseragi-no-Sato (Seseragi-no-Sato) oases
40
- in the city filled with flowers and greenery, as an oasis of relaxation and luster.
41
- How about touring the "Seseragi-no-Sato" while admiring the seasonal flowers?
42
- Please take a stroll. For more information, please refer to the link "Flower Sewage
43
- Treatment Plant and Seseragi no Sato (Sewage Treatment Plant and Seseragi no Sato)".
44
- For more information, please refer to the link "Sewage Treatment Plants and Seseragi
45
- no Sato (Flower Sewage Treatment Plants and Seseragi no Sato)".
46
  sentences:
47
- - I want to install a sign on the road. Do I need any permits?
48
- - Who can I talk to about housing?
49
- - I would like to know more about Seseragi no Sato.
50
- - source_sentence: 'The Osaka Municipal Housing Information Center provides comprehensive
51
- information on housing, and consists of the Housing Information Plaza, which provides
52
- various consultations and information on housing, and the Osaka Kurashi-no Konjikan,
53
- a museum of housing that exhibits the culture and history of housing and people''s
54
- lives. Location and Access] Location: 6-4-20 Tenjinbashi, Kita-ku, Osaka Access:
55
- - Direct connection from Exit 3 of Tenjinbashisuji Rokuchome Station on the Osaka
56
- Metro Tanimachi Line, Sakaisuji Line, and Hankyu Railway - Approximately 650 m
57
- north of Tenma Station on the JR Loop Line - Approximately 2 km by cab from Midosuji
58
- South Exit of JR Osaka Station via Miyakojima-dori, 7 minutes by car By car: Approx.
59
- 500 m from Nagara Exit on the Moriguchi Line of Hanshin Expressway via Miyakojima-dori
60
- Street. ◆Housing Information Plaza Hours: Weekdays and Saturdays: 9:00-19:00,
61
- Sundays and National Holidays: 10:00-17:00, Closed: Tuesdays (closed the following
62
- day if Tuesday is a national vacation), the day after national holidays (except
63
- Sundays and Mondays), year-end and New Year holidays (12/29 - 1/3) *Special holidays
64
- may occur in addition to the above. ◆Housing Museum "Osaka Kurashi no Konjakukan"
65
- Hours: 10:00 - 17:00 (admission until 16:30) Closed: Tuesdays, Year-end and New
66
- Year holidays (12/29 - 1/3) *The museum may be open or closed on a temporary basis
67
- in addition to the above. In addition to the above, the museum may be open or
68
- closed temporarily. 6208-9224 Fax: 06-6202-7064'
69
  sentences:
70
- - Please tell me about the Osaka Municipal Housing Information Center.
71
- - Where is advertising prohibited?
72
- - How much is the admission fee to Osaka Kurashi-no-Museum?
73
- - source_sentence: 'A pamphlet and leaflet, "Sewerage in Osaka City," which introduces
74
- the sewerage system of Osaka City, including its structure and roles, are distributed
75
- at City Hall and other locations. They are also available on the city website.
76
- You can also tour the following sewerage facilities. All tours are free of charge.
77
- Taikoh Sewer: You can visit the Taikoh Sewer, a designated cultural asset of Osaka
78
- City. Those who wish to tour the underground facilities must apply in advance.
79
- Maishima Sludge Center Sludge Treatment Facility】Persons wishing to tour the sludge
80
- treatment facility are required to apply in advance. Sewage Treatment Plants】Persons
81
- wishing to tour the facilities should contact the respective sewage treatment
82
- plant in advance. (Tours may not be available due to construction work at sewage
83
- treatment plants.) For details, please refer to the following links: "Leaflet
84
- "Sewerage in Osaka City" (digest version)," "Pamphlet "Sewerage in Osaka City,"
85
- "Taikoh Sewage Treatment Plant," "Maishima Sludge Center (sewage sludge treatment
86
- plant)," "Osaka City Visual Sewage Plan," "Osaka Eco Kids: Learn Sewage! for more
87
- information.'
88
  sentences:
89
- - I want to know how the sewage system works.
90
- - How much is the rent for Osaka City's excellent rental housing for the elderly?
91
- - Please tell me about K.K. General Rental Housing and K.K. Sumai Ringu.
92
- - source_sentence: For posters, billboards, etc. on roads that are in violation of
93
- the ordinance, we systematically provide corrective guidance and remove them,
94
- as well as conduct road patrols as needed. In addition, for minor violations such
95
- as posters and billboards, we also remove them through the activities of contractors
96
- and citizen volunteers called "Katayaki-Tai". For details, please refer to the
97
- link "Recruitment of "KATADACHI-TAI" (a system for removing simple advertisements
98
- on the street)". For more information, please refer to the link "Simple Roadside
99
- Advertisement Removal Activities" for details.
100
  sentences:
101
- - I am thinking of buying a house in Osaka City, is there any assistance available?
102
- (Newlyweds and families raising children)
103
- - What is the maximum size of a billboard or advertisement?
104
- - What measures are in place to deal with objectionable signs and posters?
105
  model-index:
106
  - name: SentenceTransformer based on intfloat/multilingual-e5-small
107
  results:
@@ -113,49 +69,49 @@ model-index:
113
  type: intfloat/multilingual-e5-small
114
  metrics:
115
  - type: cosine_accuracy@1
116
- value: 0.75
117
  name: Cosine Accuracy@1
118
  - type: cosine_accuracy@3
119
- value: 1.0
120
  name: Cosine Accuracy@3
121
  - type: cosine_accuracy@5
122
- value: 1.0
123
  name: Cosine Accuracy@5
124
  - type: cosine_accuracy@10
125
- value: 1.0
126
  name: Cosine Accuracy@10
127
  - type: cosine_precision@1
128
- value: 0.75
129
  name: Cosine Precision@1
130
  - type: cosine_precision@3
131
- value: 0.3333333333333333
132
  name: Cosine Precision@3
133
  - type: cosine_precision@5
134
- value: 0.2
135
  name: Cosine Precision@5
136
  - type: cosine_precision@10
137
- value: 0.1
138
  name: Cosine Precision@10
139
  - type: cosine_recall@1
140
- value: 0.75
141
  name: Cosine Recall@1
142
  - type: cosine_recall@3
143
- value: 1.0
144
  name: Cosine Recall@3
145
  - type: cosine_recall@5
146
- value: 1.0
147
  name: Cosine Recall@5
148
  - type: cosine_recall@10
149
- value: 1.0
150
  name: Cosine Recall@10
151
  - type: cosine_ndcg@10
152
- value: 0.9077324383928644
153
  name: Cosine Ndcg@10
154
  - type: cosine_mrr@10
155
- value: 0.875
156
  name: Cosine Mrr@10
157
  - type: cosine_map@100
158
- value: 0.875
159
  name: Cosine Map@100
160
  ---
161
 
@@ -209,9 +165,9 @@ from sentence_transformers import SentenceTransformer
209
  model = SentenceTransformer("Yohhei/batch32-100")
210
  # Run inference
211
  sentences = [
212
- 'For posters, billboards, etc. on roads that are in violation of the ordinance, we systematically provide corrective guidance and remove them, as well as conduct road patrols as needed. In addition, for minor violations such as posters and billboards, we also remove them through the activities of contractors and citizen volunteers called "Katayaki-Tai". For details, please refer to the link "Recruitment of "KATADACHI-TAI" (a system for removing simple advertisements on the street)". For more information, please refer to the link "Simple Roadside Advertisement Removal Activities" for details.',
213
- 'What measures are in place to deal with objectionable signs and posters?',
214
- 'I am thinking of buying a house in Osaka City, is there any assistance available? (Newlyweds and families raising children)',
215
  ]
216
  embeddings = model.encode(sentences)
217
  print(embeddings.shape)
@@ -255,23 +211,23 @@ You can finetune this model on your own dataset.
255
  * Dataset: `intfloat/multilingual-e5-small`
256
  * Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
257
 
258
- | Metric | Value |
259
- |:--------------------|:----------|
260
- | cosine_accuracy@1 | 0.75 |
261
- | cosine_accuracy@3 | 1.0 |
262
- | cosine_accuracy@5 | 1.0 |
263
- | cosine_accuracy@10 | 1.0 |
264
- | cosine_precision@1 | 0.75 |
265
- | cosine_precision@3 | 0.3333 |
266
- | cosine_precision@5 | 0.2 |
267
- | cosine_precision@10 | 0.1 |
268
- | cosine_recall@1 | 0.75 |
269
- | cosine_recall@3 | 1.0 |
270
- | cosine_recall@5 | 1.0 |
271
- | cosine_recall@10 | 1.0 |
272
- | cosine_ndcg@10 | 0.9077 |
273
- | cosine_mrr@10 | 0.875 |
274
- | **cosine_map@100** | **0.875** |
275
 
276
  <!--
277
  ## Bias, Risks and Limitations
@@ -292,19 +248,19 @@ You can finetune this model on your own dataset.
292
  #### Unnamed Dataset
293
 
294
 
295
- * Size: 16 training samples
296
  * Columns: <code>positive</code> and <code>anchor</code>
297
  * Approximate statistics based on the first 1000 samples:
298
  | | positive | anchor |
299
  |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
300
  | type | string | string |
301
- | details | <ul><li>min: 51 tokens</li><li>mean: 226.69 tokens</li><li>max: 419 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 16.81 tokens</li><li>max: 31 tokens</li></ul> |
302
  * Samples:
303
- | positive | anchor |
304
- |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
305
- | <code>The following is a summary of K.H.I. General Rental Housing and K.H.I. Sumai Ringu. Outline】 ● KLH General Rental Housing and KLH Sumai Ringu are rental housing units for middle class households where the annual income of the applicant household must be within a certain range. The public corporation's Sumai Ringu housing is a unit to which the government's specified excellent rental housing system, etc., is applied, and the government and Osaka City subsidize a portion of the rent for a certain period of time, depending on the income of the household moving in. Applications for vacant units are accepted on an as-needed basis. Please refer to the "List of Apartment Complexes" at the link below. Inquiries: ◆Osaka City Housing Corporation, Housing Management Department, Management Division, Recruitment Section Telephone: 06-6882-9000* Weekdays: 9:00 - 19:00 (Tuesdays and the day after national holidays (weekdays): 9:00 - 17:30) Saturdays: 9:00 - 19:00 Sundays and holidays: 10:00 - 17:00, except during the year-end and New Year holidays (December 29 - January 3).</code> | <code>Please tell me about K.K. General Rental Housing and K.K. Sumai Ringu.</code> |
306
- | <code>There are permit criteria for each property for wall boards, towers (rooftop/ground), and boards (rooftop/ground), and permit criteria vary by location. Please refer to the "Permit Criteria" in the "Outdoor Advertisement Bookmark. (Downloadable from the website) △Link to "https://www.city.osaka.lg.jp/kensetsu/page/0000372127.html屋外広告物の許可について (Outdoor Advertisement Bookmark, Outdoor Advertisement Ordinance, etc.) [Inquiries] ◆Construction Bureau, Administration Division Phone: 06-6615-6687 Fax: 06-6615-6576</code> | <code>What is the maximum size of a billboard or advertisement?</code> |
307
- | <code>Areas or properties where advertising materials may not be displayed are as follows In addition to the above, the following areas or properties are prohibited from displaying advertising materials: - Areas along the Hanshin Expressway up to 50 m on both sides and 15 m above the road surface level - Areas within the grounds of ancient tombs and cemeteries - Bridges, roadside trees, traffic signals, pedestrian railings, utility poles, mailboxes, transmission towers, statues, monuments, etc. - The Okawa Wind Area from Genpachi Bridge to Tenmabashi Bridge. In addition to the above, the display of posters, billboards, etc., advertising flags, and standing signs, etc., is prohibited on the following roads and in areas or locations facing these roads. Midosuji (from Osaka Station to Namba Station) ●Sakaisuji (from Naniwabashi to Nipponbashi) ●Tosabori Dori (from Higobashi to Yoshiyabashi) ●Uemachi-suji (from Otemae 1-chome, Chuo-ku to Hoenzaka 1-chome, Chuo-ku) ●Nagahori Dori (from Minami-Senba 1-chome, Chuo-ku to Minami Senba 1-chome, Chuo-ku) Dotonbori River promenade (from east side of Sumiyoshi Bridge to west side of Nihonbashi Bridge)-Please refer to the link. https://www.city.osaka.lg.jp/kensetsu/page/ 0000372127.htmlAbout Permission for Outdoor Advertisements (Outdoor Advertisement Booklet, Outdoor Advertisement Ordinance, etc.) [Inquiries: ◆Construction Bureau, Administration Division Tel: 06-6615-6687 Fax: 06-6615-6576</code> | <code>Where is advertising prohibited?</code> |
308
  * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
309
  ```json
310
  {
@@ -443,9 +399,13 @@ You can finetune this model on your own dataset.
443
  </details>
444
 
445
  ### Training Logs
446
- | Epoch | Step | intfloat/multilingual-e5-small_cosine_map@100 |
447
- |:-----:|:----:|:---------------------------------------------:|
448
- | 0 | 0 | 0.875 |
 
 
 
 
449
 
450
 
451
  ### Framework Versions
 
25
  - sentence-similarity
26
  - feature-extraction
27
  - generated_from_trainer
28
+ - dataset_size:14690
29
  - loss:MultipleNegativesRankingLoss
30
  widget:
31
+ - source_sentence: 国民健康保険の適用終了の届出を行ってください。(勤務先の保険等に加入したことにより、自動的に国民健康保険の資格の適用が終了することはありません。)【届出窓口】お住まいの区の区役所保険年金業務担当へ届け出てください。【届出人】イ.国民健康保険証の世帯主欄に記載されている世帯主ロ.代理人(世帯主からの委任状と代理人の本人確認書類要)【必要なもの】届出には、世帯主と対象者の個人番号(マイナンバー)の記入と提示が必要になります。届出の際は、個人番号の確認できるもの(マイナンバーカードなど)、本人確認できるもの(運転免許証など)及び、次のものをお持ちください。●保険証●会社などの新しい保険証(健康保険資格取得証明書でも可)△詳細はリンク先の『就職・退職に伴う国民健康保険の手続き』を参照してください。【問合せ先】◆お住まいの区の区役所保険年金業務担当電話、Fax等はリンク先の『区役所・保健福祉センター開設時間・所在地・電話番号』を参照してください。
 
 
 
32
  sentences:
33
+ - I have been on National Health Insurance but received health insurance from my
34
+ workplace. Do I need to apply for National Health Insurance?
35
+ - What can you tell us about creating a place for sexual minorities (LGBTQ, etc.)?
36
+ - I would like to know about delinquent county taxes.
37
+ - source_sentence: ■引越した日から14日以内に、お住まいの区の区役所または支所の窓口に転居届(住民異動届)を提出してください。※マイナンバーカードを利用して、マイナポータル等からオンライン申請された方は職員が事前に転居届を作成しております。詳細は関連URL「オンラインによる転出届・転入届(転居届)の事前作成サービス」をご確認ください。■届出と同時に住民票の写しも発行できますので、必要な場合は併せて申請してください。■印鑑登録の住所は、この届で自動変更されるので、改めて手続する必要はありません。※平成19年8月12日以前に、市内の引越しによって住まいの区を変更された方は、それまで登録されていた印鑑登録は廃止されています。■転居届出について≪受付窓口≫お住まいの区の区役所市民課または支所区民生活課≪届出期間≫転居した日から14日以内(お住まいになった日の翌日が1日目となります。)※住み始める前のお届けはできません≪届出人≫引越しをする本人引越しをする人と同じ世帯の人(新しい住所で同じ世帯の人に限ります。)※代理人による届出も可能ですが、その場合、委任状が必要です。委任状は関連URL「申請書・届出書のダウンロードサービス」からダウンロードできます。≪必要なもの≫○転入届(窓口にご用意しております。)〇窓口に来られる方の本人確認書類(マイナンバーカード、運転免許証、在留カード等)〇引越しをする人の在留カードまたは特別永住者証明書(外国籍の方のみ)〇引越しをする人のマイナンバーカード(取得されている方のみ)※マイナンバーカードの券面記載事項の変更及び署名用電子証明書の発行の手続きをいたします。券面記載事項の変更の際にはマイナンバーカードの暗証番号が必要となるため、転居届する方がまとめて手続きされる場合は、同じ世帯の人の暗証番号も事前に���確認ください。署名用電子証明書の発行については、同じ世帯の人が手続きする場合でも委任状が必要となります。委任状兼暗証番号記載書を本人が作成し、封筒等に入れて封をした状態で、マイナンバーカードといっしょに、転居届をする同じ世帯の人に預けてください。転居届の同日に限り、本人に代わって同じ世帯の人が文書照会不要で即日手続きを完了いただけます。※別世帯の代理の方が来られる場合は、マイナンバーカードの券面記載事項変更を委任する旨の委任状に暗証番号を記入して封筒等に入れて封をしたものを併せてお持ちください。≪注意事項≫●正確な住所(○番地か○番○号まで)を確認してきてください。●同一建物内(マンション等)で転居した場合にも届出が必要になります。ただし、住民票の住所欄にマンション名や部屋番号まで記載されていない場合は届出は不要です。●また、届書に以下の必要事項が正確に記入できるよう異動者本人からこれらの事項を確認してきていただく必要があります。○転居届に必要な事項1
38
+ 異動者全員の氏名・生年月日2 正確な新住所+マンション名があれば部屋番号まで3 新住所の世帯主氏名4 新住所に住み始めた日5 正確な旧住所(○番地か○番○号まで必要)6
39
+ 旧住所の世帯主氏名≪その他の手続≫○義務教育のお子さんがいる場合学区が変更になる転居届を出された場合、転入学通知書をお渡ししますので、在学証明書(前の学校で発行)と併せて転校先に提出してください。(学区に変更がない転居届の場合はこの手続はありません)○国民健康保険、後期高齢者医療、子ども医療、障害者医療、ひとり親家庭等医療、福祉給付金の対象の方は各区の保険年金課または支所区民福祉課での手続があります。旧住所の保険証をお持ちください。○介護保険に加入されている場合各区の福祉課での手続があります。○児童手当受給者の場合各区の民生子ども課で手続があります。≪問合せ先≫【各区役所市民課、各支所区民生活課】
 
 
 
40
  sentences:
41
+ - I want to know the procedure for moving to a new residence (moving out) within
42
+ the same ward [Moving in, moving out, moving out].
43
+ - 'Question: 2217 Where is the Building and Development Review Section located?'
44
+ - What is the procedure for moving out of the country?
45
+ - source_sentence: ふれあいプラザは、市民の福祉と交流の場の提供を目的とした施設で、ホールや会議室、福祉関係団体の事務所などがあります。また、ホールなどの貸館業務は指定管理者制度を導入し、現在は大津市社会福祉事業団が行っています。■ふれあいプラザ【貸室予約先】ふれあいプラザ電話番号:077-527-8351【担当課】福祉部
46
+ 福祉政策課〒520-8575 市役所本館2階
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
47
  sentences:
48
+ - Q.Please explain about water purifiers and active water purifiers. [ID:0100667
49
+ - What kind of facility is Fureai Plaza?
50
+ - I lost my "admission ticket" to the adult ceremony (A)
51
+ - source_sentence: 次のとおりです。高知県立図書館 高知市追手筋二丁目1番1号 オーテピア内電話:088-823-4946(代表)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
52
  sentences:
53
+ - If you damage or lose your physical disability certificate.
54
+ - What is the location and phone number of the Kochi Prefectural Library?
55
+ - I would like to ask about a house survey for a sewer project?
56
+ - source_sentence: 【貸出施設】ホール(定員300人)第1会議室(定員24人)第2会議室(定員30人)和室(1)(定員35人)和室(2)(定員15人)音楽室(定員30人)保育室として、和室(2)をご利用いただけます。【附帯設備】■ホールグランドピアノ、音響設備、マイク(有線・コードレス・ピンマイク)、反響板、照明設備、卓球台■第1会議室プロジェクター投影用スクリーン■第2会議室プロジェクター投影用スクリーン、調理器具、電子レンジ調理室としても利用できます。■音楽室アップライトピアノ■その他ラジカセ、プロジェクター、移動式マイクセット【設備】■コピー機コイン式コピー機を1階警備員室前に設置してあります。利用時間は午前8時00分~午後10時までです。用紙のサイズはB5、A4、B4、A3で、1枚10円です。■軽印刷機地域の活動やサークル活動のための資料の印刷に利用できます。A3サイズまで印刷できます。利用時間は休館日を除く、午前9時から午後9時までです。利用料金はマスター代が原稿1枚につき100円、インク代が印刷片面1000枚以上ごとに100円です。印刷用紙は利用者の持ち込みとなります。利用の際は、1階警備員室で利用のお手続きが必要です。■スピード写真撮影機証明書用スピード写真撮影機を正面玄関の手前に設置してあります。撮影料金は700円です。■その他みんなのトイレ(1階、2階)、授乳室(1階)、冷水機(1階)【関連リンク】南市民センター・施設案内(施設貸出、施設使用料金等について)https://www.city.machida.tokyo.jp/kurashi/touroku/shisetsu/03/sisetuannai.html【お問合せ先】南市民センターTEL:042-795-3165FAX:042-795-1749担当課詳細:https://www.city.machida.tokyo.jp/kurashi/touroku/shisetsu/03/accessmap.html
 
 
 
 
 
 
 
57
  sentences:
58
+ - 'Q: What facilities and equipment are available at the 3490 South Civic Center?'
59
+ - 'Q.Please tell me about the issuance and repair of prosthetic devices. ID: 0101154'
60
+ - Please tell us about your environmental management implementation sites.
 
61
  model-index:
62
  - name: SentenceTransformer based on intfloat/multilingual-e5-small
63
  results:
 
69
  type: intfloat/multilingual-e5-small
70
  metrics:
71
  - type: cosine_accuracy@1
72
+ value: 0.3193574734549415
73
  name: Cosine Accuracy@1
74
  - type: cosine_accuracy@3
75
+ value: 0.4976858154097468
76
  name: Cosine Accuracy@3
77
  - type: cosine_accuracy@5
78
+ value: 0.5804519466376259
79
  name: Cosine Accuracy@5
80
  - type: cosine_accuracy@10
81
+ value: 0.6860876667574191
82
  name: Cosine Accuracy@10
83
  - type: cosine_precision@1
84
+ value: 0.3193574734549415
85
  name: Cosine Precision@1
86
  - type: cosine_precision@3
87
+ value: 0.16589527180324892
88
  name: Cosine Precision@3
89
  - type: cosine_precision@5
90
+ value: 0.11609038932752518
91
  name: Cosine Precision@5
92
  - type: cosine_precision@10
93
+ value: 0.0686087666757419
94
  name: Cosine Precision@10
95
  - type: cosine_recall@1
96
+ value: 0.3193574734549415
97
  name: Cosine Recall@1
98
  - type: cosine_recall@3
99
+ value: 0.4976858154097468
100
  name: Cosine Recall@3
101
  - type: cosine_recall@5
102
+ value: 0.5804519466376259
103
  name: Cosine Recall@5
104
  - type: cosine_recall@10
105
+ value: 0.6860876667574191
106
  name: Cosine Recall@10
107
  - type: cosine_ndcg@10
108
+ value: 0.4919699773780811
109
  name: Cosine Ndcg@10
110
  - type: cosine_mrr@10
111
+ value: 0.43113312935665177
112
  name: Cosine Mrr@10
113
  - type: cosine_map@100
114
+ value: 0.4409145722895642
115
  name: Cosine Map@100
116
  ---
117
 
 
165
  model = SentenceTransformer("Yohhei/batch32-100")
166
  # Run inference
167
  sentences = [
168
+ '【貸出施設】ホール(定員300人)第1会議室(定員24人)第2会議室(定員30人)和室(1)(定員35人)和室(2)(定員15人)音楽室(定員30人)保育室として、和室(2)をご利用いただけます。【附帯設備】■ホールグランドピアノ、音響設備、マイク(有線・コードレス・ピンマイク)、反響板、照明設備、卓球台■第1会議室プロジェクター投影用スクリーン■第2会議室プロジェクター投影用スクリーン、調理器具、電子レンジ調理室としても利用できます。■音楽室アップライトピアノ■その他ラジカセ、プロジェクター、移動式マイクセット【設備】■コピー機コイン式コピー機を1階警備員室前に設置してあります。利用時間は午前8時00分~午後10時までです。用紙のサイズはB5、A4、B4、A3で、1枚10円です。■軽印刷機地域の活動やサークル活動のための資料の印刷に利用できます。A3サイズまで印刷できます。利用時間は休館日を除く、午前9時から午後9時までです。利用料金はマスター代が原稿1枚につき100円、インク代が印刷片面1000枚以上ごとに100円です。印刷用紙は利用者の持ち込みとなります。利用の際は、1階警備員室で利用のお手続きが必要です。■スピード写真撮影機証明書用スピード写真撮影機を正面玄関の手前に設置してあります。撮影料金は700円です。■その他みんなのトイレ(1階、2階)、授乳室(1階)、冷水機(1階)【関連リンク】南市民���ンター・施設案内(施設貸出、施設使用料金等について)https://www.city.machida.tokyo.jp/kurashi/touroku/shisetsu/03/sisetuannai.html【お問合せ先】南市民センターTEL:042-795-3165FAX:042-795-1749担当課詳細:https://www.city.machida.tokyo.jp/kurashi/touroku/shisetsu/03/accessmap.html',
169
+ 'Q: What facilities and equipment are available at the 3490 South Civic Center?',
170
+ 'Q.Please tell me about the issuance and repair of prosthetic devices. ID: 0101154',
171
  ]
172
  embeddings = model.encode(sentences)
173
  print(embeddings.shape)
 
211
  * Dataset: `intfloat/multilingual-e5-small`
212
  * Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
213
 
214
+ | Metric | Value |
215
+ |:--------------------|:-----------|
216
+ | cosine_accuracy@1 | 0.3194 |
217
+ | cosine_accuracy@3 | 0.4977 |
218
+ | cosine_accuracy@5 | 0.5805 |
219
+ | cosine_accuracy@10 | 0.6861 |
220
+ | cosine_precision@1 | 0.3194 |
221
+ | cosine_precision@3 | 0.1659 |
222
+ | cosine_precision@5 | 0.1161 |
223
+ | cosine_precision@10 | 0.0686 |
224
+ | cosine_recall@1 | 0.3194 |
225
+ | cosine_recall@3 | 0.4977 |
226
+ | cosine_recall@5 | 0.5805 |
227
+ | cosine_recall@10 | 0.6861 |
228
+ | cosine_ndcg@10 | 0.492 |
229
+ | cosine_mrr@10 | 0.4311 |
230
+ | **cosine_map@100** | **0.4409** |
231
 
232
  <!--
233
  ## Bias, Risks and Limitations
 
248
  #### Unnamed Dataset
249
 
250
 
251
+ * Size: 14,690 training samples
252
  * Columns: <code>positive</code> and <code>anchor</code>
253
  * Approximate statistics based on the first 1000 samples:
254
  | | positive | anchor |
255
  |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
256
  | type | string | string |
257
+ | details | <ul><li>min: 14 tokens</li><li>mean: 186.01 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 21.95 tokens</li><li>max: 74 tokens</li></ul> |
258
  * Samples:
259
+ | positive | anchor |
260
+ |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------|
261
+ | <code>■住所や名義が変わった場合は変更登録や移転登録の手続きが必要です。通知文書については軽自動車の変更手続きを行わずに転出された方を対象に送付させていただいております。★原動機付自転車(排気量125cc以下のバイク)、排気量50cc以下のミニカー、バギーカー、小型特殊自動車■原動機付自転車等を所有している方が小松市から転出した場合、原則として廃車の手続をしていただくことになります。転出先でそのまま使用する場合は、新たに転出先の市区町村で登録の手続きを行ってください。その際の手続きに必要な物については、転出先市町村にお問い合わせください。■転出先から原動機付自転車を廃車にする場合は、廃車申告書に必要事項を記入、押印したものと、返信用の封筒に切手を貼ったもの、小松市のナンバープレートを同封し、郵送で小松市へ送付してください。廃車申告書については転出先市町村の廃車申告書をご利用いただいても構いません。■転出先の市町村でも廃車の手続きができます。転出先の市町村にお問い合わせください。★軽二輪(125ccを超250cc以下)、二輪の小型自動車(250cc超)■市役所ではお取り扱いしておりませんので、北陸信越運輸局 石川運輸支局へお問い合わせください。(連絡先)〒920-8213 金沢市直江東1丁目1番北陸信越運輸局 石川運輸支局 電話050-5540-2045★軽三輪・軽四輪(660cc以下)■市役所ではお取り扱いしておりませんので、軽自動車検査協会 石川県事務所へお問い合わせくだください。(連絡先)〒920-8213 金沢市直江東2丁目123番地1軽自動車検査協会 石川県事務所 電話050-3816-1853【税務課 税総合窓口グループ】(直通)0761-24-8029(内線)3124・3135【南支所】(直通)0761-44-2535(内線)2700【小松駅前行政サービスセンター】(直通)0761-23-2323(内線)4307</code> | <code>I received a notice about a light car a while after I moved out of Komatsu City (A).</code> |
262
+ | <code>○市章(昭和33年10月1日制定)マチダのマの字2つをもって田の字型に図案化して、市民の和合団結を表しています。中央の鳥型は、平和と発展のしるしです。○市の木・けやき(昭和47年6月15日制定)日本原産で、武蔵野・相模を代表する落葉高木。空に向かって枝を広げ、すくすく伸びゆく風格ある姿は発展する町田市を表す木として、「市の木」選定の際にも高い人気を得ました。市内にも随所にけやき並木が整備され、市民に憩いをあたえています。○市の花・サルビア(昭和47年6月15日制定)ブラジル原産。シソ科の一年草。夏から秋にかけて、公園や街路などで鮮やかな紅色の花を咲かせます。エネルギッシュな容姿は町田市の若さとバイタリティを表しています。市内各地の花壇に植えられ、幅広く市民に愛されています。○市の鳥・カワセミ(平成14年6月15日制定)全国に分布し、青緑色とオレンジ色の体、長いくちばしと短い尾を持つ野鳥です。多摩丘陵の源流都市である町田市のシンボルとしてふさわしいことから市の鳥に選定されました。</code> | <code>Q: 1296 I want to know the city emblem, city tree, city flower, and city bird.</code> |
263
+ | <code>所得に応じた免除基準としています。成人健康診査・がん検診とも前年度住民税非課税世帯の方・生活保護受給者・中国残留邦人等支援給付受給者であれば、自己負担金が免除となります。ただし、胃がんリスク検診(ABC検診)は、町田市では1回限りの検診であり、受診を勧奨する年齢を定めているため、30歳および40歳の方、生活保護受給者、中国残留邦人等支援給付受給者を免除としています。※胃がんリスク検診(ABC検診)の自己負担金免除の対象年齢は、2018年度までは、40歳以上で5歳刻みの年齢でした(40歳、45歳、50歳…)。</code> | <code>Question: 2358What are the criteria for waiving co-payments for cancer screenings and adult health screenings?</code> |
264
  * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
265
  ```json
266
  {
 
399
  </details>
400
 
401
  ### Training Logs
402
+ | Epoch | Step | Training Loss | intfloat/multilingual-e5-small_cosine_map@100 |
403
+ |:------:|:----:|:-------------:|:---------------------------------------------:|
404
+ | 0 | 0 | - | 0.0959 |
405
+ | 0.2174 | 100 | 0.9885 | 0.3907 |
406
+ | 0.4348 | 200 | 0.289 | 0.4250 |
407
+ | 0.6522 | 300 | 0.2513 | 0.4345 |
408
+ | 0.8696 | 400 | 0.2187 | 0.4409 |
409
 
410
 
411
  ### Framework Versions
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0a551720dc32090a6bf01ac36849b890487491b87dbaf5b3b8352df24176e05f
3
  size 470637416
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9253f194bb6eedbf3974dde0e222279b59764079f78ea98d9e11bd400af04cd2
3
  size 470637416