copy from git

embeddings_dataset.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b540e2ca547809af2ea03ae7d7c81131dcbeadba37f0c56d69c0d9f81c600fb8
+size 22647057

faiss_file.py

@@ -0,0 +1,57 @@
+from joblib import load
+
+### pip install faiss-cpu
+import faiss
+
+### pip install datasets
+from datasets import Dataset
+
+import torch
+import pandas as pd
+
+import streamlit as st
+
+device = 'cpu'
+
+### подгрузка всех компонентов - модель, токенайзер и датасет с эмбеддингами
+embeddings_dataset = load('./embeddings_dataset.joblib')
+tokenizer = load('./tokenizer.joblib')
+model = load('./model.joblib')
+
+### функция возвращающая от БЕРТа только [CLS] опиывающий общий смысл всего предложения
+def embed_bert_cls(text, model, tokenizer):
+    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
+    with torch.no_grad():
+        model_output = model(**{k: v.to(device) for k, v in t.items()})
+    embeddings = model_output.last_hidden_state[:, 0, :]
+    embeddings = torch.nn.functional.normalize(embeddings)
+    return embeddings[0].cpu().numpy()
+
+### функция ниже отдает готовый датасет с рекомендациями книг
+def recommend(input_string,n_neighbors=5):
+
+    ### input_string - то, что вводит пользователь в аннотации, эмбеддинг пользовательского текста
+    question_embedding = embed_bert_cls([input_string], model, tokenizer)
+
+    ### n_neighbors - число предлагаемых системой книг, вводит пользователь, 
+    ### поиск похожих книг по запросу
+    scores, samples = embeddings_dataset.get_nearest_examples(
+        "embeddings", question_embedding, k=n_neighbors
+    )
+
+    ### для корректной работы требуется формат таблиц huggingface, поэтому в конце 
+    ### происходит перевод в пандас для удобства 
+    samples_df = pd.DataFrame.from_dict(samples)
+    samples_df["scores"] = scores
+    samples_df.sort_values("scores", ascending=False, inplace=True)
+
+    return samples_df
+
+### конечный датасет: samples_df 
+
+
+user_input = st.text_input('Your text here:', )
+number = st.number_input('Insert a number', min_value = 1, max_value = 5, value = 3)
+
+if len(user_input) > 1:
+    st.write(recommend(user_input, number))

final_emb.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a7fc2b732b8562b706b1411abb47325d2fe39463e5bea17c319f322deefed4e6
+size 19199575

kmeans.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bce848639b7c9372fe451e995b57a033008601eb0f14d295c054113061e6ecef
+size 48779

main.py

@@ -0,0 +1,96 @@
+import streamlit as st
+st.set_page_config(page_title="FindMyBook", page_icon="📚", menu_items=None, initial_sidebar_state="auto")
+
+import matplotlib.pyplot as plt
+import pandas as pd
+import numpy as np
+import csv
+from joblib import load
+from transformers import AutoTokenizer, AutoModel
+from faiss_file import model, tokenizer, embeddings_dataset, embed_bert_cls, recommend
+
+
+# Модель, токенайзер, датасет, kmeans, функция рекомендаций
+
+device = 'cpu'
+
+tokenizer_k = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny")
+model_k = AutoModel.from_pretrained("cointegrated/rubert-tiny")
+kmeans = load('kmeans.joblib')
+emb = load('final_emb.joblib')
+
+def recomendation(input):
+
+    user_input = embed_bert_cls(input, model_k, tokenizer_k)
+    label = kmeans.predict(user_input.reshape(1, -1))[0]
+    sample_df = emb[emb['labels'] == label].copy()
+    sample_df['cosine'] = sample_df['embeddings'].apply(lambda x: np.dot(x, user_input) / (np.linalg.norm(x) * np.linalg.norm(user_input)))
+
+    return sample_df.sort_values('cosine', ascending=False)
+
+
+
+st.title('Умный поиск книг')
+
+with st.sidebar:
+        st.markdown('Добро пожаловать в мир **FindMyBook** - самого умного поисковика книг! Это как твой личный библиотекарь, который знает все о тебе и твоих предпочтениях в литературе! Это не просто обычный поисковик, который ищет книги по авторам или названиям, это настоящий литературный детектив, который проникает в глубь содержания книг и помогает найти именно те, которые оставят неизгладимое впечатление.')
+        st.markdown('**FindMyBook** работает на основе передовых алгоритмов искусственного интеллекта, которые позволяют ему анализировать содержание книг и находить связи между ними. Этот поисковик сможет найти книгу, которая понравится именно тебе, учитывая твои предпочтения и интересы.')
+        st.markdown('Не нужно тратить время на бесконечный поиск книг в огромных онлайн-библиотеках. Просто введи тему, которая тебя интересует, и **FindMyBook** уже начнет искать книги, которые подходят именно тебе!')
+        
+user_prompt = st.text_area(label='Введите запрос:', placeholder="Хочу прочитать о...", height=200)
+
+books_per_page = st.number_input('Количество рекомендаций:', min_value=1, max_value=5, value=3)
+
+button = st.button("Найти")
+        
+tab1, tab2 = st.tabs(["Faiss Search", "K-Mean"])
+
+with tab1:
+
+    if button and len(user_prompt) > 1:
+        book_recs = recommend(user_prompt, books_per_page)
+        for i in range(books_per_page):
+
+            col1, col2 = st.columns([2,7])
+            with col1:
+                image = book_recs['image_url'].iloc[i]
+                st.image(image)
+
+            with col2:
+                title = book_recs['title'].iloc[i]
+                try:
+                    author = book_recs['author'].iloc[i].rstrip()
+                except:
+                    author = book_recs['author'].iloc[i]
+                annotation = book_recs['annotation'].iloc[i]
+                st.subheader(title)
+                st.markdown(f'_{author}_')
+                st.caption(annotation)
+                st.markdown(f"[Подробнее...]({book_recs['page_url'].iloc[i]})")
+                st.divider()
+
+with tab2:
+
+    book_recs = recommend(user_prompt, books_per_page)
+    if button and len(user_prompt) > 1:
+        
+        book_recs = recomendation(user_prompt)
+        for i in range(books_per_page):
+
+            col1, col2 = st.columns([2,7])
+            with col1:
+                image = book_recs['image_url'].iloc[i]
+                st.image(image)
+
+            with col2:
+                title = book_recs['title'].iloc[i]
+                try:
+                    author = book_recs['author'].iloc[i].rstrip()
+                except:
+                    author = book_recs['author'].iloc[i]
+                annotation = book_recs['annotation'].iloc[i]
+                st.subheader(title)
+                st.markdown(f'_{author}_')
+                st.caption(annotation)
+                st.markdown(f"[Подробнее...]({book_recs['page_url'].iloc[i]})")
+                st.divider()

model.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cbf65abc66debfb76486401c470d9170d80d49d07aa73e13f45a35bd47eccd6c
+size 116837561

pages/.gitattributes

@@ -0,0 +1,2 @@
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text

pages/annotation_generator.py

@@ -0,0 +1,32 @@
+import torch
+from joblib import load
+import textwrap
+import streamlit as st
+
+device = 'cpu'
+
+tokenizer = load('./pages/tokenizer.joblib')
+model = load('./pages/model.joblib')
+weights = model.load_state_dict(torch.load('./pages/model_weights.pt', map_location=device))
+
+temperature = st.slider('Градус дичи:', min_value = 1., max_value = 20., value = 3.)
+num_beams = st.slider('Число веток для поиска:', min_value = 1, max_value = 15, value = 7)
+max_length = st.slider('Максимальная длина генерации:', min_value = 50, max_value = 150, value = 70)
+
+prompt = st.text_input('Дайте волю фантазии!',)
+if len(prompt) > 1:
+    with torch.inference_mode():
+        prompt = tokenizer.encode(prompt, return_tensors='pt').to(device)
+        out = model.generate(
+            input_ids=prompt,
+            max_length=max_length,
+            num_beams=num_beams,
+            do_sample=True,
+            temperature=temperature,
+            top_k=50,
+            top_p=0.6,
+            no_repeat_ngram_size=3,
+            num_return_sequences=3,
+            ).cpu().numpy()
+        for out_ in out:
+            st.write(textwrap.fill(tokenizer.decode(out_), 40), end='\n------------------\n')

pages/model.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5bdfe86f85eed4d288ef6a0e9c950c509c0e727c967511928aa0e21c50ec48cb
+size 551335281

pages/model_weights.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8da23517b808864217db05ff78cf20d4fec1887e6e2612d74ec63248b949d936
+size 551321853

pages/tokenizer.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a7505a6d5173cf65c4ee11a834912ab6024525ce1417c9c0a513f4ef9dea3105
+size 10247307

requirements.txt

@@ -0,0 +1,96 @@
+aiohttp==3.8.4
+aiosignal==1.3.1
+altair==4.2.2
+async-timeout==4.0.2
+attrs==23.1.0
+blinker==1.6.2
+cachetools==5.3.0
+certifi==2022.12.7
+charset-normalizer==3.1.0
+click==8.1.3
+cmake==3.26.3
+contourpy==1.0.7
+cycler==0.11.0
+datasets==2.12.0
+decorator==5.1.1
+dill==0.3.6
+entrypoints==0.4
+faiss-cpu==1.7.4
+filelock==3.12.0
+fonttools==4.39.3
+frozenlist==1.3.3
+fsspec==2023.4.0
+gitdb==4.0.10
+GitPython==3.1.31
+huggingface-hub==0.14.1
+idna==3.4
+importlib-metadata==6.6.0
+importlib-resources==5.12.0
+Jinja2==3.1.2
+joblib==1.2.0
+jsonschema==4.17.3
+kiwisolver==1.4.4
+lit==16.0.2
+markdown-it-py==2.2.0
+MarkupSafe==2.1.2
+matplotlib==3.7.1
+mdurl==0.1.2
+mpmath==1.3.0
+multidict==6.0.4
+multiprocess==0.70.14
+networkx==3.1
+numpy==1.24.3
+nvidia-cublas-cu11==11.10.3.66
+nvidia-cuda-cupti-cu11==11.7.101
+nvidia-cuda-nvrtc-cu11==11.7.99
+nvidia-cuda-runtime-cu11==11.7.99
+nvidia-cudnn-cu11==8.5.0.96
+nvidia-cufft-cu11==10.9.0.58
+nvidia-curand-cu11==10.2.10.91
+nvidia-cusolver-cu11==11.4.0.1
+nvidia-cusparse-cu11==11.7.4.91
+nvidia-nccl-cu11==2.14.3
+nvidia-nvtx-cu11==11.7.91
+packaging==23.1
+pandas==2.0.1
+Pillow==9.5.0
+protobuf==3.20.3
+pyarrow==12.0.0
+pydeck==0.8.1b0
+Pygments==2.15.1
+Pympler==1.0.1
+pyparsing==3.0.9
+pyrsistent==0.19.3
+python-dateutil==2.8.2
+pytz==2023.3
+pytz-deprecation-shim==0.1.0.post0
+PyYAML==6.0
+regex==2023.5.5
+requests==2.29.0
+responses==0.18.0
+rich==13.3.5
+scikit-learn==1.2.2
+scipy==1.10.1
+six==1.16.0
+smmap==5.0.0
+streamlit==1.22.0
+sympy==1.11.1
+tenacity==8.2.2
+threadpoolctl==3.1.0
+tokenizers==0.13.3
+toml==0.10.2
+toolz==0.12.0
+torch==2.0.0
+tornado==6.3.1
+tqdm==4.65.0
+transformers==4.28.1
+triton==2.0.0
+typing_extensions==4.5.0
+tzdata==2023.3
+tzlocal==4.3
+urllib3==1.26.15
+validators==0.20.0
+watchdog==3.0.0
+xxhash==3.2.0
+yarl==1.9.2
+zipp==3.15.0

tokenizer.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f1ebec50c02e9b3861bbd8127234b1e373b7885669d50df99b19cf48a223f7ce
+size 1743035