<jupyter_start><jupyter_text>Limpiamos los datos<jupyter_code>import preprocesamiento as pr
pr.filtro_nulos(df2)
X = df2[['vote_average','vote_count']].values
y = df2['popularity']
import graficos as gr

#Realizamos un grafico de promedio de votos vs popularidad
gr.grafico_vote_average(df2)
#Realizamos un grafico del numero de votos vs popularidad
gr.grafico_vote_count(df2)
C,m = pr.obtener_valores(df2)
q_movies = pr.filtro_votos(df2,m)
# Metrica para determinar que pelicula es mejor que otra
def weighted_rating(x, m=m, C=C):
    v = x['vote_count']
    R = x['vote_average']
    return (v/(v+m) * R) + (m/(m+v) * C)
# Definimos esta nueva metrica y calculamos su valor
q_movies['score'] = q_movies.apply(weighted_rating, axis=1)
#Ordenamos las peliculas segun la metrica definida arriba
q_movies = q_movies.sort_values('score', ascending=False)

#Imprimimos las primeras 10 peliculas
q_movies[['title', 'vote_count', 'vote_average', 'score']].head(10)
#Graficamos las peliculas mas populares
gr.peliculas_populares(df2)
df2['overview'].head(5)
import modelos as md
tfidf_matrix = md.vectorizacion(df2)

#Forma de la matriz
tfidf_matrix.shape
# Importamos linear kernel
from sklearn.metrics.pairwise import linear_kernel

# Computamos la similaridad del coseno de nuestra matriz
cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix)
#Construimos un mapeo de los inidices y los nombres de las peliculas
indices = pd.Series(df2.index, index=df2['title']).drop_duplicates()
index = md.get_recommendations('The Dark Knight Rises',cosine_sim,indices)
df2['title'].iloc[index]
index = md.get_recommendations('The Avengers',cosine_sim,indices)
df2['title'].iloc[index]
# Analizamos sus distintas caracteristicas como el elenco, genero, etc.
from ast import literal_eval

features = ['cast', 'crew', 'keywords', 'genres']
for feature in features:
    df2[feature] = df2[feature].apply(literal_eval)
# Funcion que retorna el nombre del director, si es nulo retorna NaN
def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']
    return np.nan
# Funcion que retorna los 3 elementos principales de la pelicula.
def get_list(x):
    if isinstance(x, list):
        names = [i['name'] for i in x]
        #Si existen mas de tres solo retornar los tres primeros, en otro caso retornar la lista entera.
        if len(names) > 3:
            names = names[:3]
        return names

    #En caso de no tener datos, retorna una lista vacia
    return []
# Realizamos el cambio para los principales 3 componentes que encontramos anteriormente.
df2['director'] = df2['crew'].apply(get_director)

features = ['cast', 'keywords', 'genres']
for feature in features:
    df2[feature] = df2[feature].apply(get_list)
# Vemos los principales componentes de las primeras peliculas
df2[['title', 'cast', 'director', 'keywords', 'genres']].head(3)
# Filtramos los datos de nuestro dataframe.
features = ['cast', 'keywords', 'director', 'genres']

for feature in features:
    df2[feature] = df2[feature].apply(pr.clean_data)
def create_soup(x):
    return ' '.join(x['keywords']) + ' ' + ' '.join(x['cast']) + ' ' + x['director'] + ' ' + ' '.join(x['genres'])
df2['soup'] = df2.apply(create_soup, axis=1)
# Importamos CountVectorizer y creamos una matriz de recuento
from sklearn.feature_extraction.text import CountVectorizer

count = CountVectorizer(stop_words='english')
count_matrix = count.fit_transform(df2['soup'])
# Computamos la matriz de coseno similitud a partir de la matriz de recuento
from sklearn.metrics.pairwise import cosine_similarity

cosine_sim2 = cosine_similarity(count_matrix, count_matrix)
# Reseteamos los indices y creamos un mapeo por nombre de pelicula
df2 = df2.reset_index()
indices = pd.Series(df2.index, index=df2['title'])
index = md.get_recommendations('The Dark Knight Rises', cosine_sim2, indices)
df2['title'].iloc[index]
index = md.get_recommendations('The Godfather', cosine_sim2,indices)
df2['title'].iloc[index]<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11857214178731902, 'fraction_numerical': 0.011732401397903146, 'mean_word_length': 5.421474358974359, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 6, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '84522', 'license': 'MIT', 'n_tokens_mistral': 1433, 'n_tokens_neox': 1399, 'n_words': 386, 'path': 'project/presentacion.ipynb', 'repo_name': 'MatiasSassoMunoz/mat281_portfolio', 'size': '4006'}