<jupyter_start><jupyter_text>[Conjunto de dados de classificação de gênero IMDb](https://www.kaggle.com/hijest/genre-classification-dataset-imdb) IMDb (um acrônimo para Internet Movie Database) é uma base de dados online de informação relacionada a filmes, programas de televisão, vídeos caseiros, jogos, e conteúdos de streaming online - incluindo elenco, equipe de produção e biografias pessoais, resumos de tramas, classificações, e críticas de fãs e críticos. Desde Dezembro de 2020, IMDb tem aproximadamente 7,5 milhões de títulos (incluindo episódios) e 10,4 milhões de personalidades na sua base de dados, bem como 83 milhões de utilizadores registrados.<jupyter_code>import pandas as pd
from matplotlib import pyplot as plt
from google.colab import files
files.upload()
train_df = pd.read_csv('train_data.txt', sep =':::', header = None, engine = 'python')
train_df.columns = ['id', 'title', 'genre', 'description']
train_df.head()
test_df = pd.read_csv('test_data_solution.txt', sep = ':::', header = None, engine = 'python')
test_df.columns = ['id', 'title', 'genre', 'description']
test_df.head()
data_type = {0: 'train_data', 1: 'test_data'}

for i, df in enumerate([train_df, test_df]):
  print(f'Dataset "{data_type[i]}" info:')
  print(df.info())
  print('Number of unique genres: ', df['genre'].nunique())
  print('='*42)
  print('\n')
plt.figure(figsize=(15,5))
for i, df in enumerate([train_df, test_df]):
  data = df.groupby('genre').count()
  plt.subplot(1, 2, i+1)
  plt.bar(data.index, data['id'])
  plt.xlabel('Genre')
  plt.ylabel('Number of entries')
  plt.title(f'Genres distribution {data_type[i]}')
  plt.xticks(rotation=90)
plt.show()
del data_type<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.14294083186877563, 'fraction_numerical': 0.013473930872876391, 'mean_word_length': 5.887096774193548, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 1, 'lorem ipsum': 0, 'www.': 1, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '499262', 'license': 'MIT', 'n_tokens_mistral': 637, 'n_tokens_neox': 623, 'n_words': 172, 'path': 'dataset.ipynb', 'repo_name': 'audreyemmely/pln', 'size': '1707'}