<jupyter_start><jupyter_text>NoBudgetScience - Miguezômetro - Links quebrados no ScieloEsse notebook contém os passos para poder executar a testagem de links dos artigos do Scielo. Para rodar cada célula clique no botão de play no lado esquerdo ou tecle "ctrl+enter".  Configuração do ambientePrimeiramente, é necessário que este notebook tenha acesso aos dados do drive, que será de onde você vai ler as dataframes, portanto, rode a próxima célula, autorize a montagem, e pode seguir em frente.<jupyter_code>from google.colab import drive
drive.mount('/content/drive')<jupyter_output><empty_output><jupyter_text>Esses são os dados que iremos usar, temos que decidir como vamos dividí-los entre nós.<jupyter_code>!ls drive/'Shared drives'/'Projeto Miguezômetro'/Dados/dividido_por_journal<jupyter_output><empty_output><jupyter_text>Carregue as bibliotecas e inicialize a função<jupyter_code>import requests
import pandas as pd
def test_if_link_works(url):

    try:
        response = requests.get(url)
    except:
        return False
    else:
        if response.status_code != requests.codes.ok:
            return False
        else:
            return True<jupyter_output><empty_output><jupyter_text>Análise dos links Mude a variável arquivo_que_vc_vai_testar para que seja o id do journal que você vai usar pra sua análise<jupyter_code>arquivo_que_vc_vai_testar = "1809-5267"
caminho_para_arquivo = f"drive/Shared drives/Projeto Miguezômetro/Dados/dividido_por_journal/{arquivo_que_vc_vai_testar}_info.csv"
df = pd.read_csv(caminho_para_arquivo)<jupyter_output><empty_output><jupyter_text>Essa é a tabela que você carregou para a sua análise:<jupyter_code>df<jupyter_output><empty_output><jupyter_text>Ok, agora vamos testar todos os links. Como falado anteriormente, esse passo é demorado e a eficiência vai depender da quantidade de links que você tem em sua tabela e a velocidade da sua conexão.<jupyter_code>df['link_funciona'] = df['links'].apply(lambda url: test_if_link_works(url))<jupyter_output><empty_output><jupyter_text>Agora que testamos todos os links, vamos salvar o dado final processado.<jupyter_code>df.to_csv(f"drive/Shared drives/Projeto Miguezômetro/Dados/divididos_por_journal_testados/{arquivo_que_vc_vai_testar}_testado.csv", index=False)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.07298001737619461, 'fraction_numerical': 0.0034752389226759338, 'mean_word_length': 6.086153846153846, 'pattern_counts': {'":': 0, '<': 29, '<?xml version=': 0, '>': 29, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '7', 'dir': 'jupyter-structured-clean-dedup', 'id': '535220', 'license': 'BSD-2-Clause', 'n_tokens_mistral': 836, 'n_tokens_neox': 811, 'n_words': 209, 'path': 'scielo_scraper/src/testando_links.ipynb', 'repo_name': 'No-Budget-Science-Hack-Week-2020/miguezometro', 'size': '2302'}