<jupyter_start><jupyter_text><jupyter_code>import requests
from bs4 import BeautifulSoup
import pandas as pd<jupyter_output><empty_output><jupyter_text>Página: https://statisticstimes.com/tech/top-computer-languages.php<jupyter_code># coletando a página

html = requests.get("https://statisticstimes.com/tech/top-computer-languages.php").content # não esqueça o .content
soup = BeautifulSoup(html, 'html5lib')
# para parágrafo a tag é "p"

primeiro_paragrafo = soup.find('p')
primeiro_paragrafo
primeiro_paragrafo.text
todos_paragrafos = soup.find_all('p')
todos_paragrafos
todos_paragrafos[4]
todos_paragrafos[4].text
# vamos pegar todos os links: a tag para link é 'a'

todos_links = soup.find_all('a')
todos_links
todos_links[10]
# inspecionando e capturando tabela:

tabela = soup.find('table',{'id' : 'table_id1'}).find('tbody')
tabela
linhas = tabela.find_all('tr')
for linha in linhas:
    dado = linha.find_all('td')
    print(dado[0].text)
    print(dado[2].text)
    print(dado[3].text)
    print('------------')
linguagem = []
pontos = []
for linha in linhas:
    dado=linha.find_all('td')
    linguagem.append(dado[2].text)
    pontos.append(dado[3].text)
print(linguagem)
print(pontos)
df = pd.DataFrame(linguagem, columns=['Linguagem'])
df
df['pontos'] = pontos
df<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.14908256880733944, 'fraction_numerical': 0.009174311926605505, 'mean_word_length': 5.712820512820513, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 9, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '566271', 'license': 'MIT', 'n_tokens_mistral': 539, 'n_tokens_neox': 535, 'n_words': 91, 'path': 'Beautiful_Soup_WebScraping.ipynb', 'repo_name': 'julianovale/ferramentas', 'size': '1308'}