<jupyter_start><jupyter_text>Coletando os dados dos professores do dcomp.Lembre-se de usar o inspecionar elementos...<jupyter_code># encoding: utf-8
import requests
from bs4 import BeautifulSoup

import sys
sys.setdefaultencoding('utf8')

site= requests.get("http://dcomp.ufsj.edu.br/pessoas/professores/")
print(site.encoding)
site.encoding='utf8'
soup=BeautifulSoup(site.content,"html.parser")<jupyter_output><empty_output><jupyter_text>Aqui foi usado algo novo... combinamos o findAll com uma pesquisa personalizada por uma determinada classe.<jupyter_code>corpo=soup.findAll("div",{"class":"profile-entry"})
print("Total de Professores:",len(corpo))
print(corpo)<jupyter_output><empty_output><jupyter_text>Agora vamos melhorar a visualização.<jupyter_code>for i in corpo:
    print("Nome:",i.select("h1")[0].text.decode("ascii"))
#     print("Área de pesquisa:",i.findAll("p")[2].text)
#     print("Lattes:",i.findAll("a")[-1]['href'])
    print("-------")<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.16565656565656567, 'fraction_numerical': 0.00808080808080808, 'mean_word_length': 7.190082644628099, 'pattern_counts': {'":': 1, '<': 13, '<?xml version=': 0, '>': 13, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '434573', 'license': 'MIT', 'n_tokens_mistral': 371, 'n_tokens_neox': 366, 'n_words': 60, 'path': '.ipynb_checkpoints/exemplo3-checkpoint.ipynb', 'repo_name': 'Exterminus/WebScrapingSecomp', 'size': '990'}