<jupyter_start><jupyter_text><jupyter_code>import spacy
!pip install --upgrade spacy
!pip install -U spacy-lookups-data
!python -m spacy download pt_core_news_lg
from google.colab import drive
drive.mount('/content/drive')
infile = open('/content/drive/My Drive/arquivos_txt/corpus_teste.txt', 'r')
conteudo = infile.read()
conteudo
nlp = spacy.load("pt_core_news_lg")
doc = nlp(conteudo)
tokens = [token for token in doc]
tokens
tokens = [token.orth_ for token in doc]
tokens[0]
tokens = [token.orth_ for token in doc if token.is_alpha]
tokens
tokens = [token.orth_ for token in doc if token.is_digit]
tokens
tokens = [token.orth_ for token in doc if token.is_punct]
tokens
texto = "Os Giants começaram com a posse de bola, e mostraram logo que iriam alongar ao máximo suas posses de bola."
doc = nlp(texto)
lemmas = [token.lemma_ for token in doc if token.pos_ == 'VERB']
lemmas
doc = nlp(conteudo)
etiquetas = [(token.orth_, token.pos_) for token in doc]
etiquetas
doc = nlp(texto)
etiquetas = [(token.pos_, token.tag_) for token in doc]
etiquetas
doc = nlp(conteudo)
entidades = list(doc.ents)
entidades
entidades_detalhes = [(entidade, entidade.label_) for entidade in doc.ents]
entidades_detalhes
texto = "A gente sabe que, quando uma pessoa está mentindo, inconscientemente, isso afeta a produção do texto. Mudam as palavras que ela usa e as estruturas do texto. Além disso, a pessoa costuma ser mais assertiva e emotiva. Então, uma das formas de detectar textos enganosos é medir essas características”, explica o professor <NAME>, do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP, em São Carlos. Pesquisador do Núcleo Interinstitucional de Linguística Computacional (NILC), Thiago é o coordenador do projeto que resultou na criação da plataforma e na publicação do artigo Contributions to the Study of Fake News in Portuguese: New Corpus and Automatic Detection Results, apresentado no final de setembro na 13ª Conferência Internacional de Processamento Computacional do Português"
doc = nlp(texto)
entidades = list(doc.ents)
entidades
entidades_detalhes = [(entidade, entidade.label_) for entidade in doc.ents]
entidades_detalhes
from spacy import displacy
html = displacy.render(doc, style='ent')
output_path = open('/content/drive/My Drive/arquivos_txt/entidades_nomeadas.html', 'w', encoding='utf-8').write(html)
doc = nlp(conteudo)
sintatica = [(token.orth_, token.dep_) for token in doc]
sintatica
texto = "Os Giants começaram com a posse de bola, e mostraram logo que iriam alongar ao máximo suas posses de bola."
doc = nlp(texto)
svg = displacy.render(doc, style='dep')
output_path = open('/content/drive/My Drive/arquivos_txt/analise_dependencia.svg', 'w', encoding='utf-8').write(svg)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.09123954925481643, 'fraction_numerical': 0.0018175209014903672, 'mean_word_length': 5.536817102137767, 'pattern_counts': {'":': 0, '<': 6, '<?xml version=': 0, '>': 6, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '604875', 'license': 'MIT', 'n_tokens_mistral': 966, 'n_tokens_neox': 944, 'n_words': 326, 'path': 'Colab_Curso_Pyhton_Aula_3_spaCy.ipynb', 'repo_name': 'Muramatsu2602/nlp-intro', 'size': '2757'}