<jupyter_start><jupyter_text>**Lendo os dados pelo pdf**<jupyter_code>data_frames = get_data(camelot.read_pdf('../Dados/provided/EDITAL PROECE PROGRAD PROPP AGINOVA No 59, DE 04 DE JUNHO DE 2019.pdf', pages='1-54', flavor='lattice', strip_text='\n'))
df_pdf = reduce(lambda left,right: pd.merge(left,right,on=[0,1,2,3,4],how='outer'), data_frames)
#df_pdf.drop(0, inplace=True)
#df_pdf.rename(columns={
#    0:'Estudante', 1:'Unidade', 2:'Título do Trabalho', 
#    3:'Programa', 4:'Data da apresentação'},inplace=True)
#df_pdf.reset_index().drop('index',axis=1).head()
#GRAVAR OS DADOS OBTIDOS NUM ARQUIVO
#with open('docs/total.json','w', encoding='utf-8') as file: file.write(json.dumps(df_pdf.to_dict(), ensure_ascii=False, indent=4))        
#df_pdf.to_excel('docs/total.xlsx', sheet_name='Sheet1', index=False)<jupyter_output><empty_output><jupyter_text>***<jupyter_code>df = pd.read_excel('../Dados/generated/integraufms2019.xlsx')
df.head()
#df.equals(df_pdf.reset_index().drop('index',axis=1))
df.groupby(['Unidade']).groups.keys()
len(df.groupby(['Unidade']).groups['CPPP'])
df['Programa'].value_counts()<jupyter_output><empty_output><jupyter_text>**Quantidade de apresentações por campus**<jupyter_code>#ordenado = df.groupby(['Unidade']).count().reset_index().sort_values(by='Estudante',ascending=False)[['Unidade','Estudante']].reset_index().drop('index',axis=1)
trabalhos_submetidos = pd.DataFrame(df['Unidade'].value_counts()).rename(columns={'Unidade':'Quantidade'}) #mesma coisa para obter o resultado acima
trabalhos_submetidos
#ordenado
#qtd_unidade = ordenado.rename(columns={'Estudante':'Quantidade'}).set_index('Unidade')
# qtd_unidade.set_index('Unidade',inplace=True)
#qtd_unidade
# qtd_excel.reset_index() voltar para o q era antes
#GRAVA ESSE RESULTADO NUMA PLANILHA
#qtd_unidade.to_excel('docs/qtd_unidade.xlsx')
#https://matplotlib.org/2.0.0/examples/color/named_colors.html
colors = ['#1f77b4', '#ff7f0e', '#2ca02c', '#d62728', '#9467bd', '#8c564b', '#e377c2', '#7f7f7f', '#bcbd22', '#17becf', 'khaki','b','teal','#99ff99','#ffcc99', '#52BE80', '#F7DC6F', '#6C3483', 'crimson', 'darkturquoise', '#4A235A', '#F39C12', 'green', 'hotpink', '#800000', '#FFFF00', '#00FF00', '#FF00FF', '#0000FF', '#FF9999', 'red', '#800080', '#CD5C5C', '#E59866', '#1F618D', '#6E2C00', '#17202A', '#85C1E9', '#F1948A']
#colors = ['#1f77b4', '#ff7f0e', '#2ca02c', '#d62728', '#9467bd', '#8c564b', '#e377c2', '#7f7f7f', '#bcbd22', '#17becf', 'khaki']
#FUNCIONANDO
#unidade_pie = qtd_unidade.plot.pie(y='Quantidade',figsize=(19, 19), shadow=True, autopct='%1.2f%%', colors=colors)
unidade_pie = trabalhos_submetidos.plot.pie(y='Quantidade',figsize=(22, 22), shadow=True, autopct='%1.2f%%', colors=colors)
unidade_pie_fig = unidade_pie.get_figure().savefig('../Resultados/img/unidade_pie_2019.pdf')
unidade_pie_fig
# ax = qtd_unidade.plot(color='teal',figsize=(10,10), label='Quantidade', legend=False)
# unidade_bar = qtd_unidade.plot(color='teal',figsize=(10,10), label='Quantidade', kind='bar', ax=ax)
unidade_bar = qtd_unidade.plot.bar(y='Quantidade',figsize=(10,10), legend=False,color = colors)
for p in unidade_bar.patches: unidade_bar.annotate('{}'.format(str(p.get_height())), (p.get_x(), p.get_height()))
unidade_bar_fig = unidade_bar.get_figure().savefig('../Resultados/img/unidade_bar_2019.pdf')
#unidade_bar.get_figure()<jupyter_output><empty_output><jupyter_text>**Quantidade por programa**<jupyter_code>ordenado = df.groupby(['Programa']).count().reset_index().sort_values(by='Estudante',ascending=False)[['Programa','Estudante']].reset_index().drop('index',axis=1)
qtd_programa = ordenado.rename(columns={'Estudante':'Quantidade'}).set_index('Programa')
qtd_programa
#qtd_programa.to_excel('docs/qtd_programa.xlsx')
programa_pie = qtd_programa.plot.pie(y='Quantidade',figsize=(10, 10), shadow=True, autopct='%1.2f%%', colors=colors).legend(loc='upper right')
programa_pie_fig = programa_pie.get_figure()
programa_pie_fig.savefig('../Resultados/img/programa_pie_2019.pdf')
#ax = qtd_programa.plot(color='teal',figsize=(10,10), label='Quantidade', legend=False)
programa_bar = qtd_programa.plot.bar(y='Quantidade',figsize=(10,10), legend=False, color=colors)
for p in programa_bar.patches: programa_bar.annotate('{}'.format(str(p.get_height())), (p.get_x(), p.get_height()))
programa_bar_fig = programa_bar.get_figure()
programa_bar_fig
programa_bar_fig.savefig('../Resultados/img/programa_bar_2019.pdf')<jupyter_output><empty_output><jupyter_text>**Quantidade de apresentacoes que cada programa lançou em cada unidade**<jupyter_code>ordenado_unidade = df.groupby(['Programa','Unidade']).count().reset_index().sort_values(by='Unidade',ascending=True)[['Programa','Unidade','Estudante']].reset_index().drop('index',axis=1)
qtd_proguni_unid = ordenado_unidade.rename(columns={'Estudante':'Quantidade'}).set_index('Unidade')
#qtd_proguni_unid.loc['CPPP']['Quantidade'].sum()
#qtd_proguni_unid.loc['CPPP'][['Programa','Quantidade']]
qtd_proguni_unid
qtd_proguni_unid.to_excel('../Resultados/docs/qtd_proguni_unid_2019.xlsx')
ordenado_prog = df.groupby(['Programa','Unidade']).count().reset_index().sort_values(by='Programa',ascending=True)[['Programa','Unidade','Estudante']].reset_index().drop('index',axis=1)
qtd_proguni_prog = ordenado_prog.rename(columns={'Estudante':'Quantidade'}).set_index('Programa')
#qtd_proguni_prog.loc['CPPP']['Quantidade'].sum()
#qtd_proguni_prog.loc['CPPP'][['Programa','Quantidade']]
qtd_proguni_prog
qtd_proguni_prog.to_excel('../Resultados/docs/qtd_proguni_prog_2019.xlsx')
dfs = {'Ordenado por Unidade':qtd_proguni_unid, 'Ordenado por Programa':qtd_proguni_prog}
dfs
writer = pd.ExcelWriter('../Resultados/docs/prog_unid_2019.xlsx', engine='xlsxwriter')
for sheet_name in dfs.keys(): dfs[sheet_name].to_excel(writer, sheet_name=sheet_name, index=True)
writer.save()<jupyter_output><empty_output><jupyter_text>**Alunos que submeteram mais de um trabalho**<jupyter_code>x = df.groupby(['Estudante','Unidade']).count().reset_index()[['Estudante','Unidade','Data da apresentação']].reset_index().sort_values(by='Estudante',ascending=True).drop('index',axis=1)
estudante = x.rename(columns={'Data da apresentação':'Quantidade'})
aluno_excel = estudante[estudante['Quantidade']>1].reset_index().drop('index',axis=1)
aluno_excel
aluno_excel.to_excel('../Resultados/docs/qtd_aluno_2019.xlsx',index=False)<jupyter_output><empty_output><jupyter_text>**Quantidade de apresentacoes em cada dia**<jupyter_code>#x = df.groupby(['Data da apresentação']).count().reset_index()[['Data da apresentação','Estudante']].reset_index().sort_values(by='Data da apresentação',ascending=True).drop('index',axis=1)
#apresentacao = x.rename(columns={'Estudante':'Quantidade'}).set_index('Data da apresentação')
#apresentacao
#apresentacao_pie = apresentacao.plot.pie(y='Quantidade',figsize=(10, 10), shadow=True, autopct='%1.2f%%',colors=colors)
#apresentacao_pie_bar = apresentacao_pie.get_figure()
#apresentacao_pie_bar.savefig('../Resultados/img/apresentacao_pie_2019.pdf')
#'#1f77b4', '#ff7f0e', '#2ca02c', '#d62728', '#9467bd'
#apresentacao_bar = apresentacao.plot(color='m',figsize=(10,10), kind='bar', legend=False)
#apresentacao_bar = apresentacao.plot.bar(y='Quantidade',figsize=(10,10), color=['#1f77b4', '#ff7f0e', '#2ca02c', '#d62728', '#9467bd'], legend=False)
#for p in apresentacao_bar.patches: apresentacao_bar.annotate('{}'.format(str(p.get_height())), (p.get_x(), p.get_height()))
#apresentacao_bar_fig = apresentacao_bar.get_figure()
#apresentacao_bar_fig
#apresentacao_bar_fig.savefig('../Resultados/img/apresentacao_bar_2019.pdf')<jupyter_output><empty_output><jupyter_text>**Submissoes do PET por Campus**<jupyter_code>x = df.groupby(['Programa','Unidade']).count().reset_index()[['Programa','Unidade','Estudante']].reset_index().sort_values(by='index',ascending=True).drop('index',axis=1)
pet = x.rename(columns={'Estudante':'Quantidade'}).set_index('Programa')
pets = pet.loc[['PET']]
pets = pets.sort_values('Quantidade', ascending=False)
pets = pets.set_index('Unidade')
pets
pets_pie = pets.plot.pie(y='Quantidade',figsize=(15, 15), shadow=True, autopct='%1.2f%%', colors=colors)
pets_pie.get_figure().savefig('../Resultados/img/pets_pie_2019.pdf')
pets_bar = pets.plot.bar(y='Quantidade',figsize=(10, 10), color=colors, legend=False)
for p in pets_bar.patches: pets_bar.annotate('{}'.format(str(p.get_height())), (p.get_x(), p.get_height()))
pets_bar.get_figure().savefig('../Resultados/img/pets_bar_2019.pdf')<jupyter_output><empty_output><jupyter_text>**PORCENTAGEM RELACIONADA A QTD DE ALUNOS ATIVOS POR CAMPUS**<jupyter_code>df_all = pd.read_excel('../Dados/generated/Alunos-Matriculados.xlsx')
df_all['unidade'].value_counts().keys()
df_all['unidade'].value_counts()<jupyter_output><empty_output><jupyter_text>**CRIA UM DATAFRAME COM AS CHAVES DO DICT, E COM OS VALUES DE CADA UNIDADE**<jupyter_code>alunos = pd.DataFrame(df_all['unidade'].value_counts()).rename(columns={'unidade':'Quantidade'})
alunos
trabalhos_submetidos
porcentagem = (trabalhos_submetidos/alunos).dropna()
porcentagem.columns
porcentagem.sort_values(by=['Quantidade'],ascending=False,inplace=True)
porcentagem<jupyter_output><empty_output><jupyter_text>**COMO O PANDAS CALCULA A PORCENTAGEM**Ele pega a soma total das colunas e considera essa soma sendo 100%, e cada tupla sendo x, dai elefaz a regra de 3 e obtem o valor1.579963 - 100%0.15242494226327943 - x1.579963x = 15.242494226327944x = 15.242494226327944/1.5799639.64737416403292x = (0.15242494226327943*100)/1.579963x = 9.64737416403292<jupyter_code>porcentagem_fig = porcentagem.plot.pie(subplots=True,figsize=(20, 20), shadow=True, autopct='%1.2f%%', colors=colors)
porcentagem_fig[0].get_figure().savefig('../Resultados/img/porcentagem_2019.pdf')<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.19471473932192973, 'fraction_numerical': 0.04967735327255966, 'mean_word_length': 10.623809523809523, 'pattern_counts': {'":': 0, '<': 45, '<?xml version=': 0, '>': 46, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '11', 'dir': 'jupyter-structured-clean-dedup', 'id': '394978', 'license': 'MIT', 'n_tokens_mistral': 4169, 'n_tokens_neox': 3904, 'n_words': 444, 'path': 'Notebooks/Integra UFMS 2019.ipynb', 'repo_name': 'danbailo/DataAnalysis-IntegraUFMS2019', 'size': '9763'}