Visão da árvore de decisão
As árvores de decisão, um conceito fundamental em aprendizado de máquina, fornecem uma estrutura transparente e intuitiva para a tomada de decisões. Em essência, uma árvore de decisão é uma estrutura hierárquica que orienta sistematicamente uma série de escolhas baseadas em recursos de entrada, culminando em uma decisão ou resultado final.
As árvores de decisão são versáteis, encontrando aplicações tanto em tarefas de classificação quanto de regressão. A sua simplicidade e interpretabilidade tornam-nos inestimáveis ​​para a compreensão de processos de decisão complexos, enquanto a sua capacidade de lidar com relações não lineares e adaptabilidade a vários domínios sublinham a sua importância no panorama da aprendizagem automática.
Uma árvore de decisão é um modelo hierárquico que representa uma série de decisões e suas possíveis consequências. Cada árvore de decisão consiste em vários componentes que definem coletivamente sua estrutura e processo de tomada de decisão:
Numa árvore de decisão, a “raiz” refere-se ao nó inicial a partir do qual a árvore se ramifica. É o ponto de partida para o processo de tomada de decisão. O nó raiz representa todo o conjunto de dados e apresenta uma questão ou condição com base em um recurso específico. Esta questão ou condição serve como o primeiro ponto de decisão na árvore.
O nó raiz é crucial para determinar como o conjunto de dados será dividido em subconjuntos à medida que a árvore de decisão avança. O recurso e o limite escolhidos no nó raiz desempenham um papel fundamental no direcionamento das decisões subsequentes tomadas nos nós intermediários e, em última análise, levam aos resultados finais nos nós folha.
Um nó de decisão em uma árvore de decisão é um ponto onde uma decisão é tomada com base no valor de um determinado recurso. Representa uma pergunta ou condição de teste que orienta o fluxo da árvore. O nó de decisão possui ramificações, cada uma correspondendo a um resultado possível da decisão. O processo de chegar aos nós de decisão e seguir os ramos continua até chegar aos nós terminais (folhas), onde a decisão ou previsão final é feita com base no caminho percorrido pela árvore.
Numa árvore de decisão, os ramos representam os diferentes caminhos ou resultados que resultam das decisões tomadas nos nós de decisão. Cada nó de decisão apresenta uma questão ou condição baseada em uma característica específica, e os ramos correspondem às possíveis respostas ou resultados. Seguir uma ramificação leva ao próximo nó de decisão ou, em última análise, a um nó terminal (folha) onde uma decisão ou previsão final é feita. As ramificações ilustram o fluxo do processo de tomada de decisão, com cada ramificação representando uma trajetória diferente com base nas condições especificadas pelos nós de decisão.
No contexto de uma árvore de decisão, as folhas referem-se aos nós terminais da estrutura em árvore. Esses nós não tomam nenhuma decisão adicional, mas representam os resultados finais ou previsões. Cada folha contém o resultado do processo de decisão que ocorreu ao longo do caminho desde a raiz até aquela folha específica. Por exemplo, em um problema de classificação, uma folha pode representar um rótulo de classe específico, enquanto em um problema de regressão pode conter um valor numérico. As folhas significam as decisões ou previsões finais feitas pela árvore de decisão com base nas condições avaliadas durante o processo de tomada de decisão.
Recurso e limite:
Em uma árvore de decisão, um “recurso” refere-se a um atributo ou variável específica usada para tomar decisões em cada nó. A construção da árvore envolve a seleção de recursos que ajudam a particionar o conjunto de dados de forma eficaz.
O “limiar” está associado a recursos, especialmente aqueles que são contínuos. Para um determinado recurso, o limite representa um valor que separa os dados em dois grupos. O nó de decisão usará uma regra como “se o recurso A for maior que o limite T, vá para a esquerda; caso contrário, vá para a direita.
Referência: Construção da Árvore de Decisão
As medidas de impureza são usadas em árvores de decisão para avaliar quão bem uma divisão separa os dados em grupos homogêneos. O objetivo na construção da árvore de decisão é minimizar as impurezas. Ao escolher um recurso e limite para dividir os dados, o algoritmo procura a divisão que minimiza a impureza nos nós filhos resultantes.
Uma impureza menor indica que os nós resultantes são mais homogêneos, levando a uma árvore de decisão mais eficaz. O algoritmo da árvore de decisão se esforça para encontrar as divisões que produzem a maior redução na impureza, resultando em uma árvore que reflete com precisão os padrões subjacentes nos dados.
As medidas de impureza comuns são impureza de Gini e entropia.
1. Impureza de Gini:
A impureza de Gini é uma medida de quantas vezes um elemento escolhido aleatoriamente em um conjunto de dados seria classificado incorretamente se fosse rotulado aleatoriamente de acordo com a distribuição dos rótulos no conjunto de dados. É comumente usado como medida de impureza em árvores de decisão, principalmente para problemas de classificação. A impureza de Gini para um determinado nó com múltiplas classes é calculada usando a fórmula:
onde pi representa a probabilidade da classe i no nó. A impureza de Gini é minimizada quando um nó é puro (ou seja, todas as instâncias pertencem à mesma classe), resultando em uma impureza de Gini de 0. Por outro lado, um nó maximamente impuro, onde as instâncias são distribuídas uniformemente entre as classes, tem uma impureza de Gini de 0,5.
A entropia, no contexto das árvores de decisão, é uma medida de impureza ou desordem em um conjunto de dados. É usado para quantificar a incerteza associada à distribuição de classes em um nó. O objetivo é criar subconjuntos mais homogêneos e, portanto, com menor entropia, contribuindo para um modelo de árvore de decisão mais eficaz. A fórmula da entropia é dada por:
onde pi é a probabilidade da classe i no nó e n é o número de classes.
3. Ganho de informação:
Ganho de informação é um conceito usado em árvores de decisão para quantificar a eficácia de um recurso específico na redução da incerteza ou desordem (medida pela entropia) em um conjunto de dados. Representa a quantidade de informações obtidas pela divisão dos dados com base nesse recurso.
Um maior ganho de informação indica uma divisão mais informativa, e os algoritmos da árvore de decisão usam essa métrica para determinar os recursos e limites ideais para a construção da árvore. A fórmula para ganho de informação é:
Entropia(pai) é a entropia do nó pai antes da divisão. N é o número total de instâncias no nó pai. Ni é o número de instâncias no i-ésimo nó filho. Entropia (childi) é a entropia do i-ésimo nó filho após a divisão.
No exemplo de recomendação de livro personalizado, a árvore de decisão está estruturada da seguinte forma. O nó raiz apresenta a questão de decisão inicial, perguntando se o leitor está interessado em Ficção ou Não-Ficção. Os nós de decisão subsequentes refinam ainda mais as recomendações com base nas preferências do leitor.
Se o leitor preferir Ficção, a árvore investiga se ele se inclina para Ficção Científica ou Mistério. Alternativamente, se o leitor optar pela Não-Ficção, a árvore de decisão explora se o seu interesse reside na História ou na Autoajuda.
Finalmente, os nós terminais, ou folhas, oferecem recomendações de livros personalizadas com base nessas decisões. Sugerindo um romance popular de ficção científica para Ficção-Ciência. Ficção, um livro de mistério atraente para Ficção-Mistério. Um livro de história bem revisado para História de Não-Ficção e um livro de autoajuda altamente avaliado para Autoajuda de Não-Ficção. Este processo estruturado de tomada de decisão garante que as recomendações do livro estejam alinhadas com as preferências literárias únicas do leitor.
Referência: Árvores de decisão do Scikit
Nesta exploração das árvores de decisão, desvendamos a sua estrutura fundamental, compreendendo o processo hierárquico de tomada de decisão. Navegamos do nó raiz até as folhas terminais, compreendendo como características, limites e medidas de impureza guiam a construção da árvore.
Confira nosso outro blog:
Pronto para mergulhar mais fundo? Explore nosso curso de aprendizado de máquina para projetos práticos, orientação especializada e cursos especializados.