Sistemas inteligentes

Perceptron

O perceptron é um classificador binário.

Cada neurônio produz uma saida, essa saída é então somada a um bias e então passa por um filtro, como a função degrau, para obter a saida binária.

O valor de saída do neurônio é a soma de todas as entradas multiplicadas pelo peso de cada entrada. Ou o produto escalar do vetor de entrada com o vetor de pesos do neurônio.

Só permite possível classificar itens que sejam linearmente separáveis. Pois a região da entrada que ativa um neurônio gera um hiperplano a partir das fronteiras de decisão

Nomenclatura
  • m, número de atributos de entrada
  • n, número de neurônios
  • k, índice do vetor de entrada, l=1..N
  • i, índice do neurônio do atributo, i=0..m sendo 0 o nó bias

Treinamento do Perceptron

No trinamento supervisionado, um conjunto de dados com entradas e saídas esperadas para cada entrada é dividido entre dois conjuntos. O conjunto de teste e o conjunto de treinamento.

O conjunto de treinamento é utilizado para a atualização dos pesos dos neurônios. Enquanto o conjunto de teste é utilizado para avaliar o desempenho da rede com dados mais genéricos, que o classificador não tenha visto antes.

Topologia do perceptron

Classificador com 3 entradas e 2 saídas
-1
O 4º nó na camada de entrada é o bias, com valor fixado em -1

Exemplos com Perceptron

Portas lógicas implementadas com perceptron

AND

OR

XOR

MPL (Multilayer Perceptron)

Possuem camadas escondida, camadas que estão entre a entrada e a saida. E para cada camada adicional existirá uma nova matriz de pesos sinápticos.

Diferente do perceptron, permite funções de ativação diferente da função degrau. O uso de funções contínuas permite a utilização do MLP em problemas de regressão.

Toda camada oculta possui seu próprio nó bias que não está conectado a nenhum nó da camada anterior. E uma função de ativação que pode ser diferente para cada camada.

Possui aplicações em sistemas de classificação com classes não linearmente separáveis, e em problemas com saídas contínuas, como regressão não linear e predição de séries temporais

Nomenclatura
  • m, número de atributos (variáveis) de entrada
  • n, número de neurônios na camada de saída
  • p, número de neurônios na camada escondida
  • N, número de vetores de entrada (amostras)
  • l, índice do vetor de entrada, l=1..N
  • i, índice do neurônio do atributo, i=0..m sendo 0 o nó bias
  • j, índice do vetor do neurônio na camada escondida
  • k, índice do vetor do neurônio na camada de saida

Topologia

Classificador com 6 nós de entrada, duas camadas escondidas com 4 nós e 2 nós de saída
-1-1-1

Exemplo XOR

Tipos de redes:
  • Redes Feed-Forward.
  • Redes Back-Propagation,
Funções de ativação:

Log-Sigmoid

Tangente Hiperbólica

Linear

Rectified Linear Unit (ReLU)

SoftMax

Fluxo de um modelo neural com aprendizado supervisionado