Discriminantes Lineares

Como pode-se observar na seção 4.2, a transformada de PCA é um método linear não supervisionado de extração de características que assume que os dados possuam uma distribuição Gaussiana [13]. Essas características possibilitam a ocorrência de problemas como aquele ilustrado nas figuras 6, 7 e 8. Para evitar tais problemas, pode-se aplicar algoritmos de seleção de características ou utilizar extratores de características que utilizam informações da distribuição das classes no espaço original. Através de análise de discriminantes esses problemas podem ser evitados, pois trata-se de um método que utiliza informações das categorias associadas a cada padrão para extrair linearmente as características mais discriminantes. Em análise de discriminantes, a separação inter-classes é enfatizada através da substituição da matriz de covariância total do PCA por uma medida de separabilidade como o critério Fisher. O critério Fisher se trata da determinação dos auto-vetores de $S_w^{-1} \cdot S_b$, sendo que $S_w$ é a matriz de espalhamento intra-classes e $S_b$ é a matriz de espalhamento inter-classes. Ou seja, esse método extrai coeficientes que minimizam o espalhamento de padrões de mesma classe entre classes e maximizam o espalhamento de padrões de classes diferentes. Em geral, essa abordagem possibilita a obtenção de resultados melhores que o PCA para redução de dimensionalidade. Por exemplo, no caso ilustrado na figura 3, o discriminante linear de Fisher iria determinar, como primeiro vetor da base, exatamente aquele determinado pelo segundo auto-vetor no caso de PCA, ou seja, o vetor cujo auto-valor é 0.0014 na figura 7. O principal problema dessa abordagem está em sua incapacidade em obter bons resultados se aplidada a classes com distribuição côncava e com interceção com outras classes, como no caso de dados com distribuição similar aos da figura 9 (em todas as dimensiões). Nesse caso, a transformada vai tentar minimizar a variação intra-classe e maximizar a variação inter-classes, o que pode resultar em uma representação dos dados pior do que a original para classificadores como os k-vizinhos mais próximos.

Figura: Exemplo de distribuição que pode falhar com um discriminante linear.

Maiores detalhes a respeito de discriminantes lineares podem ser obtidos em [12].