Regra dos K-vizinhos mais próximos

Trata-se de um método de classificação que não possui processamento na fase de treinamento. Para cada padrão de teste, é medida a distância entre ele e todos os padrões de treinamento. Verifica-se a quais classes pertencem os $K$ padrões mais próximos e a classificação é feita associando-se o padrão de teste à classe que for predominante. Tomando-se $k=1$, obtém-se o classificador de vizinho mais próximo, que é muito comum em aplicações de reconhecimento de faces após a extração de características usando PCA. A principal vantagem desse método é que ele cria uma superfície de decisão que se adapta à forma de distribuição dos dados de treinamento de forma detalhada, possibilitando a obtenção de boas taxas de acerto quando o conjunto de treinamento é grande ou representa todas as variações possíveis dos dados, principalmente no caso de $k=1$. Valores maiores de $k$ são promovem bons resultados quando a distribuição dos conjuntos possui poucas sobreposições, e quando, por exemplo, um padrão de treinamento da uma classe $A$ cercado por vários da classe $B$ pode ser tratado como uma excessão, e os padrões de teste que ficarem região podem ser classificados como elementos da classe $B$. A principal desvantagem está na complexidade do teste, visto que, para cada padrão de teste, além de ser necessário realizar $P$ medições de distância, sendo $P$ o número de padrões de treinamento, é necessário ordenar os resultados.