Conforme mencionado anteriormente, uma das partes mais importantes na redução da dimencionalidade é a escolha de uma função critério. Em seleção de características, o objetivo das funções critério é minimizar o erro de classificação. Dessa forma, dado um conjunto de características , um exemplo de função critério é: , sendo a probabilidade de erro de um classificador usando como conjunto de características. Essa probabilidade de erro pode ser determinada através da taxa de acerto de um classificador ou da distância entre as classes de padrões de treinamento no espaço de características. A seguir, serão descritas suscintamente algumas funções critério conhecidas.