Validade e Confiabilidade em Testes Psicológicos

Validade

Fornece uma medida direta de quão bem o teste cumpre sua função. Para determinar isso, são necessários critérios externos e independentes daquilo que o teste tenta medir.

Tipos de Validade:

Validade de Construto (Teórica, Estrutural ou Fatorial)

Visa determinar se o teste é consistente com o referencial teórico em que se baseia, ou seja, se é uma boa operacionalização do construto que pretende medir.

Requer a acumulação gradual de várias fontes de informação.

Podem ser verificadas correlações com outros instrumentos similares como prova de que o teste mede a mesma área de comportamento que outros com o mesmo propósito. Contudo, se a correlação for muito alta, pode significar que o novo teste é apenas uma repetição do existente.

Exemplo: Verificar se um teste de ansiedade mede empiricamente as três dimensões propostas pela teoria do autor.

Validade de Conteúdo

Realizada por juízes especialistas através da revisão sistemática dos itens do teste. Esta validade é avaliada principalmente na fase inicial de desenvolvimento do teste, desde a escolha dos itens até a especificação da área a ser medida.

Determina se o teste cobre uma amostra representativa da área de comportamento a ser medida.

Validade de Critério (Empírica)

Refere-se à utilidade prática do teste no campo de aplicação, indicando sua eficácia para prever o desempenho individual em atividades específicas.

Validade Concorrente

Envolve determinar se o teste fornece informações similares às que poderiam ser obtidas por outros meios (critério externo) que medem o mesmo atributo. Utilizada para diagnosticar o estado atual, em vez de prever resultados futuros.

O instrumento é considerado válido neste aspecto se fornecer um substituto mais simples, rápido ou menos dispendioso para outra medida já existente.

Exemplo: Comparar os resultados de um teste neuropsicológico (como o Bender) com observações clínicas detalhadas para verificar se o teste oferece uma avaliação mais eficiente.

Validade Preditiva

Avalia a capacidade de um teste, aplicado no presente, de prever o desempenho futuro em uma variável relacionada (o critério). É menos utilizada devido à dificuldade de prever comportamentos em psicologia e de realizar estudos longitudinais longos, mas nem sempre é necessária.

É amplamente utilizada em testes para seleção e classificação de pessoal.

A validade de critério é interpretada pelo coeficiente de correlação (r). Correlação entre variáveis significa covariação, ou seja, até que ponto elas variam juntas. Importante: correlação não implica causalidade.

• Se ambas as variáveis aumentam ou diminuem juntas: correlação positiva (+).
• Se uma variável aumenta e a outra diminui: correlação negativa (-).
• Ausência de relação linear entre as variáveis: r = 0.
• Relação linear perfeita: r = 1 (ou -1). Quanto mais próximo r estiver de 1 ou -1, mais forte a relação linear.
• Validade concorrente: Correlação entre os resultados do teste e as pontuações do critério externo medidos simultaneamente.
• Validade preditiva: Correlação entre as pontuações do teste no presente e as pontuações do critério no futuro.

Validade Aparente

Refere-se não ao que o teste realmente mede, mas ao que ele aparenta medir aos olhos de quem responde. É avaliada durante a aplicação piloto do teste a um pequeno grupo.

Verifica se o teste parece pertinente e adequado para o respondente, o que pode influenciar sua motivação, sinceridade e atitude geral perante a testagem. Busca-se garantir uma atitude positiva e colaborativa.

Exemplo: Para um operário de fábrica, um teste de aptidão mecânica parecerá mais válido se incluir itens relacionados a ferramentas e operações com máquinas.

Importante: Melhorar a validade aparente não garante a melhoria da validade objetiva (de construto, conteúdo ou critério) do teste!

Confiabilidade (ou Fidedignidade)

• Refere-se à consistência ou precisão dos escores obtidos pelas mesmas pessoas quando respondem ao mesmo teste em ocasiões diferentes ou a formas equivalentes do teste. Foca na qualidade dos resultados, não no construto medido (que é o foco da validade).
• Está intimamente relacionada ao erro de medição. A medida de confiabilidade indica qual proporção da variância total dos escores se deve à variância do erro aleatório.
• Refere-se à qualidade do teste como ferramenta de medição.

Métodos de Avaliação da Confiabilidade:

(Quanto mais fontes de evidência, melhor. São descritos no manual do teste e devem ser recalculados sempre que o teste for aplicado em populações diferentes da original).

Métodos com Duas Aplicações

Teste-Reteste

• Aplica-se o mesmo teste duas vezes ao mesmo grupo de pessoas após um determinado intervalo de tempo.
• Condições:
  • O grupo deve ser o mesmo.
  • Nenhum evento significativo que possa afetar o comportamento medido deve ocorrer no intervalo.
  • O intervalo deve ser apropriado (nem tão curto que cause memorização, nem tão longo que permita mudanças reais no traço medido). As correlações tendem a diminuir com intervalos maiores.
  • Deve-se considerar o possível efeito de aprendizagem com a primeira aplicação.
• Calcula-se o coeficiente de correlação entre os escores da primeira e da segunda aplicação (coeficiente de estabilidade).

Formas Paralelas ou Equivalentes

• Os desenvolvedores criam duas versões do teste (Forma A e Forma B) que medem o mesmo construto, com o mesmo número de itens, conteúdo similar e mesmo nível de dificuldade.
• As duas formas são aplicadas ao mesmo grupo (em sequência imediata ou com intervalo).
• Calcula-se o coeficiente de correlação entre os escores das duas formas (coeficiente de equivalência).
• Pouco utilizado devido à dificuldade e custo de criar formas verdadeiramente paralelas.

Métodos com Uma Aplicação

Método das Metades (Split-Half)

• Aplica-se o teste completo uma única vez.
• Posteriormente, os itens do teste são divididos em duas metades comparáveis (ex: itens pares vs. ímpares, primeira metade vs. segunda metade).
• Calcula-se o coeficiente de correlação entre os escores obtidos nas duas metades. Como essa correlação subestima a confiabilidade do teste inteiro (por se basear em metades), aplica-se uma correção (geralmente a fórmula de Spearman-Brown) para estimar a confiabilidade do teste completo.
• Permite obter uma estimativa de confiabilidade (consistência interna) com uma única aplicação.
• A forma de divisão depende das características do teste (ex: divisão par/ímpar é comum, mas em testes de velocidade ou com itens ordenados por dificuldade, outras estratégias podem ser necessárias).

Consistência Interna (Covariância dos Itens)

• Analisa o grau em que os itens de um teste medem o mesmo construto, verificando a correlação média entre todos os itens do teste.
• Os coeficientes mais comuns são o Alfa de Cronbach (para itens com escala de resposta contínua ou politômica) e o Kuder-Richardson (KR-20 ou KR-21) (para itens dicotômicos - certo/errado).
• É uma medida da homogeneidade dos itens.
• Pode ser calculada com uma única aplicação do teste.
• É uma alternativa ao método das metades, especialmente útil para testes curtos ou quando é difícil garantir a equivalência das metades.
• Testes mais longos tendem a ter maior consistência interna (e confiabilidade geral), pois avaliam de forma mais abrangente o construto medido.

Confiabilidade entre Avaliadores

• Verifica a consistência ou o grau de concordância entre as pontuações atribuídas por dois ou mais avaliadores (ou juízes) independentes ao mesmo conjunto de respostas.
• É crucial para testes que envolvem julgamento subjetivo na correção (ex: testes projetivos, questões dissertativas, observação de comportamento).
• Calculada através de coeficientes de correlação (ex: correlação intraclasse - ICC) ou índices de concordância (ex: Kappa de Cohen).
• É, na verdade, uma medida da objetividade da correção, contribuindo para a padronização dos procedimentos.

Tipos de Erro em Testagem

Erro Sistemático (Viés)

• Relacionado à validade.
• Não é um erro aleatório, mas um erro constante e previsível, inerente ao desenho, aplicação ou interpretação do teste, que afeta consistentemente os resultados de um determinado grupo de pessoas.
• Impede uma medição precisa e justa do construto para todos os grupos.
• Qualquer fator que influencie a execução do teste de forma diferencial entre grupos pode ser uma fonte de viés (ex: linguagem inadequada, conteúdo culturalmente específico).
• Faz com que o teste funcione de maneira diferente para diferentes grupos (ex: por gênero, etnia, nível socioeconômico), tornando a probabilidade de sucesso dependente do subgrupo ao qual o indivíduo pertence (funcionamento diferencial do item - DIF).
• Exemplo: Itens de testes de inteligência antigos podem ser enviesados contra crianças de contextos socioeconômicos desfavorecidos se apresentarem objetos ou situações desconhecidas para elas.
• Está relacionado a diferenças culturais e à necessidade de adaptação de testes para diferentes contextos. A adaptação exige a verificação de equivalência em diferentes níveis:
  • Conceitual: Demonstrar que o construto medido tem o mesmo significado em ambas as culturas. Requer pesquisa empírica, pois construtos não são necessariamente universais.
  • Linguística: Garantir que todos os componentes do teste (instruções, itens, formatos de resposta), verbais ou não, tenham o mesmo significado semântico e pragmático em ambas as culturas. Pode envolver tradução, retrotradução, julgamento de especialistas e estudos piloto.
  • Métrica: Assegurar que as propriedades psicométricas do teste (validade, confiabilidade) sejam semelhantes nas diferentes culturas e que os escores tenham o mesmo significado métrico. Em testes normativos, exige a criação de novas normas (escalas) para a população-alvo, pois populações de diferentes locais ou culturas podem não ser equivalentes.
• A validade do construto e do instrumento é limitada pelo seu grau de universalidade. Distinguem-se abordagens:
  • Éticas (Etic): Focam em construtos ou características consideradas universais entre culturas, buscando instrumentos aplicáveis transculturalmente (com devida adaptação).
  • Êmicas (Emic): Focam em construtos ou características específicas de um determinado grupo cultural, requerendo o desenvolvimento de instrumentos específicos para aquela cultura.
• Conceitualmente, a distinção êmica/ética implica verificar se um construto (abordagem ética) tem o mesmo significado na nova cultura antes de aplicar um teste pré-existente, ou se é necessário desenvolver um instrumento específico para aquela cultura (abordagem êmica).

Erro Aleatório de Medição

• Relacionado à confiabilidade.
• Não se deve a falhas na construção do teste em si, mas a fatores aleatórios, imprevisíveis e não sistemáticos que ocorrem durante o processo de medição e afetam os escores de forma inconsistente.
• Está sempre presente em alguma medida, mas pode ser estimado e minimizado. Não deve ser visto como algo puramente negativo, mas como parte inerente de qualquer processo de medição.
• Impede a medição exata do 'escore verdadeiro' (o escore hipotético que seria obtido se não houvesse erro); o escore observado é sempre uma aproximação (Escore Observado = Escore Verdadeiro + Erro).
• Fontes Possíveis:
  • Flutuações no Testando: Fadiga, humor, nível de atenção, ansiedade, adivinhação de respostas.
  • Variações na Aplicação: Diferenças sutis na forma como o examinador administra o teste, suas atitudes, aparência.
  • Condições do Ambiente: Ruído, iluminação inadequada, temperatura desconfortável, interrupções.
  • Subjetividade na Correção: Em testes não objetivos, pequenas variações nos critérios do avaliador (relacionado à confiabilidade entre avaliadores).
• Quanto maior o cuidado com as condições de aplicação (padronização) e o estabelecimento de um bom rapport (relação de confiança entre examinador e testando), menor tende a ser o erro aleatório de medição.
• O erro aleatório pode ser quantificado através do Erro Padrão da Medida (EPM), que é calculado a partir do coeficiente de confiabilidade e do desvio padrão dos escores do teste. O EPM é geralmente reportado no manual do teste e permite estimar um intervalo de confiança em torno do escore observado, dentro do qual o escore verdadeiro provavelmente se encontra.

  Escore Verdadeiro Estimado ≈ Escore Observado ± (fator * EPM)

  Exemplo: Em um teste de QI com EPM de 5 pontos, se um indivíduo obtém um escore observado de 100, pode-se estimar (com um certo nível de confiança, usualmente 95%) que seu escore verdadeiro está no intervalo entre 90 e 110 (aproximadamente 100 ± 2 * 5, pois o fator para 95% de confiança é ~1.96).