O que a boa IA realmente avalia

A verdadeira questão não é se uma ferramenta usa IA. É se a ferramenta mede sinais que predizem desempenho em vez de proxies que apenas parecem convenientes.

4 de março de 20266 min de leitura
O que a boa IA realmente avalia

Prévia do insight

O que a boa IA realmente avalia

A Parte 1 traçou uma linha que o mercado de tecnologia de recrutamento tem se esforçado para borrar: há uma diferença importante entre automatizar um processo falho e melhorar a qualidade das contratações.

Este artigo trata do segundo caminho. Se um sistema vai alegar inteligência, ele deve ser capaz de explicar o que realmente avalia e por que esse sinal é importante.

O problema do sinal

Toda ferramenta de recrutamento com IA avalia algo. A questão real é se esse algo prevê o resultado que você valoriza: se a pessoa terá um bom desempenho em uma função específica, em um ambiente específico.

A maioria dos sistemas ainda avalia proxies. Cargos, anos de experiência, credenciais e densidade de palavras-chave frequentemente se correlacionam com resultados a ponto de parecerem úteis, mas correlação não é o mesmo que previsão.

Essa lacuna é onde residem muitas falhas de contratação. Harvard Business School e Accenture documentaram que candidatos qualificados são regularmente despriorizados porque seus históricos não apresentam os marcadores corretos, mesmo quando a capacidade subjacente está presente.

A avaliação genuína de capacidade parte de uma premissa diferente: o que alguém pode fazer, como resolve problemas e como tem se saído em contextos comparáveis importa mais do que a aparência do currículo.

Dois candidatos em pé juntos, enquanto um está cercado por sinais mais ricos de capacidade e de resultados além do currículo.
Os sinais mais fortes muitas vezes ficam fora do resumo do currículo que a maioria das ferramentas foi projetada para classificar.

O que a avaliação genuína de capacidade analisa

Produto de trabalho demonstrado. A primeira pergunta é o que um candidato realmente produziu, alterou ou resolveu, e não apenas aquilo de que foi nominalmente responsável.

Abordagem para resolução de problemas. Como alguém raciocina diante de um desafio costuma ser mais preditivo do que o fato de já ter visto um cenário idêntico anteriormente.

Ajuste específico ao contexto. Um candidato forte em uma organização pode falhar em outra se o estilo de liderança, a composição da equipe ou as condições operacionais forem materialmente diferentes.

Trajetória, não instantâneo. Um currículo captura um momento. Uma avaliação melhor observa como alguém se desenvolveu ao longo do tempo e se sua capacidade está se fortalecendo.

Resultado de contratação emoldurado e rolo de filme representando evidências ao longo do tempo em vez de um único instantâneo do currículo.
A avaliação de capacidade analisa trabalho demonstrado e trajetória, não apenas o instantâneo mais polido à sua frente.

Por que modelos generalistas não conseguem fazer isso bem

Modelos generalistas grandes são bons em reconhecimento de padrões em dados amplos. Eles podem identificar candidatos que se assemelham a populações que historicamente tiveram bom desempenho em outros contextos.

O que eles não conseguem fazer automaticamente é entender sua organização especificamente. Eles não sabem o que seus melhores talentos têm em comum além do que é visível nos dados de treinamento generalizados.

Essa limitação importa. Os sinais que predizem sucesso para um engenheiro sênior em uma empresa de software em rápido crescimento não são os mesmos que predizem sucesso para um engenheiro sênior em uma instituição financeira regulada.

Modelos específicos ao contexto treinados no seu ambiente, nos seus fluxos de trabalho e nos padrões reais dos seus melhores profissionais podem tomar decisões calibradas para os resultados que você valoriza, em vez de inferências amplas a partir dos dados de terceiros.

Um mapa lado a lado mostrando uma área em branco versus um mapa urbano rico em rotas para ilustrar orientação genérica versus específica ao contexto.
O contexto importa. Um modelo genérico fornece um mapa aproximado; um modelo calibrado fornece uma rota pelo seu ambiente operacional real.

Como isso funciona na prática

A diferença prática aparece na etapa das entrevistas. A avaliação por proxies encaminha os candidatos cujos históricos mais se assemelham às contratações anteriores.

A avaliação por capacidade encaminha candidatos que demonstraram as habilidades e comportamentos relevantes, mesmo que o caminho que percorreram para desenvolvê-los pareça não convencional no papel.

Isso muda mais do que o ranking. Muda o próprio conjunto de candidatos, porque candidatos que teriam sido filtrados pela lógica de proxies agora passam a ficar visíveis.

O artigo final desta série aborda o lado do comprador da equação: o que os líderes de RH devem exigir quando um fornecedor afirma que seu sistema está tomando decisões de contratação melhores.

Conclusão

  • Uma boa IA avalia capacidade, contexto e trajetória em vez de confiar apenas em proxies do currículo.
  • O resultado prático não é apenas um ranking diferente de candidatos conhecidos, mas o acesso a um conjunto de candidatos diferente e frequentemente mais forte.

Referências

  1. 1. Harvard Business School e Accenture. Hidden Workers: Untapped Talent. https://www.hbs.edu/managing-the-future-of-work/Documents/research/hiddenworkers09032021.pdf
  2. 2. Harvard Business School Working Knowledge. How to Tap the Talent Automated HR Platforms Miss. https://www.library.hbs.edu/working-knowledge/how-to-tap-the-talent-automated-hr-platforms-miss

Próximo nesta série

O que os líderes de RH realmente deveriam exigir

Líderes de RH devem exigir clareza de sinais, especificidade organizacional, explicabilidade, integração com sistemas existentes e evidências ligadas a resultados de desempenho, em vez de teatralidade nas demonstrações.

O que a IA pode e não pode fazerParte 2 de 3

Mantenha-se à frente da curva do ecossistema

Um e-mail por semana. Pesquisas originais, playbooks para operadores e sinais do ecossistema que importam - sem enrolação, sem spam.