O que acontece quando os candidatos a empregos online começam a usar LLMs? Não é bom. 1. Antes dos LLMs, a qualidade da carta de apresentação prevê a qualidade do seu trabalho, e uma boa carta garante-lhe um emprego 2. Os LLMs eliminam o sinal, e a procura dos empregadores cai 3. O modelo sugere que os trabalhadores de alta capacidade são os que mais perdem 1/n

Em abril de 2023, tornou possível que os trabalhadores usassem AI em suas cartas de apresentação. Os empregadores não podem ver se usaram a ferramenta. O tempo gasto para enviar uma candidatura diminui, com um grande aumento nas candidaturas que levaram <30 segundos 2/

Uma medida da qualidade da carta de apresentação — o quanto o e-mail do freelancer é personalizado para a vaga específica — aumenta bastante. 3/

Na era pré-LLM, pessoas com cartas de apresentação de maior qualidade têm muito mais probabilidade de conseguir o emprego. Após o LLM, a qualidade da carta de apresentação é inútil como sinal, portanto não afeta a contratação de forma alguma. Note que a taxa total de contratações também diminui bastante. 4/

Acho que o que está a acontecer é que as empresas estão a ser bombardeadas por aplicações de IA e não conseguem distinguir quem é bom — e decidem que simplesmente não vale a pena tentar. Sinto isso certamente em relação a inquéritos de estudantes potenciais / candidatos do @devdatalab! 5/

Também podemos ver que a qualidade da carta de apresentação já não prevê a qualidade do trabalhador—o resultado é uma classificação de 5 estrelas por parte do empregador. O coeficiente do sinal vai a zero na era pós-LLM.

Outra perspectiva: a qualidade da carta de apresentação aumenta muito com os LLMs, enquanto P(hired | good letter) diminui muito.

Não publico modelos estruturais por princípio, mas o modelo dos autores conclui que os LLMs transferem empregos de trabalhadores de alta qualidade para trabalhadores de baixa qualidade. Não está claro se os empregos concluídos são piores, mas acho que há menos empregos concluídos. 8/

Gráfico amaldiçoado para quem lê candidaturas a emprego ou propostas de subsídio. 9/

Artigo super interessante, leia tudo aqui: Jesse Silbert está no mercado de trabalho econômico. Algumas considerações adicionais. 10/

É incrível para mim que decidiram tornar isso tão fácil para os candidatos a emprego. Parece-me óbvio que seria terrível para as empresas! (Embora o modelo dos autores não concorde realmente com isso.) 11/

Talvez eles criem um nível pago onde as empresas possam ver quem usou LLMs. Heh, então eles podem cobrar dos candidatos pelo acesso ao LLM, e depois cobrar das empresas para poder excluir esses candidatos da consideração. 12/

Em equilíbrio, seria realmente de grande valor para as empresas encontrar algum outro sinal de qualidade do candidato. O histórico de trabalho e a classificação parecem ainda funcionar bem. Mas a Lei de Goodhart se aplicará a qualquer novo mecanismo de triagem, especialmente se os LLMs puderem manipulá-lo. 13/

É difícil para as empresas contratar graduados universitários— a inflação de notas torna difícil encontrar bons alunos, e agora as cartas de apresentação também são inúteis. Podemos ver mais períodos de experiência. Trabalhar com alguém durante um mês pode dar um *excelente* sinal da qualidade dessa pessoa. 14/

Leia o artigo! @SilbertJesse está no X.

Leia o artigo! @SilbertJesse está no X e Anais Galdin está no BlueSky

Os autores são Jesse Silbert e Anais Galdin. Leia o artigo!