Eu costumava ficar confuso sobre por que tantas pessoas ficam chateadas com LLMs como Cursor e ChatGPT ocasionalmente alucinando ou cometendo erros. Eles são super analistas mágicos ... E daí se eles cometerem alguns erros. Acho que o controle básico de qualidade, a triangulação e a ponte podem ajudá-lo a encontrar esses erros. Trabalhei em alguns empregos de private equity antes da Theia, onde o controle de qualidade (ou seja, garantir que o modelo do associado não fosse quebrado) era uma grande parte da função. Novos analistas cometem muitos erros. Minha frase favorita (às 2 da manhã) era "bom trabalho, mas todos os números nesta página estão errados". Achei isso tedioso e chato, mas foi uma parte absolutamente crítica do trabalho. Nunca pensei nisso como uma habilidade antes, mas me vejo usando-a todos os dias com LLMs. Na verdade, não acho que os LLMs vão parar de cometer erros todos juntos, então essa é agora uma habilidade essencial para você. Descobri que algumas das melhores técnicas de controle de qualidade são - 1. Basta folhear o modelo / código. Você aprende a encontrar muitos erros dessa maneira. 2. Triangulação básica (por exemplo, 45% IRR está errado, as vendas de pizza nos EUA não podem ser de US $ 50 bilhões porque a Domino's custa US $ 18 bilhões e não há como eles fazerem 40%) 3. Conecte os números dentro do modelo entre si (por exemplo, se o mercado está crescendo 50% e estamos aumentando a participação de mercado de 5 para 10%, por que não estamos crescendo 100%? Vá verificar esses números) 4. Ponte para análises anteriores (por exemplo, nossa receita do ano de 2028 era de US$ 120 milhões no modelo anterior e agora é de US$ 144 milhões ... O que aconteceu especificamente? Oh, aumentamos o preço por unidade de US $ 10 para US $ 12 OK) Honestamente, tudo se resume a olhar para o número na página e pensar neles por cinco minutos antes de aceitar o modelo. Isso é meio óbvio, mas postar caso ajude alguém.