Eu costumava ficar confuso sobre por que tantas pessoas ficam chateadas com LLMs como o Cursor e o ChatGPT ocasionalmente alucinandos ou cometendo erros. Eles são analistas super mágicos... e daí se eles cometem alguns erros. Eu acho que um controle de qualidade básico, triangulação e conexão podem te ajudar a encontrar esses erros. Trabalhei em alguns empregos de private equity antes da Theia, onde o controle de qualidade (ou seja, garantir que o modelo do associado não estivesse quebrado) era uma parte enorme do papel. Analistas novatos cometem muitos erros. Minha frase favorita (às 2 da manhã) era "bom trabalho, mas cada número nesta página está errado." Eu achava isso tedioso e chato, mas era uma parte absolutamente crítica do trabalho. Nunca pensei nisso como uma habilidade antes, mas me pego usando isso todos os dias com LLMs. Na verdade, não acho que os LLMs vão parar de cometer erros completamente, então isso agora é uma habilidade essencial para você. Encontrei algumas das melhores técnicas de controle de qualidade — 1. Apenas dê uma olhada no modelo / código. Você aprende a encontrar muitos erros dessa forma. 2. Triangulação básica (por exemplo, 45% de IRR está errado, as vendas de pizza nos EUA não podem ser de $50B porque a Domino's tem $18B e não há como eles fazerem 40%) 3. Conecte números dentro do modelo entre si (por exemplo, se o mercado está crescendo 50% e estamos aumentando a participação de mercado de 5 para 10%, por que não estamos crescendo 100%? Vá verificar esses números) 4. Conecte a análises anteriores (por exemplo, nossa receita do ano de 2028 era de $120M no modelo anterior e agora é de $144M... O que especificamente aconteceu? Oh, aumentamos o preço por unidade de $10 para $12, OK) Honestamente, tudo se resume a olhar para o número na página e pensar sobre eles por cinco minutos antes de simplesmente aceitar o modelo. Isso é meio óbvio, mas estou postando caso ajude alguém.