Ero confuso sul perché così tante persone si arrabbino per il fatto che i LLM come Cursor e ChatGPT a volte allucinano o commettono errori. Sono analisti super magici... e allora, che importa se fanno qualche errore. Trovo che un controllo qualità di base, la triangolazione e il collegamento possano aiutarti a trovare questi errori. Ho lavorato in alcuni lavori di private equity prima di Theia, dove il controllo qualità (cioè assicurarsi che il modello dell'associato non fosse rotto) era una parte enorme del ruolo. Gli analisti freschi commettono molti errori. La mia frase preferita (alle 2 del mattino) era "buon lavoro, ma ogni singolo numero su questa pagina è sbagliato." Ho trovato questo noioso e tedioso, ma era una parte assolutamente critica del lavoro. Non avevo mai pensato a questo come a una competenza prima, ma mi ritrovo a usarla ogni giorno con i LLM. In realtà non penso che i LLM smetteranno di fare errori del tutto, quindi questa è ora una competenza fondamentale per te. Ho trovato alcune delle migliori tecniche di controllo qualità — 1. Scorri semplicemente il modello / codice. In questo modo impari a trovare molti errori. 2. Triangolazione di base (ad esempio, il 45% di IRR è sbagliato, le vendite di pizza negli Stati Uniti non possono essere $50B perché Domino's fa $18B e non c'è modo che facciano il 40%) 3. Collega i numeri all'interno del modello tra loro (ad esempio, se il mercato sta crescendo del 50% e stiamo aumentando la quota di mercato dal 5 al 10%, perché non stiamo crescendo del 100%? Controlla quei numeri) 4. Collega ad analisi precedenti (ad esempio, il nostro fatturato per l'anno 2028 era di $120M nel modello precedente e ora è di $144M... Cosa è successo specificamente? Oh, abbiamo aumentato il prezzo per unità da $10 a $12, OK) Onestamente, si riduce a guardare i numeri sulla pagina e pensarci per cinque minuti prima di accettare semplicemente il modello. Questo è piuttosto ovvio, ma lo pubblico nel caso possa aiutare qualcuno.