Solía estar confundido sobre por qué tanta gente se molesta por los LLM como Cursor y ChatGPT que ocasionalmente alucinan o cometen errores. Son súper analistas mágicos ... ¿Y qué pasa si cometen algunos errores? Encuentro que el control de calidad básico, la triangulación y el puente pueden ayudarlo a encontrar estos errores. Trabajé en algunos trabajos de capital privado antes de Theia, donde el control de calidad (es decir, asegurarse de que el modelo del asociado no se rompiera) era una gran parte del rol. Los nuevos analistas cometen muchos errores. Mi línea favorita (a las 2 am) era "buen trabajo, pero todos los números de esta página están mal". Encontré esto tedioso y aburrido, pero era una parte absolutamente crítica del trabajo. Nunca antes había pensado en esto como una habilidad, pero me encuentro usándolo todos los días con LLM. En realidad, no creo que los LLM dejen de cometer errores por completo, por lo que ahora es una habilidad básica para ti. Encontré que algunas de las mejores técnicas de control de calidad son: 1. Simplemente hojee el modelo / código. Aprendes a encontrar muchos errores de esta manera. 2. Triangulación básica (por ejemplo, 45% IRR es incorrecto, las ventas de pizza en EE. UU. no pueden ser de $ 50 mil millones porque Domino's tiene $ 18 mil millones y no hay forma de que lo hagan 40%) 3. Unir los números dentro del modelo entre sí (por ejemplo, si el mercado está creciendo un 50% y estamos aumentando la participación de mercado del 5 al 10%, ¿por qué no estamos creciendo al 100%? Ve a revisar esos números) 4. Puente a análisis anteriores (por ejemplo, nuestros ingresos del año 2028 fueron de $ 120 millones en el modelo anterior y ahora son de $ 144 millones ... ¿Qué sucedió específicamente? Oh, subimos el precio por unidad de $ 10 a $ 12 OK) Honestamente, todo se reduce a mirar el número en la página y pensar en ellos durante cinco minutos antes de aceptar el modelo. Esto es un poco súper obvio, pero publicar en caso de que ayude a alguien.