J'étais souvent confus quant à la raison pour laquelle tant de gens s'énervent à propos des LLM comme Cursor et ChatGPT qui hallucinent ou font parfois des erreurs. Ce sont des super analystes magiques... alors qu'est-ce que ça fait s'ils font quelques erreurs. Je trouve que le contrôle de qualité de base, la triangulation et le rapprochement peuvent vous aider à trouver ces erreurs. J'ai travaillé dans quelques emplois en capital-investissement avant Theia où le contrôle de qualité (c'est-à-dire s'assurer que le modèle de l'associé n'était pas défectueux) était une énorme partie du rôle. Les nouveaux analystes font beaucoup d'erreurs. Ma phrase préférée (à 2h du matin) était "bon travail mais chaque chiffre sur cette page est faux." Je trouvais cela fastidieux et ennuyeux, mais c'était une partie absolument critique du travail. Je n'avais jamais pensé à cela comme une compétence auparavant, mais je me rends compte que je l'utilise tous les jours avec les LLM. Je ne pense pas vraiment que les LLM arrêteront de faire des erreurs complètement, donc c'est maintenant une compétence essentielle pour vous. J'ai trouvé quelques-unes des meilleures techniques de contrôle de qualité — 1. Parcourez simplement le modèle / le code. Vous apprenez à trouver beaucoup d'erreurs de cette manière. 2. Triangulation de base (par exemple, 45 % de TRI est faux, les ventes de pizza aux États-Unis ne peuvent pas être de 50 milliards de dollars parce que Domino's fait 18 milliards de dollars et il n'y a aucun moyen qu'ils fassent 40 %) 3. Rapprochez les chiffres à l'intérieur du modèle entre eux (par exemple, si le marché croît de 50 % et que nous augmentons notre part de marché de 5 à 10 %, pourquoi ne croissons-nous pas de 100 % ? Allez vérifier ces chiffres) 4. Rapprochez-vous des analyses précédentes (par exemple, nos revenus de l'année 2028 étaient de 120 millions de dollars dans le modèle précédent et ils sont maintenant de 144 millions de dollars... Que s'est-il passé spécifiquement ? Oh, nous avons augmenté le prix par unité de 10 $ à 12 $, d'accord) Honnêtement, cela revient un peu à regarder le chiffre sur la page et à y réfléchir pendant cinq minutes avant d'accepter simplement le modèle. C'est un peu super évident, mais je le poste au cas où cela aiderait quelqu'un.