Jeg pleide å være forvirret over hvorfor så mange mennesker blir opprørt over at LLM-er som Cursor og ChatGPT av og til hallusinerer eller gjør feil. De er magiske superanalytikere ... så hva om de gjør noen feil. Jeg opplever at grunnleggende kvalitetskontroll, triangulering og brobygging kan hjelpe deg med å finne disse feilene. Jeg jobbet noen private equity-jobber før Theia hvor kvalitetskontroll (dvs. å sørge for at medarbeiderens modell ikke ble ødelagt) var en stor del av rollen. Ferske analytikere gjør mange feil. Min favorittlinje (kl. 2 om natten) var "bra jobbet, men hvert eneste tall på denne siden er feil." Jeg syntes dette var kjedelig og kjedelig, men det var en helt kritisk del av jobben. Jeg har aldri tenkt på dette som en ferdighet før, men jeg finner meg selv å bruke det hver dag med LLM-er. Jeg tror faktisk ikke LLM-ene vil slutte å gjøre feil sammen, så dette er nå en kjerneferdighet for deg. Jeg fant ut at noen av de beste kvalitetskontrollteknikkene var - 1. Bare skumm modellen/koden. Du lærer å finne mange feil på denne måten. 2. Grunnleggende triangulering (f.eks. 45 % IRR er feil, salg av pizza i USA kan ikke være 50 milliarder dollar fordi Domino's 18 milliarder dollar og det er ingen måte de gjør 40 %) 3. Bro tall i modellen med hverandre (f.eks. hvis markedet vokser 50 % og vi øker markedsandelen fra 5 til 10 %, hvorfor vokser vi ikke 100 %? Gå og sjekk disse tallene) 4. Bro til tidligere analyser (f.eks. var inntektene våre i 2028 120 millioner dollar i den forrige modellen, og den er 144 millioner dollar nå ... Hva skjedde konkret? Å, vi hevet prisen per enhet fra $10 til $12 OK) Det koker ærlig talt ned til å se på nummeret på siden og tenke på dem i fem minutter før du bare aksepterer modellen. Dette er litt veldig åpenbart, men legger ut i tilfelle det hjelper noen.