Olin aiemmin hämmentynyt siitä, miksi niin monet ihmiset järkyttyvät LLM:istä, kuten Cursor ja ChatGPT, toisinaan hallusinaatioita tai virheitä. He ovat maagisia superanalyytikoita... Entä jos he tekevät muutaman virheen. Huomaan, että peruslaadunvalvonta, kolmiomittaus ja siltaus voivat auttaa sinua löytämään nämä virheet. Työskentelin muutamassa pääomasijoitustyössä ennen Theiaa, joissa laadunvalvonta (eli sen varmistaminen, että työntekijän malli ei romahtaa) oli valtava osa roolia. Tuoreet analyytikot tekevät paljon virheitä. Lempilauseeni (kello 2 yöllä) oli "hyvää työtä, mutta joka ikinen numero tällä sivulla on väärä". Minusta tämä oli tylsää ja tylsää, mutta se oli ehdottoman kriittinen osa työtä. En ole koskaan aiemmin ajatellut tätä taitona, mutta huomaan käyttäväni sitä päivittäin LLM:ien kanssa. En todellakaan usko, että LLM:t lakkaavat tekemästä virheitä kokonaan, joten tämä on nyt ydintaito sinulle. Löysin muutamia parhaita laadunvalvontatekniikoita - 1. Selaa vain malli / koodi. Tällä tavalla opit löytämään paljon virheitä. 2. Peruskolmiomittaus (esim. 45 % IRR on väärin, USA:n pizzamyynti ei voi olla 50 miljardia dollaria, koska Domino's tekee 18 miljardia dollaria, eivätkä he voi mitenkään tehdä 40 %) 3. Yhdistä mallin sisällä olevat numerot toisiinsa (esim. Jos markkinat kasvavat 50 % ja me kasvatamme markkinaosuutta 5 %:sta 10 %:iin, miksi emme kasva 100 %? Mene tarkistamaan nuo luvut) 4. Silta aikaisempiin analyyseihin (esim. vuoden 2028 liikevaihtomme oli 120 miljoonaa dollaria edellisessä mallissa ja se on nyt 144 miljoonaa dollaria... Mitä tarkalleen ottaen tapahtui? Voi, nostimme yksikköhinnan 10 dollarista 12 dollariin OK) Rehellisesti sanottuna se tiivistyy tavallaan siihen, että katsot sivulla olevaa numeroa ja mietit niitä viisi minuuttia ennen kuin vain hyväksyt mallin. Tämä on tavallaan erittäin itsestään selvää, mutta lähettäminen siltä varalta, että se auttaa ketään.