Býval jsem zmatený, proč se tolik lidí rozčiluje nad LLM jako Cursor a ChatGPT, které občas halucinují nebo dělají chyby. Jsou to kouzelní superanalytici ... Tak co když udělají pár chyb. Zjistil jsem, že základní kontrola kvality, triangulace a přemostění vám mohou pomoci tyto chyby najít. Před Theiou jsem pracoval na několika pozicích v oblasti private equity, kde kontrola kvality (tj. zajištění toho, aby model spolupracovníka nebyl porušen) byla obrovskou součástí této role. Čerství analytici dělají spoustu chyb. Moje oblíbená věta (ve 2 hodiny ráno) byla "dobrá práce, ale každé číslo na této stránce je špatné". Zjistil jsem, že je to zdlouhavé a nudné, ale byla to naprosto kritická část práce. Nikdy předtím jsem o tom neuvažoval jako o dovednosti, ale zjistil jsem, že ji používám každý den s LLM. Vlastně si nemyslím, že LLM přestanou dělat chyby úplně, takže toto je nyní pro vás základní dovednost. Zjistil jsem, že některé z nejlepších technik kontroly kvality jsou: 1. Stačí prolétnout model / kód. Naučíte se tak najít spoustu chyb. 2. Základní triangulace (např. 45% IRR je špatně, tržby z prodeje pizzy v USA nemohou být 50 miliard dolarů, protože Domino je 18 miliard dolarů a neexistuje způsob, jak udělat 40 %) 3. Propojte čísla uvnitř modelu mezi sebou (např. Pokud trh roste o 50 % a my zvyšujeme podíl na trhu z 5 na 10 %, proč nerosteme o 100 %? Běžte se podívat na ta čísla) 4. Překlenutí k předchozím analýzám (např. naše tržby v roce 2028 činily 120 milionů USD v předchozím modelu a nyní je to 144 milionů USD... Co se konkrétně stalo? Aha, zvýšili jsme cenu za jednotku z 10 na 12 dolarů OK) Upřímně řečeno, tak nějak se to scvrkává na to, že se podíváte na číslo na stránce a pět minut o nich přemýšlíte, než model prostě přijmete. To je trochu super zřejmé, ale zveřejňování pro případ, že by to někomu pomohlo.