Saya dulu bingung mengapa begitu banyak orang kesal dengan LLM seperti Cursor dan ChatGPT yang terkadang berhalusinasi atau membuat kesalahan. Mereka adalah analis super ajaib ... Jadi bagaimana jika mereka membuat beberapa kesalahan. Saya menemukan bahwa kontrol kualitas dasar, triangulasi, dan jembatan dapat membantu Anda menemukan kesalahan ini. Saya bekerja beberapa pekerjaan ekuitas swasta sebelum Theia di mana kontrol kualitas (yaitu memastikan model rekanan tidak gagal) adalah bagian besar dari peran tersebut. Analis baru membuat banyak kesalahan. Baris favorit saya (pada pukul 2 pagi) adalah "kerja bagus tetapi setiap angka di halaman ini salah." Saya menemukan ini membosankan dan membosankan tetapi itu adalah bagian yang benar-benar penting dari pekerjaan itu. Saya tidak pernah menganggap ini sebagai keterampilan sebelumnya tetapi saya menemukan diri saya menggunakannya setiap hari dengan LLM. Saya sebenarnya tidak berpikir LLM akan berhenti membuat kesalahan secara bersamaan, jadi ini sekarang menjadi keterampilan inti untuk Anda. Saya menemukan beberapa teknik kontrol kualitas terbaik adalah — 1. Cukup baca sekilas model / kode. Anda belajar menemukan banyak kesalahan dengan cara ini. 2. Triangulasi dasar (misalnya 45% IRR salah, penjualan penjualan pizza AS tidak bisa $50 miliar karena Domino's $18 miliar dan tidak mungkin mereka melakukan 40%) 3. Menjembatani angka di dalam model satu sama lain (misalnya Jika pasar tumbuh 50% dan kami meningkatkan pangsa pasar dari 5 hingga 10%, mengapa kami tidak tumbuh 100%? Periksa angka-angka itu) 4. Menjembatani analisis sebelumnya (misalnya pendapatan tahun 2028 kami adalah $120 juta dalam model sebelumnya dan sekarang $144 juta ... Apa yang secara khusus terjadi? Oh, kami menaikkan harga per unit dari $10 menjadi $12 OK) Sejujurnya, ini bermuara pada melihat nomor di halaman dan memikirkannya selama lima menit sebelum menerima model. Ini agak sangat jelas tetapi memposting jika itu membantu siapa pun.