Dalam beberapa tahun terakhir, diskusi seputar penggunaan kecerdasan buatan (AI) untuk riset keamanan siber telah berkembang pesat. Namun sebagian besar diskusi masih berfokus pada dua aspek permukaan: prompt engineering dan pemilihan model. Andy Gill dari ZephrSec, yang dikenal dengan julukan ZephrFish, menawarkan perspektif yang jauh lebih dalam dan praktis melalui tulisannya berjudul “Harnessing Harnesses: Climbing the LLM Hills” yang dipublikasikan pada 27 Juni 2026. Argumen utamanya sederhana namun revolusioner: bagian paling berharga dari alur kerja berbasis AI bukanlah model LLM-nya sendiri, melainkan orchestration layer yang membungkusnya, yang ia sebut sebagai harness. Tanpa harness yang terstruktur, bahkan model paling powerful pun akan membakar token pada konteks redundan, menghasilkan temuan yang tidak bisa direproduksi, dan tidak memiliki cara sistematis untuk menantang temuannya sendiri.
Perspektif ini sangat penting karena menggeser fokus dari “model AI mana yang terbaik” ke “bagaimana membangun sistem yang membuat model AI bekerja secara efektif, efisien, dan terukur.” Untuk konteks riset keamanan offensif, ini berarti pergeseran dari pendekatan ad-hoc (mengirim prompt dan berharap hasil bagus) ke pendekatan engineering yang terstruktur di mana setiap tahapan pipeline memiliki tujuan yang jelas, input yang terkontrol, tool yang tersedia, dan mekanisme validasi. Artikel ini akan membahas secara mendalam konsep harness, lima implementasi publik yang sudah tersedia, dan prinsip-prinsip desain yang harus dipahami oleh siapa pun yang ingin membangun alur kerja AI untuk keamanan siber.
Apa itu Harness? Memahami Lapisan Orkestrasi
Dalam konteks alur kerja berbasis AI, harness adalah lapisan orkestrasi yang membungkus LLM. Ia menentukan apa input yang diterima setiap tahapan, tool mana yang tersedia (melalui MCP atau Model Context Protocol), prompt apa yang mengatur perilaku model, apa yang dianggap sebagai output valid, dan bagaimana hasil mengalir ke tahapan berikutnya. MCP sendiri adalah server yang menyediakan fungsi-fungsi yang bisa dipanggil seperti “jalankan perintah shell”, “decompile biner”, atau “analisis statis kode”. MCP menyediakan inventaris tool, tetapi harness yang memutuskan kapan setiap tool dipanggil, dengan konteks apa, dan bagaimana hasilnya digunakan.
Untuk riset keamanan offensif, harness harus menjawab serangkaian pertanyaan di setiap tahapan: data apa yang harus dikumpulkan, tool mana yang harus dijalankan dan mengapa, model mana yang paling cocok untuk tugas spesifik ini, berapa banyak konteks yang benar-benar diperlukan, dan bagaimana temuan sebelumnya bisa dimanfaatkan kembali alih-alih ditemukan ulang. Harness juga harus menegaskan titik serah terima yang jelas di mana model berhenti berpikir dan mengembalikan kontrol ke operator. Tanpa batas yang jelas ini, model akan terus mengonsumsi token tanpa arah yang jelas, menghasilkan output yang terlihat meyakinkan namun sebenarnya dangkal atau tidak akurat.
Andy Gill menggambarkan mencoba memeras pekerjaan yang berguna dari LLM tanpa harness dan verifikasi layer seperti “menggembala kucing” dalam skala kecil, atau “mengawasi ruangan penuh anak batil mabuk yang masing-masing yakin mereka sedang membantu” saat skalanya diperbesar ke beberapa agen paralel. Metafora ini menggambarkan dengan tepat apa yang terjadi ketika tim keamanan menggunakan AI tanpa struktur: hasil yang tidak konsisten, false positive dalam jumlah besar, dan ketidakmampuan untuk membedakan temuan nyata dari noise statistik.
Peta Harness Publik yang Tersedia
Sebelum membangun harness sendiri, Andy Gill merekomendasikan untuk mempelajari beberapa harness publik yang sudah tersedia. Setiap harness memiliki filosofi desain yang berbeda dan bisa menjadi titik awal atau pelengkap untuk tool lain. Pemahaman tentang trade-off di antara mereka sangat penting untuk membuat keputusan desain yang tepat saat membangun pipeline sendiri.
RAPTOR: Pipeline Riset Kerentanan Terstruktur
RAPTOR membangun pipeline riset kerentanan terstruktur di sekitar Claude Code. Alih-alih mengirim satu prompt dan menunggu temuan, ia mengorkestrasikan analisis statis, analisis biner, fuzzing, validasi kerentanan, dan pembuatan exploit menjadi alur kerja multi-tahapan yang kohesif. Desain RAPTOR memisahkan tanggung jawab di dua lapisan: lapisan eksekusi Python yang menjalankan tool dan bisa digerakkan dari CI untuk menghasilkan output SARIF secara ter independen dari komponen reasoning AI, dan lapisan keputusan Claude Code yang duduk di atasnya untuk menentukan apa yang harus dijalankan dan bagaimana menafsirkan hasilnya.
Pipeline validasi RAPTOR berjalan dalam enam tahapan. Tahapan A sampai D menilai apakah pola kerentanan itu nyata, memetakan jangkauan penyerang yang diperlukan untuk memicunya, melakukan review kode baris demi baris terhadap temuan, dan menghasilkan putusan akhir dengan scoring CVSS. Tahapan E mengevaluasi kelayakan di level biner, memeriksa konfigurasi ASLR dan RELRO, ketersediaan gadget, dan menerapkan Z3 SMT constraint solving untuk menilai kelayakan one-gadget. Tahapan F menjalankan pengecekan kontradiksi terakhir sebelum temuan dipromosikan. Keunggulan praktis RAPTOR adalah bahwa logika orkestrasi bisa diuji dan diulang tanpa menyentuh model, yang merupakan keuntungan signifikan saat menyempurnakan pipeline riset.
Anthropic Code Reference Harness: Verifikasi Eksekusi untuk C/C++
Referensi harness dari Anthropic ditujukan khusus untuk target C/C++ di mana temuan yang diverifikasi oleh eksekusi adalah tujuan akhir. Harness ini menjalankan pipeline otonom find-grade-patch di dalam Docker bermuatan AddressSanitizer (ASAN), dan setiap temuan disertai bukti PoC biner yang mereproduksi crash terhadap build yang di-instrumentasi. Ini menghilangkan ambiguitas tentang apakah suatu masalah benar-benar reachable atau tidak.
Alur kerja berjalan dalam empat fase. vulnpipeline_recon memetakan permukaan serangan dan mengidentifikasi area fokus investigasi. vulnpipeline_run meluncurkan agen fuzzing independen terhadap build ASAN, mengumpulkan crash PoCs saat terjadi. vulnpipeline_report menilai setiap crash unik sebagai passed, borderline, DoS-only, atau low-impact. vulnpipeline_patch menghasilkan fix di level source, rebuild target, dan menjalankan ulang PoC asli untuk mengkonfirmasi resolusi. Harness ini secara sengaja dibatasi pada proyek C/C++ yang menyediakan Dockerfile, build script, dan konfigurasi ASAN yang bisa di-instrumentasi, tetapi untuk target yang memenuhi persyaratan tersebut, ia menawarkan pelengkap yang kuat terhadap pendekatan analisis statis murni.
Baby Naptime: Runtime Exploitation Loop
Google Project Nap Time tidak pernah dirilis secara publik, tetapi ada implementasi open-source setara yang disebut baby-naptime. Harness ini mengimplementasikan single-agent runtime exploitation loop untuk biner C/C++. Model bekerja langsung terhadap biner yang berjalan dalam siklus umpan balik yang ketat: usulkan pendekatan, eksekusi, amati output, revisi hipotesis, dan ulangi. Menjalankan loop ini puluhan kali dengan sinyal runtime nyata menghasilkan kualitas output yang berbeda secara kualitatif dibandingkan meminta model untuk meresoning tentang biner dari konteks statis saja, karena ia memberikan model umpan balik ground-truth yang sama dengan yang dimiliki oleh reverse engineer manusia selama sesi live.
Evil Socket’s Audit Framework: Pendekatan Agnostik Bahasa
Audit oleh evilsocket mengambil pendekatan yang tidak bergantung pada bahasa pemrograman tertentu. Framework ini tidak memerlukan build system yang bersih, setup Docker, atau instrumentasi runtime, sehingga bisa diterapkan pada repositori di mana prasyarat-prasyarat tersebut tidak tersedia. Framework menjalankan pipeline 8 tahap Claude Code yang memetakan kode, mengidentifikasi trust boundary, mereview patch keamanan sebelumnya, dan meluncurkan agen investigasi paralel terhadap workstream yang terfokus. Temuan divalidasi dan dideduplikasi, kemudian diteruskan ke tahapan trace yang harus mendemonstrasikan bahwa input yang dikontrol penyerang benar-benar mencapai sink yang rentan sebelum sesuatu dimasukkan ke laporan akhir.
Gate trace ini memberikan disiplin yang lebih baik daripada code review multi-agen yang naive, bahkan tanpa kepastian runtime dari crash ASAN yang direproduksi. Namun, Andy Gill menekankan bahwa framework ini memerlukan tuning yang signifikan sebelum menghasilkan output yang konsisten berguna, dan kualitas hasil sangat bergantung pada seberapa baik tugas recon, prompt, pemilihan model, dan partitioning kode dikonfigurasi. Codebase yang besar atau tidak biasa bisa menghasilkan duplikasi upaya, review dangkal, atau pemborosan siklus pada area bernilai rendah. Framework ini lebih baik diperlakukan sebagai pipeline riset yang bisa dikonfigurasi daripada tool yang siap digunakan tanpa penyesuaian.
Visa’s VVAH: Agent dengan Threat Modeling
VVAH (Vulnerability Agentic Harness) dari Visa berada paling dekat dengan Audit dalam desain, tetapi memberikan penekanan lebih besar pada threat modelling dan analisis taint-flow sebelum agen mulai berburu. Pipeline menginventori repository, memetakan trust boundary, menetapkan lensa review spesialis untuk setiap workstream, menjalankan pass adversarial kedua terhadap temuan awal, dan menghasilkan laporan SARIF dan Markdown. Penting untuk dicatat bahwa VVAH memperlakukan semua hasil sebagai kandidat triage, bukan kerentanan yang sudah dikonfirmasi. Pendekatan ini membuatnya cocok untuk cakupan luas lintas bahasa dan repository tanpa build yang reliable, tetapi membawa keterbatasan standar dari pipeline source berbasis LLM: hasil masih memerlukan review dan tuning manusia.
Prinsip Desain: Prompt Per-Tahapan
Salah satu kesalahan paling umum saat membangun harness adalah menggunakan satu system prompt untuk seluruh pipeline. Setiap tahapan memiliki tujuan yang berbeda dan memerlukan prompt yang dirancang khusus untuk tujuan tersebut. Agen yang memetakan kode memerlukan framing yang berbeda dari agen yang mengembangkan hipotesis exploit, dan keduanya memerlukan framing yang berbeda dari agen verifikasi yang tugasnya adalah menemukan alasan mengapa temuan itu salah. Tahapan mapping mungkin mengembalikan JSON terstruktur yang mencakup path file, titik masuk, dan dependensi; tahapan selanjutnya menggunakan itu sebagai konteks untuk reasoning tentang permukaan serangan; tahapan verifikasi harus diinstruksikan secara aktif untuk mencari kontradiksi.
Contoh baik dari pola ini adalah skill revalidate di Scrutineer. Ketika skill security-deep-dive menghasilkan temuan High atau Critical, revalidate memeriksanya terhadap git history repository dan mengembalikan salah satu dari empat putusan: true_positive, false_positive, already_fixed, atau uncertain. Hanya temuan yang ditandai true_positive yang maju ke tahapan verify, di mana kode diuji terhadap HEAD saat ini. Gate ini memastikan pekerjaan validasi yang mahal terfokus pada temuan yang paling mungkin benar-benar nyata, menghemat token dan waktu komputasi yang signifikan.
Manajemen Context Window sebagai Budget
Andy Gill menekankan bahwa context window harus diperlakukan sebagai budget dan dikelola secara eksplisit sejak awal. Mode kegagalan yang sering terjadi pada harness awal adalah meneruskan file mentah, output scanner lengkap, dan seluruh riwayat percakapan ke setiap tahapan. Lebih banyak konteks tidak otomatis lebih baik ketika sebagian besar dari itu tidak relevan dengan pertanyaan yang sedang ditanyakan. Manajemen konteks yang efektif berarti: mengambil hanya jalur kode yang relevan dengan hipotesis saat ini, merangkum output tool yang berisik sebelum masuk ke prompt, mempertahankan ringkasan rolling singkat dari pekerjaan yang sudah selesai alih-alih seluruh riwayat, dan membuang tugas yang sudah diselesaikan begitu hasilnya tersimpan di tempat lain.
Sebagai panduan kasar, analisis satu fungsi biasanya cukup dengan sekitar 8.000 token, sementara sintesis temuan lintas area mungkin memerlukan hampir 32.000 token. Output fuzzer dan log scanner biasanya harus direduksi menjadi beberapa ratus token yang berguna sebelum masuk ke prompt mana pun. Strategi konteks harus didesain sebelum membangun pipeline, karena memodifikasinya secara retrofit jauh lebih menyakitkan daripada mendesainnya dengan benar sejak awal. Ini adalah pelajaran penting yang sering diabaikan oleh tim yang terburu-buru menerapkan AI dalam workflow keamanan mereka.
Model Routing: Model yang Tepat untuk Tugas yang Tepat
Aspek lain yang kritis dari desain harness yang efektif adalah model routing, yaitu keputusan model mana yang digunakan untuk tahapan mana. Andy Gill menekankan bahwa model yang cepat dan murah harus digunakan untuk klasifikasi, pengorganisasian, dan ringkasan, sementara model yang lebih kuat harus dihemat untuk validasi, tracing, dan sintesis. Biaya reasoning yang mahal hanya dikeluarkan untuk tahapan yang benar-benar membutuhkannya, sementara tugas-tugas rutin yang tidak memerlukan kedalaman reasoning tinggi bisa ditangani oleh model yang lebih ringan dan ekonomis.
Pendekatan ini memiliki implikasi praktis yang signifikan. Dalam pipeline riset keamanan, tahapan recon dan sorting mungkin menghasilkan ratusan item yang perlu diklasifikasikan. Menggunakan model berkapasitas tinggi untuk seluruh pipeline akan menghabiskan budget token dengan sangat cepat tanpa proporsi peningkatan kualitas yang sepadan. Sebaliknya, menggunakan model ringan untuk klasifikasi awal dan model kuat hanya untuk validasi akhir menghasilkan pipeline yang lebih efisien dan scalable, memungkinkan riset yang lebih luas dengan budget yang terbatas.
RAG Memory: Dari Pipeline Sekali Pakai ke Platform Riset yang Terus Berkembang
Perbedaan kritis antara pipeline yang efektif dan yang biasa-biasa saja sering kali terletak pada kemampuan untuk mengingat dan memanfaatkan pengetahuan dari sesi sebelumnya. Andy Gill menekankan bahwa Retrieval-Augmented Generation (RAG) mengatur apa yang bisa diakses harness dari run sebelumnya. Tanpa persistent knowledge base, harness yang sama akan menemukan kembali fakta yang sama di setiap run, membakar token dan kehilangan akumulasi pembelajaran dari sesi sebelumnya. Ini adalah perbedaan mendasar antara pipeline sekali pakai dan platform riset yang terus membaik dari waktu ke waktu.
Penulis telah membangun RAG store yang mencakup catatan riset sebelumnya, blog post, dokumentasi tool, referensi spesifik bahasa, dan konten relevan lainnya. Bersamaan dengan ini, umpan balik loop berjalan setelah setiap temuan berhasil, memberikan hasil kembali ke baseline sehingga run berikutnya bisa membangun secara kumulatif di atas apa yang sudah ada alih-alih memulai dari awal. Pendekatan ini mengubah pipeline menjadi mesin riset yang compound, di mana setiap sesi meningkatkan kapabilitas keseluruhan sistem untuk sesi-sesi berikutnya.
Dampak terhadap Komunitas Keamanan Indonesia
Tren ini memiliki implikasi yang sangat relevan bagi komunitas keamanan siber Indonesia. Dengan meningkatnya ketersediaan model AI seperti Claude, GPT, dan open-source models, tim red team Indonesia kini memiliki akses ke tool yang sebelumnya hanya dimiliki oleh organisasi berbudget besar. Namun, artikel Andy Gill menunjukkan bahwa memiliki akses ke model yang powerful saja tidak cukup. Tanpa harness yang terstruktur, penggunaan AI untuk keamanan hanya akan menghasilkan output yang tidak konsisten, false positive yang membanjiri, dan ketidakmampuan untuk membedakan temuan nyata dari noise. Tim yang ingin serius menerapkan AI harus berinvestasi dalam membangun pipeline yang terstruktur dengan validation gates yang ketat.
Sisi lain dari tren ini adalah bahwa aktor jahat juga bisa memanfaatkan teknik yang sama untuk menemukan zero-day lebih cepat. Dengan harness yang efektif, peneliti keamanan yang bermaksud jahat bisa mengotomatisasi pencarian kerentanan pada skala yang jauh lebih besar dari yang mungkin dilakukan secara manual. Ini berarti organisations Indonesia harus meningkatkan postur pertahanan mereka, mempercepat siklus patch management, dan memastikan bahwa pertahanan berlapis (defense in depth) diterapkan secara konsisten. AI memang pedang bermata dua, dan organisasi yang memahami kedua sisinya akan lebih siap menghadapi lanskap ancaman yang terus berevolusi.
Analisa Retasan
Artikel Andy Gill membuka wawasan fundamental yang sering terlewatkan dalam diskusi AI untuk keamanan siber: model-nya bukanlah solusi, melainkan struktur di sekitarnya yang menentukan kualitas output. Konsep harness ini sebenarnya tidak baru dalam ilmu komputer, namun penerapannya di domain keamanan siber masih sangat prematur di Indonesia. Banyak tim keamanan di Indonesia sudah mulai bereksperimen dengan AI untuk penetration testing atau vulnerability hunting, namun sebagian besar masih dalam pendekatan ad-hoc yang menghasilkan output tidak konsisten.
Prinsip-prinsip yang diuraikan dalam artikel ini, yaitu prompt per-tahapan, context budgeting, model routing, validation gates, dan RAG memory, seharusnya menjadi fondasi bagi setiap organisasi yang ingin serius menerapkan AI dalam workflow keamanan mereka. Tanpa prinsip-prinsip ini, penggunaan AI dalam keamanan hanya akan menjadi hype yang menghasilkan lebih banyak noise daripada signal. Namun dengan implementasi yang tepat, AI-powered vulnerability research memiliki potensi untuk meningkatkan efektivitas tim keamanan secara dramatis, memungkinkan mereka menemukan kerentanan lebih cepat dan dengan coverage yang lebih luas daripada yang mungkin dicapai secara manual.
Yang paling menarik dari perspektif praktis adalah konsep harness-kit yang dirilis oleh Andy Gill, sebuah template pipeline lima tahap (recon, hunt, validate, trace, report) yang bisa menjadi titik awal bagi tim keamanan Indonesia yang ingin mulai membangun pipeline AI mereka sendiri. Daripada memulai dari nol, organisasi bisa memanfaatkan template ini sebagai fondasi dan menyesuaikannya dengan kebutuhan spesifik mereka. Ini adalah langkah konkret yang bisa diambil mulai hari ini untuk mulai membangun kemampuan AI-powered security research yang serius dan berkelanjutan.
Sumber: core-jmp.org – Harnessing LLM Harnesses | Penulis: Andy Gill (ZephrFish), ZephrSec
