Andy Gill dari ZephrSec mempublikasikan analisis mendalam tentang bagaimana harness atau orchestration layer menjadi komponen paling kritis dalam penggunaan LLM (Large Language Model) untuk offensive security research. Artikel berjudul “Harnessing Harnesses – Climbing the LLM Hills” ini membahas bagaimana memanfaatkan AI agent secara efektif untuk menemukan vulnerability skala besar tanpa membakar token secara sia-sia.
APA YANG TERJADI?
Seorang peneliti keamanan siber bernama Andy Gill mempublikasikan analisis komprehensif tentang harness (orchestration layer) untuk LLM dalam konteks vulnerability research. Harness adalah lapisan orkestrasi yang mengontrol input, tools, prompts, model selection, state management, validation gates, dan output untuk setiap tahapan kerja AI-assisted. Berbeda dengan MCP (Model Context Protocol) yang hanya menyediakan callable functions, harness memutuskan kapan fungsi dipanggil, dalam urutan apa, dengan konteks apa, dan apa yang harus dilakukan dengan hasilnya.
Artikel ini menyoroti bahwa sebagian besar diskusi publik tentang LLM berfokus pada prompt engineering dan model selection, namun orchestration layer di sekitarnya jarang mendapat perhatian padahal di situlah peningkatan terbesar dalam capability, biaya, dan reliability terjadi. Model yang sangat capable tanpa struktur di sekitarnya akan tetap membakar token secara tidak efisien pada konteks yang redundan dan pekerjaan yang sudah selesai, menghasilkan output yang tidak bisa diverifikasi atau direproduksi.
FRAMEWORK YANG DIBahas
Artikel ini membahas beberapa framework harness yang tersedia secara publik. RAPTOR adalah framework yang mengubah Claude Code menjadi AI agent offensive/defensive security dengan pipeline validasi enam tahap, mulai dari assessment genuine vulnerability pattern hingga Z3 SMT constraint solving untuk one-gadget applicability. Anthropic Code Reference Harness berfokus pada target C/C++ dengan execution-verified findings menggunakan AddressSanitizer (ASAN) dalam Docker containers. Baby Naptime adalah implementasi open-source dari Google Project Naptime, yaitu single-agent runtime exploitation loop untuk C/C++ binaries.
Evil Socket’s Audit Framework menjalankan pipeline 8 tahap Claude Code yang memetakan codebase, mengidentifikasi trust boundaries, dan meluncurkan parallel agents. Visa’s Vulnerability Agentic Harness (VVAH) menekankan pada threat modelling dan taint-flow analysis sebelum agents mulai berburu vulnerability. Semua framework ini memiliki pendekatan berbeda namun share prinsip yang sama: memisahkan execution layer dari decision layer untuk memungkinkan testing independen.
DETAIL TEKNIS
Konsep kunci yang dibahas adalah pemisahan kerja berdasarkan model capability. Model murah digunakan untuk klasifikasi, pengorganisasian, dan ringkasan, sementara model yang lebih kuat direserve untuk validasi, tracing, dan synthesis. Setiap tahap harness memiliki prompt, input, dan output tersendiri. Pipeline yang direkomendasikan mengikuti alur: recon, hunt, validate, trace, dan report. Tahapan pertukaran artefak terstruktur alih-alih berbagi satu percakapan besar, sehingga pipeline lebih mudah diinspeksi, dijalankan ulang, dan diganti.
Gill juga menekankan pentingnya context management dengan memperlakukan context window seperti anggaran. Analisis fungsi tunggal biasanya dapat bekerja dalam sekitar 8K token, sementara sintesis lintas beberapa findings mungkin membutuhkan hingga 32K. Output fuzzer dan scanner log harus direduksi menjadi beberapa ratus token yang berguna sebelum masuk ke prompt. Selain itu, harness memerlukan RAG (Retrieval-Augmented Generation) sebagai memori berjalan yang berisi catatan, dokumentasi tools, dan konten untuk memungkinkan model belajar dari run sebelumnya.
DAMPAK TERHADAP INDONESIA
Adopsi AI-assisted vulnerability research di Indonesia masih berada dalam tahap awal, namun tren ini meningkat seiring ketersediaan tools open-source seperti RAPTOR dan harness-kit. Bagi tim SOC dan red team Indonesia, pemahaman tentang orchestration layer dapat meningkatkan efisiensi penetration testing dan vulnerability assessment secara signifikan. Organisasi yang mengelola SOCSIRT/SOC nasional dapat memanfaatkan framework seperti ini untuk mempercepat identifikasi vulnerability pada infrastruktur kritis, terutama terkait dengan SKKNI Siber dan kepatuhan terhadap UU PDP. Namun, implementasi yang tepat memerlukan pemahaman mendalam tentang model selection, context management, dan validation gates agar tidak menghasilkan false positive yang tinggi.
REKOMENDASI MITIGASI
Untuk tim keamanan yang ingin menerapkan AI-assisted vulnerability research: mulai dengan harness-kit template sebagai baseline, bangun pipeline dengan pemisahan tahap yang jelas (recon, hunt, validate, trace, report), manfaatkan model berbeda untuk tugas berbeda, implementasikan RAG untuk menyimpan pengetahuan dari run sebelumnya, dan pastikan semua findings melewati validation gates sebelum dilaporkan. Tetaplah melakukan manual review terhadap semua output LLM karena AI adalah rekan tim, bukan pengganti penilaian manusia.
Analisa Retasan
Konsep harness dalam konteks AI-assisted security research merepresentasikan evolusi signifikan dari pendekatan chatbot-to-vulnerability yang masih banyak dipraktikkan. Masalah fundamental dengan menggunakan LLM tanpa orchestration layer adalah ketidakmampuan model untuk mempertahankan konteks lintas iterasi, memverifikasi outputnya sendiri, dan memilih tool yang tepat secara dinamis. RAPTOR mengatasi ini dengan memisahkan execution layer (Python) dari decision layer (Claude Code), memungkinkan orchestration logic diuji secara independen dari AI reasoning. Pemisahan ini konsisten dengan prinsip desain system engineering yang baik dan memungkinkan reproduktibilitas yang sebelumnya tidak mungkin tercapai dalam AI-assisted workflows.
Pola validasi 6 tahap yang diterapkan RAPTOR menunjukkan bahwa AI-assisted vulnerability research dapat mencapai tingkat rigor yang mendekati manual analysis. Perbandingan dengan Anthropic’s reference harness yang berfokus pada ASAN-instrumented binaries dan Baby Naptime yang menggunakan runtime feedback loop menunjukkan bahwa pendekatan static dan runtime verification saling melengkapi. Ini mengingatkan pada evolusi vulnerability research tradisional, di mana fuzzing tools seperti AFL dan libFuzzer pada akhirnya memerlukan manual triage untuk mengkonfirmasi findings.
Untuk organisasi Indonesia, AI-assisted tools sebaiknya digunakan sebagai screener yang menghasilkan leads untuk manual verification, bukan sebagai autonomous vulnerability scanner. Investasi dalam training tim untuk memahami bagaimana bekerja dengan AI agents termasuk menulis custom skills, mengelola context budgets, dan melakukan critical evaluation terhadap output akan menjadi differentiator signifikan dalam kompetensi keamanan siber Indonesia ke depan. Framework-framework ini membuka peluang bagi tim kecil Indonesia untuk melakukan security research dengan coverage yang sebelumnya hanya dimiliki oleh tim besar dengan sumber daya melimpah.
Sumber: Harnessing Harnesses – Climbing the LLM Hills oleh Andy Gill (ZephrSec)
