Okta Red Team menemukan celah Denial of Service (DoS) pada OpenSSL yang memungkinkan penyerang remote tanpa autentikasi menghabiskan memori server hanya dengan paket 11 byte. Kerentanan yang dinamai HollowByte ini telah diperbaiki secara diam-diam oleh OpenSSL tanpa CVE atau advisory resmi.
APA YANG TERJADI?
Okta Red Team mengungkapkan temuan mereka terhadap kerentanan DoS kritis pada library kriptografi OpenSSL yang dikenal dengan nama HollowByte. Kerentanan ini memungkinkan penyerang remote yang tidak terautentikasi untuk memaksa server mengalokasikan memori yang tidak proporsional hanya dengan mengirim paket sepanjang 11 byte sebelum TLS handshake dimulai.
Yang membuat HollowByte berbeda dari serangan DoS biasa adalah dampak residualnya terhadap memori server. Bahkan setelah koneksi penyerang terputus, memori yang dialokasikan tidak dikembalikan ke operating system karena perilaku glibc dalam mengelola allocation. Satu-satunya cara memulihkan server adalah dengan membunuh proses — menjadikan serangan ini jauh lebih berbahaya dibandingkan Slowloris atau serangan serupa.
DETAIL TEKNIS
TLS handshake dimulai dengan ClientHello message yang dibungkus dalam TLS record. Setiap handshake message membawa 4-byte header yang menunjukkan ukuran body message. Pada versi OpenSSL yang rentan, receive buffer dialokasikan berdasarkan panjang yang dideklarasikan oleh penyerang sebelum data aktual tiba.
Ketika paket berbahaya 11 byte tiba, TLS state machine membaca header dan memicu pre-allocation tanpa validasi melalui grow_init_buf() ke OPENSSL_clear_realloc() ke malloc(attacker_size). Karena tidak ada validasi payload pada tahap ini, malloc() mengalokasikan hingga 131 KB berdasarkan klaim paket yang tidak terverifikasi. Worker thread kemudian memblokir secara indefinitif, menunggu data yang tidak pernah datang.
Dampaknya menjadi lebih parah karena glibc tidak segera mengembalikan small-to-medium allocations ke OS setelah koneksi terputus. Glibc mempertahankannya untuk potential reuse. Dengan meluncurkan waves of connections dengan ukuran yang di-randomize, penyerang mencegah allocator dari reused freed chunks. Heap mengalami fragmentasi berat dan Resident Set Size (RSS) server terus naik. Pengujian oleh Okta menunjukkan dalam environment 1 GB RAM, server unpatched OOM-killed di 547 MB frozen memory. Dalam environment 16 GB, serangan mengunci 25% total memori sistem.
OpenSSL memperbaiki masalah ini dengan mengganti ke incremental buffer growth melalui PRs #30792, #30793, dan #30794. Patch terdiam di OpenSSL v4.0.1 dengan backport ke 3.6.3, 3.5.7, 3.4.6, dan 3.0.21. OpenSSL mengklasifikasikan ini sebagai hardening fix tanpa CVE advisory — meskipun dampaknya luas pada Apache, NGINX, Node.js, Python, Ruby, PHP, MySQL, dan PostgreSQL.
DAMPAK TERHADAP INDONESIA
Indonesia memiliki ekosistem web server yang sangat bergantung pada OpenSSL — hampir seluruh infrastruktur web dari pemerintah hingga perbankan menggunakan NGINX atau Apache yang dibangun di atas OpenSSL. Organisasi Indonesia yang belum melakukan patch berisiko menghadapi serangan DoS yang sangat efektif, di mana satu penyerang saja bisa melumpuhkan server hanya dengan 11 byte data per koneksi.
BSSN perlu menerbitkan security advisory khusus terkait HollowByte karena OpenSSL tidak merilis CVE resmi — banyak tim SOC di Indonesia yang hanya memantau CVE database untuk patch prioritization. Tanpa advisory dari BSSN atau Kominfo, kerentanan ini berpotensi terlewatkan oleh ribuan organisasi. SOCSIRT dan SOC nasional harus memperkuat monitoring terhadap anomali TLS handshake yang bisa menandakan eksploitasi HollowByte di jaringan organisasi Indonesia.
REKOMENDASI MITIGASI
Prioritaskan upgrade OpenSSL ke versi yang sudah diperbaiki: v4.0.1, atau backport ke 3.6.3, 3.5.7, 3.4.6, atau 3.0.21. Periksa versi OpenSSL di seluruh web server, application server, dan dependency project berbasis Python, Node.js, Ruby, dan PHP. Implementasikan connection rate limiting dan monitoring terhadap anomali memory allocation sebagai compensating control sementara patch diterapkan.
Untuk tim DevOps: audit seluruh dependency tree untuk memastikan tidak ada komponen yang masih menggunakan OpenSSL versi rentan. Deploy monitoring terhadap Resident Set Size (RSS) proses web server untuk mendeteksi potential memory exhaustion yang tidak wajar. Pertimbangkan penggunaan memory limit dan process restart policies sebagai layer pertahanan tambahan.
Analisa Retasan
HollowByte mengungkapkan satu kebenaran yang sering dilupakan: foundation libraries yang menggerakkan seluruh internet bisa memiliki kerentanan fundamental yang hanya membutuhkan 11 byte untuk dieksploitasi. OpenSSL adalah cryptographic backbone yang digunakan oleh miliaran koneksi — dan kerentanan ini ada di stage paling awal dari TLS handshake, sebelum security controls apapun bisa bekerja.
Keputusan OpenSSL untuk tidak merilis CVE atas HollowByte patut dipertanyakan. Dampaknya sangat nyata: server bisa kehabisan memori secara permanen hingga proses dibunuh, melumpuhkan layanan publik yang mengandalkan infrastruktur TLS. Tanpa CVE, banyak vulnerability management program yang tidak akan menangkap kerentanan ini. Ini menciptakan gap antara severity sebenarnya dan visibility di radar tim keamanan — gap yang bisa dimanfaatkan oleh penyerang.
Bagi Indonesia, ini adalah wake-up call untuk membangun vulnerability management yang tidak semata-mata bergantung pada CVE database. BSSN dan vendor teknologi lokal harus membangun pipeline monitoring terhadap security advisory dari library foundation seperti OpenSSL, meskipun tidak disertai CVE. Skenario terburuknya adalah serangan DDoS yang sangat efisien — satu server dikirim 100 koneksi palsu, masing-masing dengan paket 11 byte, dan seluruh memori 16 GB terkunci selamanya.
Sumber tambahan: The Hacker News — OpenSSL HollowByte Flaw Could Freeze Server Memory with 11-Byte TLS Requests
