Sebuah tim peneliti dari University of California, San Diego memperkenalkan CAN-QA, tolok ukur (benchmark) pertama yang memformulasikan analisis lalu lintas Controller Area Network (CAN) sebagai tugas tanya-jawab (question-answering). Penelitian yang diterima di 35th International Conference on Computer Communications and Networks (ICCCN 2026) ini menjawab kesenjangan penting dalam penelitian keamanan otomotif: kebutuhan akan alat evaluasi yang tidak hanya mendeteksi anomali, tetapi juga memungkinkan penalaran forensik yang sistematis mengenai perilaku lalu lintas CAN.
Controller Area Network (CAN) adalah protokol komunikasi dalam kendaraan yang digunakan di hampir semua kendaraan modern untuk memungkinkan komunikasi antar Electronic Control Units (ECU) yang berbeda. Protokol ini, yang dirancang pada tahun 1980-an oleh Bosch, bersifat kritis terhadap keselamatan (safety-critical)—protokol ini mengoordinasikan fungsi-fungsi penting seperti pengereman, akselerasi, kemudi, dan manajemen mesin. Namun, CAN tidak memiliki mekanisme keamanan bawaan seperti autentikasi atau enkripsi, menjadikannya target yang menarik bagi serangan otomotif. Deteksi intrusi menjadi penting untuk melindungi integritas komunikasi CAN dalam kendaraan modern.
Ancaman terhadap keamanan CAN bukan lagi sekadar teoretis. Penelitian akademis dan demonstrasi dunia nyata telah menunjukkan bahwa penyerang dengan akses fisik ke jaringan kendaraan dapat mengirimkan pesan CAN berbahaya yang dapat mengambil kendali atas fungsi-fungsi kritis kendaraan. Beberapa demonstrasi profil tinggi menunjukkan eksploitasi jarak jauh melalui sistem hiburan (infotainment), koneksi seluler, atau bahkan sistem pemantauan tekanan ban. Oleh karena itu, pengembangan sistem deteksi intrusi (Intrusion Detection Systems atau IDS) yang efektif untuk lalu lintas CAN adalah area penelitian yang sangat aktif dan penting.
Hal yang membuat penelitian CAN-QA signifikan adalah kritik mendasar terhadap pendekatan yang ada dalam deteksi intrusi CAN. Sebagian besar pendekatan yang ada memformulasikan deteksi intrusi sebagai tugas klasifikasi—memetakan pola lalu lintas yang kompleks ke label serangan seperti “serangan banjir” (flooding attack), “serangan penyamaran” (impersonation attack), atau “serangan suspensi” (suspension attack). Meskipun pendekatan ini dapat efektif untuk deteksi biner (normal vs. serangan), pendekatan ini mengabstraksikan struktur temporal dan struktur relasional dari lalu lintas CAN. Hal ini tidak selaras dengan alur kerja forensik dunia nyata, yang memerlukan penalaran sistematis tentang perilaku lalu lintas untuk memahami apa yang sebenarnya terjadi, kapan, dan bagaimana.
CAN-QA menjawab kesenjangan ini dengan mereformulasikan analisis lalu lintas CAN sebagai tugas tanya-jawab (QA). Alih-alih hanya mengklasifikasikan apakah lalu lintas tersebut normal atau berbahaya, sistem QA dituntut untuk menjawab pertanyaan spesifik tentang perilaku lalu lintas. Contoh pertanyaan dapat mencakup: “Apakah ada pesan dengan ID 0x123 yang dikirim lebih dari 100 kali dalam 5 detik terakhir?” atau “Apakah ada ketidakkonsistenan antara nilai sudut kemudi dan laju oleng (yaw rate) dalam jendela 10 detik terakhir?”. Pendekatan ini lebih dekat dengan cara kerja analis keamanan saat melakukan investigasi forensik.
Proses pembuatan dataset CAN-QA melibatkan konversi log CAN mentah menjadi jendela-jendela yang tersegmentasi secara temporal. Setiap jendela kemudian diproses dengan templat berbasis aturan deterministik untuk menghasilkan pertanyaan dalam bahasa alami yang dipasangkan dengan jawaban kebenaran dasar (ground-truth) yang diturunkan secara otomatis. Metodologi ini memungkinkan pembuatan dataset yang dapat diskalakan tanpa memerlukan anotasi manual yang mahal dan memakan waktu. Dataset akhir terdiri dari 33.128 pasangan tanya-jawab yang mencakup 10 kategori berbeda, masing-masing menargetkan properti semantik dan temporal yang berbeda dari lalu lintas CAN.
10 kategori pertanyaan dalam CAN-QA mencakup berbagai aspek perilaku lalu lintas CAN: pertanyaan tentang nilai sinyal, frekuensi, waktu, korelasi, deteksi anomali, pola serangan, dan lainnya. Keragaman ini memastikan bahwa model yang dievaluasi pada CAN-QA harus memiliki pemahaman komprehensif tentang lalu lintas CAN, bukan hanya kemampuan untuk mendeteksi satu jenis pola tertentu. Ini mirip dengan cara tes standar dalam pendidikan dirancang untuk mengukur pemahaman komprehensif, bukan sekadar hafalan.
Penelitian ini mengevaluasi model bahasa besar (Large Language Models atau LLM) pada benchmark CAN-QA menggunakan format Benar/Salah dan pilihan ganda. Hasilnya mengungkap temuan penting namun mengkhawatirkan: meskipun LLM mampu menangkap keteraturan statistik superfisial dalam lalu lintas CAN, mereka kesulitan dengan penalaran temporal, inferensi multi-kondisi, dan interpretasi perilaku tingkat tinggi. Ini menunjukkan bahwa meskipun LLM mengesankan di banyak domain, aplikasi mereka dalam konteks yang kritis terhadap keselamatan seperti keamanan otomotif masih memerlukan kemajuan yang signifikan.
Keterbatasan LLM dalam penalaran temporal secara khusus bermasalah untuk analisis CAN. Lalu lintas CAN secara fundamental adalah fenomena temporal—waktu, frekuensi, dan urutan pesan sangat penting untuk memahami apakah lalu lintas tersebut normal atau berbahaya. Kemampuan LLM untuk menalar hubungan temporal masih terbatas, terutama jika dibandingkan dengan metode analisis deret waktu (time-series) yang terspesialisasi. Ini adalah area di mana pendekatan hibrida—menggabungkan kekuatan LLM dengan modul penalaran temporal yang terspesialisasi—mungkin diperlukan.
Penelitian ini juga memiliki implikasi bagi pengembangan sistem deteksi intrusi berbasis AI di masa depan. Hasil evaluasi menunjukkan bahwa kita tidak bisa begitu saja mengambil model bahasa yang sudah ada dan berharap mereka berkinerja baik pada tugas-tugas kritis terhadap keselamatan tanpa adaptasi khusus domain dan evaluasi yang ketat. Tolok ukur seperti CAN-QA sangat penting untuk memastikan bahwa sistem yang diterapkan di lingkungan produksi telah diuji secara komprehensif pada tugas-tugas yang mencerminkan persyaratan dunia nyata.
Analisis Retasan
CAN-QA adalah langkah penting dalam pematangan penelitian keamanan otomotif. Dengan menggeser fokus dari klasifikasi ke tanya-jawab, benchmark ini memaksa kita untuk berpikir lebih mendalam tentang apa yang sebenarnya kita butuhkan dari sistem deteksi intrusi. Dalam respons insiden dunia nyata, analis keamanan tidak hanya perlu tahu bahwa “ada sesuatu yang salah”—mereka perlu memahami “apa yang salah, di mana, kapan, dan bagaimana”. Pendekatan QA lebih dekat dengan kebutuhan nyata ini.
Bagi industri otomotif Indonesia yang sedang berkembang, penelitian ini memiliki relevansi khusus. Indonesia adalah pasar otomotif yang besar dengan pertumbuhan kendaraan terhubung (connected vehicles) yang pesat. Namun, kapasitas penelitian lokal dalam keamanan otomotif masih terbatas. Tolok ukur seperti CAN-QA dapat menjadi titik awal untuk membangun keahlian lokal dalam keamanan siber kendaraan. Universitas dan lembaga penelitian di Indonesia dapat menggunakan CAN-QA untuk melatih peneliti muda dan mengembangkan solusi yang sesuai dengan konteks lokal.
Temuan bahwa LLM kesulitan dengan penalaran temporal juga penting untuk diingat dalam konteks hype AI saat ini. Tidak semua masalah dapat diselesaikan dengan sekadar menggunakan LLM. Aplikasi yang kritis terhadap keselamatan memerlukan evaluasi yang ketat dan adaptasi khusus domain. Kita memerlukan pendekatan yang lebih bernuansa dalam mengadopsi AI untuk aplikasi keamanan.
Sumber: arXiv:2604.24935 – CAN-QA: A Question-Answering Benchmark for Reasoning over In-Vehicle CAN Traffic | ICCCN 2026
