Riset Ungkap AI Belum Andal Perbaiki Celah Keamanan Software

ilustrasi(Magnific)

PENGGUNAAN kepintaran buatan (AI) untuk memperbaiki celah keamanan perangkat lunak tetap menghadapi tantangan serius. 

Riset terbaru Off-by-1 Labs dari 1Password menemukan bahwa dari ribuan patch keamanan nan dibuat AI, hanya sekitar 26% nan betul-betul sukses menutup kerentanan tanpa mengubah perilaku aplikasi secara signifikan. 

Temuan ini menunjukkan AI belum dapat sepenuhnya menggantikan skill manusia dalam proses perbaikan keamanan perangkat lunak.

6.080 Patch untuk Enam Kerentanan

Dalam penelitian tersebut, peneliti menguji 6.080 patch nan dibuat untuk enam CVE nan baru diungkapkan. Dua model AI reasoning nan mempunyai keahlian di bagian keamanan siber digunakan untuk menghasilkan patch secara otomatis.

Hasil penelitian menunjukkan tingkat keberhasilan rata-rata hanya 26 persen. Artinya, sekitar tiga dari empat patch tidak memenuhi seluruh kriteria nan ditetapkan peneliti. 

Sebanyak 20,1 persen patch memang sukses menutup kerentanan awal, tetapi sekaligus mengubah perilaku aplikasi secara material sehingga tidak dapat dikategorikan sebagai perbaikan nan betul-betul aman.

Patch Terlihat Benar, tetapi Masih Bermasalah

Sejumlah patch buatan AI memang sukses melewati pengujian, tetapi tetap meninggalkan jalur lain nan dapat dieksploitasi. Lebih dari sepertiga patch nan dinilai sukses juga berkarakter fragile, lantaran hanya memblokir pola serangan tertentu tanpa betul-betul menutup akar kerentanan. 

Bahkan, dalam pengetesan terhadap proyek freenginx, 114 patch nan dinilai sukses menutup celah awal justru seluruhnya ditemukan menimbulkan masalah keamanan baru.

Petunjuk Perbaikan Sangat Menentukan

Penelitian juga menemukan bahwa kualitas petunjuk nan diberikan kepada AI sangat memengaruhi hasil. 

Ketika model mendapatkan pengarahan perbaikan nan benar, keahlian menutup kerentanan meningkat hingga sekitar dua pertiga percobaan.

Sebaliknya, ketika AI menerima pengarahan nan terlihat masuk logika tetapi sebenarnya salah, tingkat keberhasilannya turun menjadi sekitar satu dari enam percobaan. 

Temuan ini menunjukkan bahwa AI tidak selalu bisa mengoreksi info nan keliru dalam petunjuk nan diberikan kepadanya.

Riset Lain Temukan Risiko Serupa

Temuan tersebut juga sejalan dengan penelitian nan diterbitkan di arXiv berjudul How Safe Are AI-Generated Patches?

Penelitian ini menganalisis lebih dari 20.000 rumor GitHub dari SWE-bench dan membandingkan patch nan dibuat developer dengan patch dari LLM serta sejumlah kerangka kerja AI agent. Hasilnya menunjukkan LLM dapat memperkenalkan kerentanan baru pada patch nan dihasilkan. 

Risiko tersebut juga condong meningkat pada workflow agentic nan memberikan AI tingkat otonomi lebih tinggi, terutama ketika rumor nan kudu diperbaiki tidak menyediakan konteks teknis nan cukup.

AI Belum Bisa Menggantikan Pakar Keamanan

AI tetap berpotensi membantu keamanan siber dengan mempercepat pembuatan kandidat patch dan menangani banyak kerentanan, tetapi hasil penelitian menunjukkan bahwa patch nan tampak sukses belum tentu betul-betul aman. 

Karena itu, penggunaan AI tetap memerlukan pengujian, code review, dan pengesahan oleh engineer keamanan sebelum diterapkan agar tidak menimbulkan kerentanan baru. (Arxiv/Help Net Security/Z-2)