Dalam eksperimen tersebut, GPT-Red berhasil menemukan cara untuk mencapai sejumlah tujuan yang tidak diinginkan, termasuk mengubah harga barang, membuat pesanan baru dengan harga sangat rendah, dan membatalkan pesanan lain.
OpenAI menyebut kerentanan tersebut telah diungkapkan dan perlindungan baru sedang diuji.
Eksperimen ini menunjukkan bahwa pengujian keamanan tidak cukup hanya dilakukan pada model percakapan, tetapi juga pada sistem AI yang dapat menggunakan alat dan mengambil tindakan.
BACA JUGA:6 Website Online Edit Foto Pakai Jas dengan Kecerdasan Buatan AI, Gratis Tanpa Berbayar, Serius Deh!
Hasil Pengujian Dipakai untuk Memperkuat Model AI
Tujuan utama GPT-Red bukan untuk menjadi produk AI yang digunakan publik.
OpenAI menggunakannya sebagai bagian dari proses pengujian dan pelatihan keamanan model produksi.
OpenAI menyatakan GPT-Red digunakan dalam pelatihan adversarial untuk meningkatkan ketahanan GPT-5.6 Sol terhadap serangan prompt injection.
Dalam salah satu perbandingan yang dipublikasikan, model tersebut disebut mengalami enam kali lebih sedikit kegagalan pada benchmark direct prompt injection tersulit dibandingkan model produksi terbaik OpenAI empat bulan sebelumnya.
Tantangan Keamanan AI Terus Berkembang
Kemajuan AI generatif membuat sistem mampu menghasilkan teks, kode, gambar, dan melakukan tugas yang semakin kompleks.
Namun, semakin besar kemampuan AI, semakin luas pula potensi risiko yang perlu diuji.
Karena itu, pendekatan seperti automated red teaming diperkirakan akan menjadi bagian penting dari pengembangan sistem AI yang lebih aman.
OpenAI sendiri menyatakan GPT-Red akan tetap digunakan bersama red teaming manusia dan pihak ketiga, perlindungan berlapis, serta pemantauan secara real time.
Kesimpulan
GPT-Red menunjukkan pendekatan baru dalam keamanan AI, yaitu menggunakan model kecerdasan buatan untuk secara otomatis menguji kelemahan model AI lainnya.
