Anthropic telah mengakui bahwa AI Claude miliknya secara tidak sengaja meretas tiga organisasi nyata selama pengujian keamanan siber setelah kesalahan pengaturan memberinya akses internet. Perusahaan tersebut mengatakan insiden tersebut mengungkap kelemahan dalam lingkungan pengujiannya, bukan upaya AI untuk melepaskan diri.
Anthropic mengungkapkan bahwa model AI Claude miliknya secara tidak sengaja meretas sistem tiga organisasi nyata selama pengujian keamanan siber setelah kesalahan konfigurasi memberi AI akses ke internet terbuka. Perusahaan tersebut mengatakan insiden tersebut bukan akibat dari upaya Claude untuk melarikan diri dari lingkungan pengujiannya, tetapi karena kesalahan dalam pengaturan evaluasi.
"Setelah meninjau 141.006 kali pengujian evaluasi di mana Claude berpotensi mendapatkan akses internet, kami mengidentifikasi tiga insiden di mana sebuah model mengakses internet dari dalam atau saat berinteraksi dengan lingkungan evaluasi Irregular, salah satu mitra evaluasi pihak ketiga kami, dan kemudian memperoleh akses tidak sah ke infrastruktur produksi dari tiga organisasi berbeda," kata perusahaan itu dalam unggahan blognya.
Pengungkapan ini muncul tak lama setelah OpenAI melaporkan bahwa beberapa model AI-nya telah lolos dari lingkungan pengujian terisolasi dengan mengeksploitasi kerentanan perangkat lunak yang sebelumnya tidak diketahui. Pengungkapan tersebut mendorong Anthropic untuk melakukan tinjauan besar terhadap evaluasi keamanan siber mereka sendiri untuk memeriksa apakah Claude pernah mencapai sistem yang seharusnya tidak diaksesnya. Perusahaan tersebut memeriksa lebih dari 141.000 kali evaluasi dan menemukan tiga insiden di mana Claude mengakses internet saat berpartisipasi dalam latihan "capture-the-flag". Tes ini dirancang untuk mengukur kemampuan peretasan model AI dengan memintanya untuk mengambil informasi tersembunyi dari jaringan simulasi.
Menurut Anthropic, Claude telah diberi tahu dengan jelas bahwa ia bekerja di dalam lingkungan fiktif tanpa akses internet. Namun, karena kesalahan konfigurasi antara Anthropic dan mitra evaluasi pihak ketiganya, mesin uji tersebut sebenarnya terhubung ke internet. Akibatnya, Claude menganggap situs web dan server nyata yang ditemukannya hanyalah bagian dari tantangan tersebut.
Claude menggunakan metode peretasan sederhana.
Anthropic mengatakan bahwa AI tersebut mengandalkan metode peretasan dasar daripada eksploitasi tingkat lanjut. AI tersebut menggunakan teknik seperti kata sandi lemah, halaman debug yang terbuka, injeksi SQL, dan titik akhir yang tidak terautentikasi untuk mendapatkan akses ke sistem. Perusahaan menambahkan bahwa Claude tidak pernah mencoba untuk menggandakan dirinya sendiri, melarikan diri dari lingkungan pengujian, atau mengejar tujuan di luar penyelesaian tugas yang diberikan.
Salah satu insiden melibatkan Claude Opus 4.7, yang secara keliru menargetkan perusahaan nyata setelah namanya cocok dengan nama bisnis fiktif yang digunakan dalam latihan tersebut. Karena percaya telah menemukan target yang dimaksud, model tersebut memperoleh akses ke infrastruktur perusahaan, mengekstrak kredensial, dan mencapai basis data produksi yang berisi beberapa ratus baris data. Anthropic menggambarkan ini sebagai insiden paling serius dari ketiga insiden tersebut.
Kasus lain melibatkan Claude Mythos 5, yang membuat dan mengunggah paket Python berbahaya ke repositori perangkat lunak publik PyPI. AI tersebut percaya bahwa repositori itu adalah bagian dari simulasi, tetapi paket tersebut sempat tersedia daring selama sekitar satu jam sebelum dihapus. Selama waktu itu, paket tersebut diunduh oleh 15 sistem nyata, termasuk pemindai keamanan otomatis yang dioperasikan oleh perusahaan keamanan siber. Anthropic mengatakan bahwa pemindai tersebut menjalankan paket tersebut sebagai bagian dari proses normalnya, memungkinkan AI untuk mengumpulkan kredensial sebelum paket tersebut dihapus.
Anthropic mengatakan pengaturan pengujianlah yang menjadi penyebabnya.
Insiden ketiga melibatkan model riset internal yang memindai sekitar 9.000 target yang terhubung ke internet setelah gagal mencapai tujuan fiktifnya. Pada akhirnya, model tersebut berhasil membobol aplikasi sebuah perusahaan menggunakan kredensial yang terekspos dan injeksi SQL. Namun, tidak seperti model-model sebelumnya, versi ini menghentikan aktivitasnya setelah menyadari bahwa ia telah mencapai sistem nyata di luar evaluasi yang dimaksud.
Anthropic menyatakan bahwa evaluasi tersebut dilakukan tanpa pemantauan dan perlindungan terhadap penyalahgunaan yang biasanya diaktifkan pada model Claude yang tersedia untuk umum. Setelah masalah tersebut ditemukan, perusahaan menghentikan semua evaluasi siber, memberi tahu mitra evaluasinya, Irregular, dan memberitahukan kepada organisasi yang terkena dampak.
Saat membandingkan temuannya dengan pengungkapan terbaru OpenAI, Anthropic berpendapat bahwa kedua insiden tersebut berbeda. Model OpenAI lolos melalui kerentanan yang sebelumnya tidak diketahui, sedangkan Claude mencapai internet karena lingkungan pengujian dibiarkan terhubung secara tidak sengaja. Perusahaan tersebut percaya bahwa kejadian ini menyoroti perlunya pengamanan yang lebih kuat di sekitar pengujian AI karena model menjadi semakin canggih.
