Model AI Gemini milik Google meretas tiga perusahaan nyata selama uji keamanan siber – ini adalah pertama kalinya AI perusahaan tersebut terlibat dalam insiden semacam itu. Namun Google mengatakan AI tersebut berhenti sebelum menimbulkan kerugian apa pun pada ketiga perusahaan tersebut.
Google menjadi perusahaan terbaru yang mengungkapkan bahwa agen AI-nya telah meretas perusahaan lain. Raksasa teknologi ini telah mengkonfirmasi bahwa model AI Gemini-nya meretas tiga perusahaan nyata selama uji keamanan siber, tetapi AI tersebut berhenti dengan sendirinya setelah menyadari apa yang telah terjadi.
Menurut laporan dari Wall Street Journal, model Gemini milik Google mengakses internet dan meretas tiga perusahaan eksternal selama uji keamanan siber yang dilakukan oleh perusahaan rintisan Israel, Irregular, pada bulan Mei. Ini menandai kasus pertama yang diketahui di mana sistem AI perusahaan tersebut secara otomatis melakukan tindakan semacam itu.
Irregular adalah perusahaan rintisan AI yang telah dikaitkan dengan insiden serupa, termasuk pelanggaran data OpenAI Hugging Face yang terkenal, di mana lebih dari 700 agen AI jahat mencoba meretas sistem perusahaan AS Hugging Face.
Gemini meretas tiga perusahaan
Menurut Google, insiden tersebut muncul dari kasus salah identitas selama latihan "perebutan bendera" di infrastruktur Irregular. Gemini ditugaskan untuk mengambil informasi dari perangkat lunak yang dijalankan oleh perusahaan fiktif di dalam lingkungan pengujian, tetapi perusahaan fiktif tersebut memiliki nama yang sama dengan perusahaan nyata.
Meskipun model tersebut tidak dirancang untuk memiliki akses internet, Irregular mengatakan bahwa akses internet secara tidak sengaja tersedia. Hal ini memungkinkan Gemini untuk mengakses sistem perusahaan yang sebenarnya – yang dalam satu kasus dilakukan dengan menebak kata sandi. Tetapi ketika AI menyadari bahwa ia telah mengakses perusahaan yang sebenarnya, kata Google, AI tersebut menghentikan dirinya sendiri dan keluar.
Dalam dua percobaan lainnya, Gemini mencari di web menggunakan nama perusahaan dan menemukan kredensial di dua repositori online publik. AI kemudian menggunakan kredensial ini untuk mengakses sistem tersebut sebelum berhenti ketika menyadari bahwa perusahaan-perusahaan tersebut nyata.
Google mengatakan AI bertindak dengan tepat karena berhenti dengan sendirinya
Google mengkonfirmasi bahwa mereka telah diberitahu tentang insiden tersebut pada bulan Juli tahun ini. Namun, perusahaan tersebut tidak mengungkapkannya pada saat itu. Perusahaan tersebut mengatakan kepada WSJ bahwa mereka tidak percaya kasus-kasus ini memerlukan pengungkapan publik karena model tersebut menghentikan intrusi tersebut dengan sendirinya.
“Peristiwa ini menyoroti pentingnya melatih model AI yang andal untuk bertindak secara bertanggung jawab,” kata Heather Adkins, Wakil Presiden bidang rekayasa keamanan Google, dalam sebuah pernyataan. “Dalam kasus ini, model tersebut bertindak dengan tepat.”
Google telah memberi tahu ketiga perusahaan yang terdampak serta pihak berwenang federal mengenai insiden tersebut. Perusahaan menolak untuk menyebutkan identitas perusahaan yang terdampak dan mengatakan peretasan tersebut tidak melibatkan model terbarunya, tanpa menyebutkan model Gemini mana yang terlibat. Perusahaan memandang kejadian ini lebih mirip program hadiah penemuan bug, di mana kerentanan ditemukan dan dilaporkan, daripada pelanggaran yang merugikan.
Irregular menyatakan bahwa kasus Google sama dengan insiden lain yang melibatkan laboratorium AI terkemuka dan bukan merupakan masalah baru. “Semua laboratorium terkait telah diberitahu pada akhir Juli, dan entitas yang terkena dampak telah dihubungi sebagai bagian dari penyelidikan,” kata juru bicara Irregular. “Irregular segera mengambil tindakan, dan semua masalah yang diketahui di pihak kami telah diperbaiki dan diselesaikan beberapa minggu yang lalu.”
Insiden serupa yang terkait dengan Irregular telah diungkapkan oleh OpenAI, Anthropic, dan Meta. Meskipun kasus Google berbeda dalam satu aspek kunci – AI berhenti dengan sendirinya. Sebelumnya, Anthropic telah menyebutkan bahwa model Claude Opus 4.7 mereka tidak berhenti selama latihan serupa setelah menyadari bahwa mereka mungkin mengakses perusahaan nyata, sementara OpenAI telah mengungkapkan bahwa salah satu model mereka percaya bahwa perusahaan nyata yang mereka akses adalah bagian dari simulasi.
Pengungkapan ini terjadi di tengah meningkatnya pengawasan di dunia AI. Kita melihat lebih banyak kasus AI yang bertindak di luar kendali, sesuatu yang telah ditandai oleh para peneliti AI sebagai ancaman potensial bagi manusia. Setelah peneliti AI Jacob Coxon mengundurkan diri dari Anthropic, dengan alasan kekhawatiran tersebut, keamanan AI menjadi pusat perdebatan. Beberapa pihak, seperti Evan Hubinger dari Anthropic, memprediksi bahwa AI mungkin akan membunuh semua manusia dalam dekade berikutnya.
Pada saat yang sama, OpenAI dan Anthropic mendorong perlambatan pengembangan AI. Namun Presiden AS Donald Trump menolak gagasan tersebut. Jensen Huang dari Nvidia dan CEO Meta, Mark Zuckerberg, juga menentang hal itu.
