Grokking Saat AI Sebarkan Tautan Phising

Grokking Saat AI Sebarkan Tautan Phising – Kita semua pernah mendengar tentang bahaya yang ditimbulkan oleh rekayasa sosial (social engineering). Ini adalah salah satu trik tertua, memanipulasi korban secara psikologis agar menyerahkan informasi atau menginstal malware.

Sampai saat ini, hal ini dilakukan terutama melalui email phising, pesan teks, atau panggilan telepon. Namun, ada tool baru yang ikut bermain. Kecerdasan Buatan Generatif (GenAI).

Dalam kondisi tertentu, GenAI dan Large Language Models (LLM) yang tertanam dalam layanan online populer dapat diubah menjadi kaki tangan yang tidak disengaja untuk rekayasa sosial.

Baru-baru ini, peneliti keamanan memperingatkan hal ini terjadi di platform X (sebelumnya Twitter). Jika Anda belum menganggap ini sebagai ancaman, inilah saatnya untuk memperlakukan setiap output dari bot AI yang menghadap publik sebagai tidak tepercaya.

Bagaimana Serangan Grokking Bekerja?

AI merupakan ancaman rekayasa sosial dalam dua cara. Di satu sisi, LLM dapat diarahkan untuk merancang kampanye phising yang sangat meyakinkan dalam skala besar, serta membuat deepfake audio dan video.

Namun, ada ancaman lain yang jauh lebih licik, seperti yang ditemukan X baru-baru ini, sebuah teknik yang dijuluki “Grokking” (jangan disamakan dengan fenomena grokking dalam pembelajaran mesin).

Dalam kampanye serangan ini, pelaku ancaman mengakali larangan X terhadap tautan di postingan berbayar dengan menjalankan postingan kartu video yang menampilkan video clickbait. Mereka berhasil menyematkan tautan berbahaya mereka di kolom kecil dari di bawah video.

Di sinilah bagian yang menarik, pelaku jahat kemudian meminta bot GenAI bawaan X, Grok, dari mana video itu berasal. Grok membaca postingan tersebut, mendeteksi tautan kecil itu, dan menguatkannya dalam jawabannya.

Mengapa Teknik Ini Berbahaya?

1. Trik ini secara efektif mengubah Grok yang merupakan akun tepercaya menjadi pelaku jahat, dengan mendorongnya untuk mem-posting ulang tautan phising.
2. Postingan video berbayar ini seringkali mencapai jutaan impresi, berpotensi menyebarkan scam dan malware secara luas.
3. Tautan tersebut juga akan diperkuat dalam SEO (Optimasi Mesin Pencari) dan reputasi domain, karena Grok adalah sumber yang sangat tepercaya.
4. Tautan-tautan itu sendiri mengarahkan korban ke formulir pencurian kredensial dan unduhan malware, yang dapat menyebabkan pengambilalihan akun, pencurian identitas, dan lainnya.

Masalah ini bukan hanya masalah X/Grok. Teknik yang sama secara teori dapat diterapkan pada tool GenAI/LLM apa pun yang tertanam dalam platform tepercaya.

Ini menyoroti kecerdikan pelaku ancaman dalam menemukan cara untuk memotong mekanisme keamanan.

Bahaya Prompt Injection

Injeksi prompt (Prompt Injection) adalah jenis serangan di mana pelaku ancaman memberikan instruksi berbahaya kepada bot GenAI yang disamarkan sebagai prompt pengguna yang sah.

Mereka dapat melakukan ini secara langsung (dengan mengetik instruksi berbahaya di interface chat) atau secara tidak langsung, seperti kasus Grok.

Dalam kasus tidak langsung, instruksi berbahaya biasanya disembunyikan dalam data yang kemudian didorong untuk diproses oleh model sebagai bagian dari tugas yang sah.

Dalam kasus Grok, tautan berbahaya disematkan dalam metadata video di bawah postingan, kemudian Grok diminta “dari mana video ini berasal?”.

Serangan semacam itu sedang meningkat. Firma analis Gartner baru-baru ini mengklaim bahwa sepertiga (32%) organisasi telah mengalami injeksi prompt selama setahun terakhir. Ada banyak skenario potensial lain di mana kasus serupa dapat terjadi:

• Penyerang memasukkan prompt berbahaya tersembunyi ke dalam sebuah situs web. Jika Anda kemudian meminta asisten AI tertanam untuk “meringkas artikel ini,” LLM akan memproses prompt tersembunyi di halaman tersebut untuk menyajikan payload penyerang (misalnya, link phising).
• Penyerang menyembunyikan prompt berbahaya di forum publik menggunakan teks putih di atas latar belakang putih atau font kecil. Jika Anda meminta LLM untuk menyarankan postingan terbaik di utas tersebut, ia mungkin memicu komentar yang diracuni dan menyarankan Anda mengunjungi situs phising.
• Pelaku ancaman mengirim email dengan prompt berbahaya tersembunyi. Jika Anda meminta LLM klien email Anda untuk “meringkas email terbaru,” LLM akan terpicu untuk melakukan tindakan berbahaya, seperti mengunduh malware atau membocorkan email sensitif.

Jangan Percaya Output AI Secara Buta

Jumlah variasi ancaman ini tidak terbatas. Pelajaran utama yang harus Anda ambil adalah jangan pernah memercayai output dari tool GenAI apa pun secara buta. Anda tidak bisa berasumsi bahwa LLM tidak tertipu oleh pelaku ancaman yang cerdik.

Mereka mengandalkan Anda untuk bertindak sebaliknya. Namun, seperti yang telah kita lihat, prompt berbahaya dapat disembunyikan dalam teks putih, metadata, atau bahkan karakter Unicode.

Setiap GenAI yang mencari data yang tersedia untuk umum untuk memberi Anda jawaban juga rentan memproses data yang “diracuni” untuk menghasilkan konten berbahaya.

Pertimbangkan juga hal berikut sebagai langkah pencegahan

• Periksa Tautan: Jika bot GenAI memberikan Anda tautan, arahkan kursor ke atasnya (hover) untuk memeriksa URL tujuan sebenarnya. Jangan klik jika terlihat mencurigakan.
• Selalu Skeptis: Selalu bersikap skeptis terhadap output AI, terutama jika jawaban atau saran tersebut terlihat janggal atau tidak sesuai konteks.
• Perkuat Akun: Gunakan kata sandi yang kuat dan unik (disimpan di pengelola kata sandi) dan autentikasi multi-faktor (MFA) untuk memitigasi risiko pencurian kredensial.
• Perbarui Sistem: Pastikan semua perangkat lunak dan sistem operasi di perangkat Anda mutakhir untuk meminimalkan risiko eksploitasi kerentanan.
• Keamanan Berlapis: Berinvestasilah pada perangkat lunak keamanan berlapis dari vendor terkemuka untuk memblokir unduhan malware, scam phising, dan aktivitas mencurigakan lainnya di mesin Anda.

Tool AI tertanam telah membuka medan baru dalam perang melawan phising. Pastikan Anda tidak jatuh dalam jebakan ini. Selalu pertanyakan, dan jangan pernah berasumsi AI memberikan jawaban yang benar.

Sumber berita: 

WeLiveSecurity