by Irra Fachriyanthi, Indonesian author and former youth magazine journalist
Beberapa minggu lalu, saya membaca sebuah tulisan pendek di Medium yang ditulis oleh Brian Hikari, seorang UX writer yang sedang belajar mengimplementasikan AI ke dalam pekerjaannya.
Tulisannya tidak panjang. Tidak ada jargon teknis. Tapi ada satu kalimat yang membuat saya berhenti membaca:
"AI is the engine. The human is the engineer who decides where the train goes."
Saya bukan orang teknis. Saya jurnalis yang meliput isu-isu digital untuk pembaca yang juga bukan orang teknis. Dan justru karena itu, kalimat Brian terasa seperti sesuatu yang sudah lama saya cari, cara paling jujur untuk menjelaskan mengapa AI tidak bekerja seperti kebanyakan orang bayangkan.
Saya menghubungi Brian. Dan dari percakapan itu, lahirlah artikel ini.
Bagaimana Brian Menemukan Ini, Dengan Cara yang Menyakitkan
Brian bukan peneliti AI. Ia memulai karirnya sebagai jurnalis, kemudian menjadi UX Writer, dan belakangan mulai mengeskplorasi cara mengintegrasikan LLM ke dalam pekerjaannya sehari-hari.
Suatu hari, ia mencoba sesuatu yang sederhana: meminta sebuah AI mengevaluasi tampilan antarmuka sebuah aplikasi. Ia memberi satu prompt panjang, menjelaskan konteksnya, dan menunggu.
Jawabannya keluar; rapi, terstruktur, dan terdengar sangat meyakinkan.
Satu masalah: sebagian besar jawabannya salah. Aplikasi yang punya masalah usability yang sudah terdokumentasi justru mendapat nilai bagus dari AI.
"Saya berhenti menganggap AI sebagai mesin ajaib," cerita Brian. "Saya mulai membangun sistem di sekelilingnya."
Ia tidak mengganti modelnya. Ia membangun empat hal di sekitar AI yang sama: memecah tugas besar menjadi langkah-langkah kecil yang terfokus, menyusun knowledge base dari ratusan sumber yang sudah diverifikasi, menambahkan satu lapisan review sebelum output sampai ke pengguna, dan ini yang paling penting, memasukkan setiap koreksinya kembali ke sistem sebagai aturan permanen.
Hasilnya: akurasi yang semula 50% berubah menjadi 93%.
Bukan karena modelnya berubah. Karena sistemnya berubah.
"Dua orang dengan AI yang identik akan mendapat hasil yang sangat berbeda, karena keahlian dan koreksi mereka berbeda. Mesinnya sama. Tapi engineernya berbeda." – Brian Hikari
Semua Orang Membeli Mesin yang Sama
Ada pola yang terus berulang setiap kali teknologi besar muncul.
Ketika mesin uap ditemukan, semua orang berlomba membelinya. Tapi mesin uap sendirian tidak mengubah dunia. Yang mengubah dunia adalah apa yang dibangun di sekelilingnya, pabrik, rel kereta, lini produksi. Seseorang harus merancang alat tenunnya, menghubungkannya ke mesin, dan membangun sistem di sekitarnya. Mesin adalah komponen. Sistem adalah kekuatannya.
Di era AI, kita sedang mengulangi kesalahan yang sama.
Hampir semua orang punya akses ke model AI yang identik, API yang sama, harga yang tidak jauh berbeda, kemampuan dasar yang setara. Tapi hasilnya sangat berbeda dari satu pengguna ke pengguna lain, dari satu organisasi ke organisasi lain.
Bukan karena AI mereka berbeda. Karena sistem di sekelilingnya berbeda.
Lalu Apa Hubungannya Dengan Kita?
Ketika saya pertama membaca tulisan Brian, pikiran saya langsung pergi ke suatu tempat yang jauh dari dunia UX.
Desember 2013. Target Corporation, salah satu jaringan ritel terbesar di Amerika, baru saja memasang sistem keamanan siber terbaru seharga $1,6 juta dari FireEye, perusahaan yang juga melayani CIA dan Pentagon. Sistemnya bekerja sempurna: FireEye mendeteksi malware berbahaya dan mengirimkan peringatan dua kali, 30 November dan 2 Desember, ke tim monitoring, yang kemudian meneruskannya ke kantor pusat di Minneapolis.
Tidak ada yang menindaklanjutinya.
Malware berjalan bebas hampir tiga minggu. Ketika akhirnya terdeteksi–bukan oleh tim Target sendiri, tapi oleh pemroses pembayaran eksternal–40 juta nomor kartu kredit sudah dicuri, 70 juta data pelanggan bocor, dan kerugian melampaui $200 juta.
Mesinnya bekerja. Sistemnya tidak siap. Dan tidak ada manusia yang terlatih untuk memegang kendali di saat yang paling penting.
Ini bukan cerita tentang kegagalan teknologi. Ini cerita yang persis sama dengan yang Brian alami, hanya skalanya berbeda, dan konsekuensinya jauh lebih mahal.
Ancaman yang Sudah Masuk ke Ruang Keluarga Kita
Sampai di sini, mungkin masih terasa seperti isu korporat yang jauh dari keseharian.
Tapi coba bayangkan ini.
Suatu sore, ibu Anda menerima telepon dari nomor tak dikenal. Suara di ujung sana terdengar seperti Anda, intonasi, logat, bahkan cara Anda memulai kalimat saat panik. Suara itu bilang Anda kecelakaan. Butuh uang segera untuk rumah sakit. Ibu Anda panik, langsung transfer.
Anda baik-baik saja. Anda tidak pernah menelepon.
Skenario ini bukan fiksi. OJK memperingatkan bahwa pelaku kejahatan siber kiri bisa merekam dan meniru suara seseorang hanya dari konten yang beredar di media sosial. "Dengan media sosial, sangat mudah mendapatkan suara dari seseorang, bahkan suara anak-anak," kata Kepala Eksekutif OJK Friderica Widyasari Dewi. Teknologi yang dulu butuh berjam-jam sampel audio kini hanya perlu 3 detik untuk menghasilkan kloning suara yang meyakinkan, dan penipuan berbasis kloning suara AI telah melonjak 450% sejak 2024.
OJK mencatat kerugian akibat kejahatan finansial berbasis AI mencapai RP 7,8 triliun hanya dalam setahun, dengan lebih dari 70.000 laporan masuk per Agustus 2025.
Yang membuat ini lebih mengkhawatirkan: penyerang tidak hanya menggunakan AI. Mereka membangun sistem di sekelilingnya.
Januari-Februari 2025, Bareskrim Polri menangkap dua tersangka dalam satu sindikat penipuan deepfake. Tersangka pertama, AMA (29), adalah pembuat kontennya: ia menggunakan AI untuk memanipulasi wajah dan suara Presiden Prabowo Subianto, Wakil Presiden Gibran, dan Menteri Keuangan Sri Mulyani – seolah-olah mereka mengumumkan program bantuan pemerintah. Tersangka kedua, JS (25), adalah penyebarnya: ia menelusuri video serupa di Instagram dengan kata kunci "Prabowo Giveaway", mengunggahnya ke akun yang ia kelola, dan menjerat sekitar 100 korban dari 20 provinsi dengan total keuntungan Rp 65 juta.
Mereka bukan sekadar memakai teknologi. Mereka membangun sistem: ada yang membuat, ada yang menyebarkan, ada saluran komunikasi via WhatsApp, ada skenario "biaya administrasi" yang sudah dirancang dari awal.
Mesin uapnya tersedia untuk semua orang. Yang membedakan penyerang yang berhasil adalah sistem yang mereka bangun di atasnya.
Empat Elemen yang Menentukan Segalanya
Setelah percakapan panjang dengan Brian, saya bertanya: apakah keempat elemen yang ia bangun dalam konteks UX itu berlaku di luar dunia teknis?
"Justru di situ intinya," jawabnya. "Mesinnya netral. Yang menentukan hasilnya adalah sistem di sekelilingnya – dan manusia yang ada di dalam sistem itu."
Ternyata keempat elemen itu punya terjemahan yang sangat konkret untuk kehidupan sehari-hari.
Dekomposisi tugas. Penipu yang menelepon dengan suara kloning mengandalkan satu momen kepanikan untuk membuat Anda mengambil keputusan besar tanpa berpikir. Memecah momen itu, tarik napas, tutup telepon dulu, hubungi nomor asli yang Anda simpan, adalah dekomposisi tugas dalam bentuk paling sederhana.
Knowledge base yang dikurasi. AI yang Brian gunakan menjadi jauh lebih akurat ketika ia memberinya fondasi pengetahuan yang terkurasi, bukan membiarkannya berjalan dengan asumsi default. Untuk kita: tahu bahwa suara bisa dipalsukan, tahu bahwa wajah di video call bisa dibuat AI, tahu bahwa "mendesak" adalah taktik, itu adalah knowledge base yang melindungi.
Quality gate. Brian menambahkan satu langkah review sebelum output sistem sampai ke pengguna. Kita bisa melakukan hal yang sama: satu langkah verifikasi sebelum transfer, sebelum klik tautan, sebelum memberikan data pribadi. Satu langkah itu yang paling sering dilompati saat panik.
Human feedback loop. Setiap kali Brian mengoreksi sistemnya, koreksi itu menjadi pelajaran yang tidak pernah diulang. Setiap kali kita, atau orang di sekitar kita, hampir tertipu, cerita itu harus dibagikan. Kepada orang tua. Kepada adik. Kepada teman yang belum tahu. Karena sistem yang baik belajar dari kesalahannya.
Engineernya, Bukan Penumpangnya
Kita sedang hidup di era di mana mesin uapnya sudah ada dimana-mana, murah, mudah diakses, dan semakin canggih setiap harinya. Orang baik menggunakannya. Orang jahat juga menggunakannya. Sistem keamanan perusahaan membelinya. Penipu yang menelepon dengan suara anak Anda juga membelinya.
Yang tidak bisa dibeli adalah sistem yang dibangun di sekelilingnya. Dan yang tidak bisa digantikan adalah manusia yang berdiri di dalam sistem itu, yang tahu kapan harus berhenti sejenak, mempertanyakan apa yang terdengar meyakinkan, dan memilih untuk verifikasi sebelum bertindak.
Brian menemukannya dari eksperimen UX yang gagal.
Target Corporation mempelajarinya dengan harga $200 juta.
Ibu yang menerima telepon dari "anak" yang kecelakaan tidak punya kemewahan untuk belajar dari kesalahan itu setelah kejadian.
Jadi mungkin pertanyaan yang paling penting bukan AI mana yang paling canggih – melainkan: sistem apa yang sudah kita bangun di sekelilingnya, dan apakah kita siap menjadi engineernya?
Karena kereta itu sudah berjalan. Pertanyaannya hanya siapa yang memegang kendalinya.
Artikel ini terinspirasi dari: Brian Hikari. “The Steam Engine Fallacy in The AI Era.” Medium, 23 Maret 2026
