Ketika AI Salah Mengambil Keputusan, Siapa yang Bertanggung Jawab?

Artificial Intelligence (AI) semakin banyak digunakan untuk membantu manusia mengambil keputusan. Teknologi ini tidak lagi hanya digunakan untuk menjawab pertanyaan atau menghasilkan gambar, tetapi mulai diterapkan dalam berbagai bidang seperti keuangan, kesehatan, pendidikan, rekrutmen, keamanan, hingga layanan publik.
Di balik kemudahan tersebut, muncul sebuah pertanyaan yang semakin penting: jika AI membuat keputusan yang salah dan keputusan tersebut merugikan seseorang, siapa yang harus bertanggung jawab?

Pertanyaan ini tidak sesederhana menyalahkan teknologi. Sebuah sistem AI dibangun oleh manusia, dilatih menggunakan data, dikembangkan oleh organisasi, dan digunakan dalam konteks tertentu. Karena itu, ketika terjadi kesalahan, tanggung jawab perlu dilihat dari seluruh proses yang membuat keputusan tersebut terjadi.

AI Tidak Selalu Menghasilkan Keputusan yang Benar

AI bekerja dengan mempelajari pola dari data untuk menghasilkan prediksi, rekomendasi, atau keluaran tertentu. Kemampuan ini membuat AI sangat berguna untuk memproses data dalam jumlah besar dengan cepat. Namun, kemampuan menemukan pola tidak berarti AI selalu memahami situasi secara sempurna. Kesalahan dapat terjadi karena data pelatihan tidak representatif, model memiliki keterbatasan, atau sistem digunakan dalam kondisi yang berbeda dari tujuan awalnya. Dalam AI generatif, misalnya, sistem dapat menghasilkan informasi yang terlihat meyakinkan tetapi sebenarnya tidak benar.

Artinya, hasil AI tidak seharusnya diperlakukan sebagai kebenaran mutlak. NIST melalui Artificial Intelligence Risk Management Framework (AI RMF) menekankan pentingnya pengelolaan risiko agar sistem AI dapat dikembangkan dan digunakan secara lebih terpercaya.

Dari Mana Kesalahan AI Bisa Berasal?

Kesalahan AI dapat muncul dari berbagai bagian dalam siklus hidup teknologi.

1. Data yang Digunakan
   AI sangat bergantung pada data. Jika data pelatihan mengandung bias, tidak lengkap, atau tidak mewakili kelompok tertentu, model dapat menghasilkan keputusan yang tidak akurat atau tidak adil. Contohnya, perusahaan menggunakan AI untuk membantu menyaring kandidat pekerjaan. Jika model belajar dari data historis yang memiliki pola tertentu yang tidak relevan dengan kemampuan kandidat, AI dapat mempelajari pola tersebut dan menerapkannya kembali. Dalam situasi ini, masalahnya bukan sekadar "AI salah", tetapi juga berkaitan dengan data dan proses pengembangan sistem.
2. Keterbatasan Model
   Tidak ada model AI yang sempurna. Sebuah sistem dapat memiliki akurasi tinggi dalam pengujian, tetapi performanya berubah ketika menghadapi kondisi dunia nyata yang berbeda.
   AI dapat mengenali pola statistik, tetapi tidak selalu mampu memahami konteks, nilai, atau kondisi khusus yang menjadi pertimbangan manusia dalam mengambil keputusan.
3. Cara Sistem Digunakan
   Sistem yang dirancang sebagai alat bantu belum tentu aman jika digunakan sebagai pengambil keputusan final.
   Misalnya, AI awalnya dibuat untuk memberikan rekomendasi kepada manusia, tetapi kemudian organisasi menjadikan rekomendasi tersebut sebagai keputusan otomatis tanpa pemeriksaan. Dalam kondisi ini, persoalannya bukan hanya kemampuan model, tetapi juga bagaimana organisasi menerapkan teknologi tersebut.
4. Kesalahan Manusia
   Manusia juga dapat memperbesar risiko dengan terlalu mempercayai hasil AI. Pengguna mungkin menganggap keputusan komputer selalu lebih objektif daripada manusia, padahal sistem otomatis tetap memiliki keterbatasan.
   Karena itu, pengawasan manusia tetap penting, terutama ketika keputusan AI memiliki dampak besar terhadap seseorang.

Jadi, Siapa yang Bertanggung Jawab?

Tidak ada satu jawaban yang berlaku untuk semua kasus. Tanggung jawab bergantung pada siapa yang mengembangkan sistem, menyediakan data, menerapkan teknologi, menentukan tujuan penggunaan, serta memiliki kewenangan mengambil keputusan akhir.
Pendekatan ini sejalan dengan OECD AI Principles, yang menempatkan accountability sebagai salah satu prinsip utama AI yang dapat dipercaya. OECD juga menekankan pentingnya traceability, yaitu kemampuan untuk menelusuri data, proses, dan keputusan sepanjang siklus hidup sistem AI.

1. Pengembang Sistem AI
   Pengembang memiliki tanggung jawab terhadap aspek teknis sistem yang dibuat, termasuk pengujian, validasi, keamanan, dokumentasi, serta pemahaman terhadap keterbatasan model.
   Namun, pengembang tidak otomatis bertanggung jawab atas setiap kesalahan setelah sistem digunakan. Konteks dan cara teknologi tersebut diterapkan juga perlu diperhatikan.
2. Perusahaan atau Organisasi
   Organisasi yang menggunakan AI memiliki tanggung jawab untuk memahami tujuan, risiko, dan batasan teknologi tersebut.
   Jika perusahaan menggunakan AI untuk membantu proses rekrutmen, misalnya, hasil sistem seharusnya tidak langsung menjadi keputusan final tanpa mekanisme pengawasan yang sesuai.
   Mengatakan "AI yang membuat keputusan" tidak otomatis menghilangkan tanggung jawab organisasi yang memilih dan mengatur penggunaan AI tersebut.
3. Pengguna atau Pengambil Keputusan
   Dalam banyak penerapan, AI hanya memberikan rekomendasi. Manusia masih memiliki kewenangan untuk menerima, menolak, atau memeriksa hasil tersebut. Jika pengguna mengabaikan risiko yang sudah diketahui atau menggunakan sistem di luar tujuan yang dirancang, tindakan manusia juga perlu dipertimbangkan dalam menentukan tanggung jawab.

Mengapa Transparansi Sangat Penting?

Bayangkan seseorang ditolak dalam proses rekrutmen karena sistem AI menilai dirinya tidak memenuhi kriteria. Ketika orang tersebut bertanya, "Mengapa saya ditolak?", perusahaan tidak seharusnya hanya menjawab, "Karena AI mengatakan demikian." Keputusan yang berdampak terhadap seseorang harus dapat ditinjau dan dipertanyakan.
Karena itu, transparansi dan explainability menjadi penting. Organisasi perlu memahami bagaimana sistem digunakan, apa keterbatasannya, dan bagaimana keputusan dapat ditelusuri ketika terjadi masalah.

Semakin Besar Dampaknya, Semakin Penting Pengawasan Tidak semua keputusan AI memiliki tingkat risiko yang sama.Kesalahan AI dalam merekomendasikan musik mungkin hanya menghasilkan rekomendasi yang kurang sesuai. Namun, kesalahan dalam kesehatan, pekerjaan, layanan keuangan, pendidikan, atau layanan publik dapat memberikan dampak yang jauh lebih serius.

Karena itu, semakin besar konsekuensi sebuah keputusan, semakin kuat pula mekanisme pengawasan yang dibutuhkan. Manusia perlu memiliki kemampuan untuk memahami hasil AI, mempertanyakan keputusan, dan jika diperlukan, membatalkan atau mengoreksinya.

AI Tidak Bisa Menjadi Alasan untuk Menghindari Tanggung Jawab

Salah satu persoalan yang mungkin muncul adalah responsibility gap. Ketika AI membuat keputusan yang merugikan, pengembang dapat mengatakan bahwa mereka hanya membuat sistem. Perusahaan dapat mengatakan bahwa keputusan berasal dari algoritma. Pengguna dapat mengatakan bahwa mereka hanya mengikuti rekomendasi.
Jika semua pihak melepaskan diri, siapa yang bertanggung jawab kepada orang yang dirugikan?

Inilah alasan tata kelola AI tidak cukup hanya membahas kecanggihan teknologi. Organisasi juga perlu menentukan siapa yang bertanggung jawab, bagaimana keputusan dapat ditinjau, bagaimana kesalahan dilaporkan, dan bagaimana dampak terhadap pengguna diperbaiki.

Masa Depan AI Tetap Membutuhkan Manusia

AI kemungkinan akan semakin mampu memberikan rekomendasi, menjalankan tugas, dan mengambil tindakan secara otomatis. Namun, perkembangan tersebut justru membuat pengawasan manusia semakin penting. Pertanyaannya bukan hanya "Apakah AI akan menggantikan manusia?", tetapi juga "Bagaimana manusia dapat menggunakan AI tanpa kehilangan kendali atas keputusan yang dibuatnya?"

AI dapat membantu manusia bekerja lebih cepat dan memproses data dalam jumlah besar. Namun, ketika keputusan tersebut memiliki konsekuensi nyata bagi seseorang, teknologi tidak boleh menjadi alasan untuk menghilangkan tanggung jawab. Pada akhirnya, AI mungkin yang menghasilkan sebuah keputusan, tetapi manusia tetap memiliki tanggung jawab atas bagaimana AI dirancang, diterapkan, digunakan, dan diawasi.

Semakin besar kewenangan yang diberikan kepada AI, semakin besar pula kebutuhan terhadap transparansi, pengawasan, dan mekanisme pertanggungjawaban.
Karena ketika AI salah mengambil keputusan, pertanyaan terpenting bukan hanya "Mengapa AI bisa salah?", melainkan: "Siapa yang memastikan kesalahan tersebut dapat diketahui, diperbaiki, dan tidak merugikan manusia?"

Referensi:

• OECD — AI Principles — Prinsip AI yang dapat dipercaya, termasuk accountability, transparency, dan explainability. OECD AI Principles
• OECD — Due Diligence Guidance for Responsible AI — Panduan pengelolaan risiko dan dampak AI secara bertanggung jawab. OECD Due Diligence Guidance for Responsible AI
• NIST — AI Risk Management Framework — Kerangka untuk membantu organisasi mengidentifikasi dan mengelola risiko AI. NIST AI Risk Management Framework