- Source: Algoritma bias
Algoritma bias menggambarkan galat sistematis dan berulang dalam sistem komputer yang menciptakan hasil “tidak adil”, seperti “mengistimewakan” satu kategori di atas kategori lainnya dengan cara yang berbeda dari fungsi yang dimaksudkan dari algoritma.
Banyak faktor dapat menyebabkan bias, seperti desain algoritma atau penggunaan yang tidak disengaja atau tidak terduga; serta keputusan tentang cara data dikodekan, dikumpulkan, dipilih, atau digunakan untuk melatih algoritma. Sebagai contoh, hasil mesin pencari dan platform media sosial telah diamati memiliki algoritma bias. Bias ini dapat berdampak dari pelanggaran privasi yang tidak disengaja hingga memperkuat bias sosial terkait ras, gender, orientasi seksual, dan etnisitas. Studi tentang bias algoritmik terutama berfokus pada algoritma yang mencerminkan diskriminasi yang "sistematis dan tidak adil". Peraturan Perlindungan Data Umum Uni Eropa yang diusulkan pada tahun 2018 dan Undang-Undang Kecerdasan Buatan yang diusulkan pada tahun 2021 dan disetujui pada tahun 2024 adalah beberapa contoh undang-undang baru yang baru saja mulai menangani bias ini.
Semakin banyak algoritma yang dapat mengontrol perilaku, politik, institusi, dan masyarakat, sosiolog mulai khawatir tentang bagaimana hasil yang tidak terduga dan manipulasi data dapat memengaruhi dunia fisik. Sebagai akibat dari fenomena psikologis yang dikenal sebagai bias otomatisasi, algoritma dapat secara keliru menunjukkan otoritas yang lebih besar daripada keahlian manusia. Ini terjadi karena algoritma umumnya dianggap netral dan bebas bias. Dalam beberapa situasi, ketergantungan pada algoritma dapat berfungsi sebagai pengganti orang yang bertanggung jawab atas hasil yang dihasilkan. Ada kemungkinan bias masuk ke dalam sistem algoritmik karena ekspektasi sosial, budaya, atau institusional yang sudah ada sebelumnya; cara fitur dan label dipilih; kendala teknis dalam desain; atau penggunaan dalam situasi yang tidak terduga atau oleh audiens yang tidak diperhitungkan saat desain perangkat lunak dibuat.
Dalam berbagai situasi, mulai dari hasil pemilu hingga penyebaran ujaran kebencian secara daring, algoritma bias telah disebutkan. Selain itu, bias ini muncul di bidang peradilan pidana, layanan kesehatan, dan perekrutan, memperparah ketidaksetaraan rasial, sosial-ekonomi, dan gender yang sudah ada. Beberapa kasus penangkapan salah pria kulit hitam telah dikaitkan dengan teknologi pengenalan wajah yang kurang akurat untuk mengidentifikasi wajah berkulit gelap. Masalah ini berasal dari kumpulan data yang tidak seimbang. Karena sifat algoritma yang rahasia dan biasanya dianggap sebagai rahasia dagang, sulit untuk memahami, meneliti, dan mengungkap biasnya. Bahkan jika transparansi penuh diberikan, kompleksitas algoritma tertentu membuatnya sulit dipahami. Selain itu, algoritma memiliki kemampuan untuk mengubah atau merespons masukan atau keluaran dengan cara yang mudah direplikasi atau tidak dapat diprediksi. Bahkan antara pengguna layanan yang sama, seringkali tidak ada satu "algoritma" tunggal yang dapat diperiksa, melainkan jaringan program dan input data yang saling terkait.
Definisi
Meskipun definisi algoritma sulit ditemukan, algoritma dapat digambarkan sebagai rangkaian prosedur yang digunakan oleh program untuk membaca, mengumpulkan, memproses, dan menganalisis data untuk menghasilkan keluaran. Lihat Algoritma untuk pengenalan teknis yang lebih mendalam. Kemampuan untuk memproses, menyimpan, dan mengirimkan data telah ditingkatkan berkat kemajuan perangkat keras komputer. Ini pada gilirannya mendorong pengembangan dan adopsi teknologi seperti pembelajaran mesin dan kecerdasan buatan. Algoritma adalah inti dari mesin pencari, situs media sosial, mesin rekomendasi, ritel daring, iklan daring, dan banyak lagi berkat analisis dan pemrosesan data.
Ilmuwan sosial saat ini memperhatikan proses algoritmik yang tertanam dalam perangkat keras dan aplikasi perangkat lunak karena efeknya terhadap politik dan sosial. Mereka juga mempertanyakan asumsi netralitas yang mendasari algoritma. Algorithmic bias adalah istilah yang digunakan untuk menggambarkan kesalahan yang berulang dan sistematis yang menghasilkan hasil yang tidak adil, seperti memberikan preferensi khusus kepada kelompok pengguna tertentu secara arbitrer daripada kelompok pengguna lainnya. Sebagai contoh, algoritma skor kredit dapat menolak pinjaman tanpa menjadi tidak adil jika secara konsisten menimbang kriteria keuangan yang relevan. Namun, jika algoritma merekomendasikan pinjaman kepada kelompok pengguna tertentu tetapi menolak kelompok pengguna lain yang hampir identik berdasarkan kriteria yang tidak relevan, perilaku ini dapat diulangi dalam banyak kasus. Ada kemungkinan bias ini terjadi secara sengaja atau tidak sengaja. Misalnya, mereka dapat berasal dari data yang bias yang dikumpulkan dari pekerja yang sebelumnya melakukan tugas yang akan diambil alih oleh algoritma.
Metode
Ketika kumpulan data disusun, data dapat dikumpulkan, didigitalisasi, disesuaikan, dan dimasukkan ke dalam basis data sesuai dengan standar pengkatalogan yang dirancang oleh manusia. Ada banyak cara bias dapat masuk ke dalam algoritma. Selanjutnya, programmer menetapkan prioritas atau hierarki untuk menilai dan mengurutkan data. Proses ini memerlukan keputusan manusia tentang bagaimana data dikategorikan dan mana yang akan dimasukkan atau diabaikan. Algoritma tertentu dapat memperkuat stereotip dan preferensi saat memproses dan menampilkan data "relevan" untuk pengguna manusia, misalnya dengan memilih informasi berdasarkan pilihan pengguna sebelumnya atau kelompok pengguna yang sebanding. Algoritma lainnya mengumpulkan data mereka sendiri berdasarkan kriteria yang dipilih oleh manusia, yang dapat menunjukkan bias perancangnya.
Bias dapat berasal dari desain selain dari pengumpulan dan pemrosesan data. Sebagai contoh, algoritma yang mengatur alokasi sumber daya atau pengawasan (seperti yang menentukan lokasi sekolah) dapat secara tidak sengaja mendiskriminasi suatu kategori saat menentukan risiko berdasarkan karakteristik pengguna yang sebanding (seperti skor kredit). Meskipun demikian, mesin rekomendasi yang menggunakan ciri pemasaran yang disimpulkan atau mengasosiasikan pengguna dengan orang yang serupa mungkin bergantung pada hubungan yang tidak akurat yang mencerminkan stereotip etnis, gender, sosial-ekonomi, atau rasial yang luas. Contoh tambahan berasal dari proses menentukan standar untuk menentukan apa yang dimasukkan dan dikecualikan dari hasil pencarian. Perangkat lunak rekomendasi penerbangan dapat mengabaikan penerbangan yang tidak mengikuti jalur penerbangan maskapai yang mensponsori karena kriteria ini dapat menghasilkan hasil yang tidak dapat diprediksi. Bias ketidakpastian, yang memungkinkan penilaian yang lebih yakin ketika kumpulan data yang lebih besar tersedia, dapat memiringkan proses algoritma menuju hasil yang lebih sesuai dengan sampel yang lebih besar, yang mungkin mengabaikan data populasi yang lebih kecil.
Regulasi
= Eropa
="Pengambilan keputusan individu otomatis, termasuk pemprofilan" diatur dalam Pasal 22 Peraturan Perlindungan Data Umum (GDPR), yang diubah dan diterapkan oleh Uni Eropa pada tahun 2018. Aturan ini melarang keputusan otomatis yang "semata-mata" yang berdampak "signifikan" atau "hukum" terhadap individu kecuali jika secara eksplisit diizinkan melalui persetujuan, kontrak, atau hukum negara anggota. Perlindungan yang memadai harus ada di mana keputusan tersebut dapat dilakukan, seperti hak untuk melibatkan orang lain dalam proses dan hak yang tidak mengikat untuk mendapatkan penjelasan tentang keputusan yang dibuat. Meskipun peraturan ini sering dianggap baru, Pasal 15 dari Arahan Perlindungan Data dari 1995 telah menetapkan peraturan yang hampir identik di seluruh Eropa. Perlindungan keputusan otomatis pertama kali ditemukan dalam hukum Prancis pada akhir 1970-an.
GDPR juga membahas bias algoritmik sistem pemprofilan dan metode statistik yang dapat digunakan untuk membersihkannya, secara langsung dalam recital 71, yang menyatakan:Pengendali harus menerapkan prosedur teknis dan organisasi yang sesuai untuk pemprofilan, dan menggunakan prosedur matematis atau statistik yang sesuai untuk mencegah dampak diskriminatif terhadap individu berdasarkan asal ras atau etnis, opini politik, agama atau keyakinan, keanggotaan serikat pekerja, status genetik atau kesehatan, atau orientasi seksual, atau yang mengakibatkan tindakan yang memiliki dampak tersebut.Sifat tidak mengikat dari recital 71 sama dengan hak yang tidak mengikat untuk mendapatkan penjelasan. Meskipun Kelompok Kerja Pasal 29, yang memberikan rekomendasi tentang bagaimana menggunakan hukum perlindungan data, menganggap hal ini sebagai keharusan, aspek praktisnya masih tidak jelas. Ada pendapat bahwa Penilaian Dampak Perlindungan Data untuk pemprofilan data berisiko tinggi, bersama dengan langkah-langkah pencegahan lainnya untuk perlindungan data, mungkin merupakan pendekatan yang lebih baik untuk memecahkan masalah diskriminasi algoritmik karena membatasi tindakan algoritma yang digunakan, daripada mengharuskan pelanggan mengajukan keluhan atau meminta perubahan.
= India
=Sebuah rancangan Undang-Undang Perlindungan Data Pribadi dirilis pada 31 Juli 2018. Konsep untuk penyimpanan, pemrosesan, dan pengiriman data diusulkan dalam rancangan tersebut. Rancangan ini mencakup ketentuan untuk "kerugian yang diakibatkan oleh pemrosesan atau jenis pemrosesan yang dilakukan oleh pihak yang bertanggung jawab", meskipun tidak menggunakan istilah algoritma. Kerugian yang dapat disebabkan oleh penggunaan data yang tidak tepat disebut sebagai "penolakan atau pencabutan layanan, manfaat, atau barang yang diakibatkan oleh keputusan evaluatif tentang data subjek" atau "perlakuan diskriminatif". Selain itu, ketentuan khusus untuk individu dengan "status interseks" juga dimasukkan dalam rancangan ini.