Keamanan kecerdasan buatan adalah sebuah bidang interdisipliner yang berfokus pada pencegahan kecelakaan, penyalahgunaan, atau konsekuensi berbahaya lainnya yang mungkin timbul dari sistem kecerdasan buatan. Bidang ini mencakup penyelarasan kecerdasan buatan (yang bertujuan memastikan sistem kecerdasan buatan bertindak sesuai dengan maksud yang diharapkan), pemantauan risiko dari sistem kecerdasan buatan, serta peningkatan ketahanannya. Perhatian utama dalam bidang ini tertuju pada risiko eksistensial yang berpotensi ditimbulkan oleh model kecerdasan buatan tingkat lanjut.[1][2]
Selain penelitian teknis, keamanan kecerdasan buatan juga mencakup pengembangan norma serta kebijakan yang mendukung keselamatan. Bidang ini memperoleh perhatian luas pada tahun 2023, seiring dengan kemajuan pesat dalam kecerdasan buatan generatif dan meningkatnya kekhawatiran publik yang disuarakan oleh para peneliti maupun CEO mengenai potensi bahayanya. Pada KTT Keamanan Kecerdasan Buatan tahun 2023, Amerika Serikat dan Britania Raya masing-masing membentuk Institut Keamanan Kecerdasan Buatan mereka sendiri. Namun demikian, sejumlah peneliti menyampaikan kekhawatiran bahwa langkah-langkah keamanan kecerdasan buatan masih belum sejalan dengan kecepatan perkembangan kapabilitas kecerdasan buatan.[3]
Beberapa pihak mengkritik kekhawatiran mengenai AGI, seperti Andrew Ng yang membandingkannya pada tahun 2015 dengan “kekhawatiran mengenai kelebihan populasi di Mars padahal kita bahkan belum menginjakkan kaki di planet tersebut”.[13]Stuart J. Russell di sisi lain mendesak kehati-hatian, dengan menyatakan bahwa "lebih baik mengantisipasi kecerdikan manusia daripada meremehkannya".[14]
Para peneliti AI memiliki pendapat yang sangat berbeda tentang tingkat keparahan dan sumber utama risiko yang ditimbulkan oleh teknologi AI.[15][16][17] – Meskipun survei menunjukkan bahwa para ahli menganggap serius risiko dengan konsekuensi tinggi. Dalam dua survei peneliti AI, responden median optimis terhadap AI secara keseluruhan, tetapi menempatkan probabilitas 5% pada hasil "sangat buruk (misalnya kepunahan manusia)" dari AI tingkat lanjut..[15] Dalam survei komunitas pemrosesan bahasa alami tahun 2022, 37% setuju atau agak setuju bahwa masuk akal jika keputusan AI dapat menyebabkan bencana yang "setidaknya seburuk perang nuklir besar-besaran".[18]
↑Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-05-05). "Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers". Journal of Artificial Intelligence Research. 71. arXiv:2105.02117. doi:10.1613/jair.1.12895.
↑Stein-Perlman, Zach; Weinstein-Raun, Benjamin; Grace (2022-08-04). "2022 Expert Survey on Progress in AI". AI Impacts. Diarsipkan dari versi aslinya tanggal 2022-11-23. Diakses tanggal 2022-11-23.
↑Michael, Julian; Holtzman, Ari; Parrish, Alicia; Mueller, Aaron; Wang, Alex; Chen, Angelica; Madaan, Divyam; Nangia, Nikita; Pang, Richard Yuanzhe; Phang, Jason; Bowman, Samuel R. (2022-08-26). "What Do NLP Researchers Believe? Results of the NLP Community Metasurvey". Association for Computational Linguistics. arXiv:2208.12852.
