Beranda POLITIK & PEMERINTAHAN Mantan Karyawan OpenAI Membandingkan Pekerjaan Perusahaan dengan ‘Membangun Titanic’

Mantan Karyawan OpenAI Membandingkan Pekerjaan Perusahaan dengan ‘Membangun Titanic’

36
0


Seorang mantan karyawan keselamatan di OpenAI mengatakan perusahaannya mengikuti jejak White Star Line, perusahaan yang membangun Titanic.

“Saya benar-benar tidak ingin berakhir bekerja untuk Titanic AI, dan itulah mengapa saya mengundurkan diri,” kata William Saunders, yang bekerja selama tiga tahun sebagai anggota staf teknis di Tim penyelarasan super OpenAI.

“Selama tiga tahun saya di OpenAI, saya terkadang bertanya pada diri sendiri. Apakah jalur yang ditempuh OpenAI lebih mirip program Apollo atau lebih mirip Titanic?” katanya.

Kekhawatiran insinyur perangkat lunak sebagian besar berasal dari rencana OpenAI untuk mencapai Kecerdasan Umum Buatan — titik di mana AI dapat mengajarkan dirinya sendiri — sembari juga memperkenalkan produk berbayar.

“Mereka berada di jalur yang tepat untuk mengubah dunia, namun saat mereka merilis sesuatu, prioritas mereka lebih seperti perusahaan produk. Dan menurut saya itulah yang paling meresahkan,” kata Saunders.

Apollo melawan Titanic

Seiring dengan semakin banyaknya waktu yang dihabiskan Saunders di OpenAI, ia merasa para pemimpin membuat keputusan yang lebih mirip dengan “membangun Titanic, dengan memprioritaskan mengeluarkan produk yang lebih baru dan lebih cemerlang.”

Dia lebih suka suasana hati seperti itu Program luar angkasa Apollo, yang ia gambarkan sebagai contoh proyek ambisius yang “bertujuan untuk memprediksi dan menilai risiko secara cermat” sambil mendorong batasan ilmiah.

“Bahkan ketika masalah besar terjadi, seperti Apollo 13, mereka memiliki cukup banyak redundansi, dan mampu beradaptasi dengan situasi tersebut untuk membawa semua orang kembali dengan selamat,” katanya.

Titanic, di sisi lain, dibangun oleh White Star Line saat bersaing dengan para pesaingnya untuk membuat kapal pesiar yang lebih besar, kata Saunders.

Saunders mengkhawatirkan bahwa, seperti halnya perlindungan Titanic, OpenAI mungkin terlalu bergantung pada tindakan dan penelitiannya saat ini untuk keselamatan AI.

“Banyak pekerjaan yang dilakukan untuk membuat kapal aman dan membangun kompartemen kedap air sehingga mereka dapat mengatakan bahwa kapal itu tidak dapat tenggelam,” katanya. “Namun pada saat yang sama, tidak ada cukup sekoci untuk semua orang. Jadi ketika bencana terjadi, banyak orang meninggal.”

Yang pasti, misi Apollo dilakukan dengan latar belakang perlombaan luar angkasa Perang Dingin dengan Rusia. Misi ini juga melibatkan beberapa korban serius, termasuk tiga astronot NASA yang meninggal pada tahun 1967 karena kebakaran listrik selama pengujian.

Menjelaskan analoginya lebih lanjut dalam email kepada Business Insider, Saunders menulis: “Ya, program Apollo memiliki tragedinya sendiri. Tidak mungkin mengembangkan AGI atau teknologi baru apa pun tanpa risiko. Yang ingin saya lihat adalah perusahaan mengambil semua langkah yang wajar untuk mencegah risiko ini.”

OpenAI butuh lebih banyak ‘sekoci penyelamat’, kata Saunders

Saunders mengatakan kepada BI bahwa “bencana besar” bagi AI dapat terwujud dalam sebuah model yang dapat meluncurkan serangan siber berskala besar, membujuk orang secara massal dalam sebuah kampanye, atau membantu membangun senjata biologis.

Dalam jangka pendek, OpenAI harus berinvestasi dalam “sekoci penyelamat” tambahan, seperti menunda rilis model bahasa baru sehingga tim dapat meneliti potensi bahayanya, katanya dalam emailnya.

Saat berada di tim superalignment, Saunders memimpin sekelompok empat staf yang didedikasikan untuk memahami bagaimana model bahasa AI berperilaku — yang menurutnya belum banyak diketahui manusia.

“Jika di masa depan kita membangun sistem AI yang sama pintarnya atau lebih pintar dari kebanyakan manusia, kita akan memerlukan teknik untuk dapat mengetahui apakah sistem ini menyembunyikan kemampuan atau motivasinya,” tulisnya dalam emailnya.

Ilya Sutskever, salah satu pendiri OpenAI, meninggalkan perusahaan tersebut pada bulan Juni setelah memimpin divisi superalignment-nya.

JACK GUEZ/AFP melalui Getty Images



Dalam wawancaranya dengan Kantrowitz, Saunders menambahkan bahwa staf perusahaan sering membahas teori tentang bagaimana realitas AI menjadi kekuatan yang “sangat transformatif” dapat terjadi hanya dalam beberapa tahun.

“Saya pikir ketika perusahaan membicarakan hal ini, mereka punya kewajiban untuk bekerja keras mempersiapkan diri menghadapinya,” katanya.

Namun dia kecewa dengan tindakan OpenAI sejauh ini.

Dalam emailnya ke BI, dia berkata: “Meskipun ada karyawan di OpenAI yang melakukan pekerjaan dengan baik untuk memahami dan mencegah risiko, saya tidak melihat adanya prioritas yang memadai terhadap pekerjaan ini.”

Saunders meninggalkan OpenAI pada bulan Februari. Perusahaan tersebut kemudian membubarkan tim superalignment pada bulan Meihanya beberapa hari setelah mengumumkan GPT-4o, produk AI tercanggih yang tersedia untuk publik.

OpenAI tidak segera menanggapi permintaan komentar yang dikirim di luar jam kerja biasa oleh Business Insider.

Perusahaan teknologi seperti OpenAI, Apple, Google, dan Meta telah terlibat dalam Perlombaan senjata AImemicu kehebohan investasi dalam apa yang secara luas diprediksi akan menjadi pengganggu industri besar berikutnya yang mirip dengan internet.

Laju pembangunan yang sangat cepat telah mendorong sejumlah karyawan dan pakar untuk memperingatkan bahwa tata kelola perusahaan yang lebih baik diperlukan untuk menghindari bencana di masa mendatang.

Pada awal bulan Juni, sekelompok mantan dan karyawan saat ini di Deepmind dan OpenAI Google — termasuk Saunders — menerbitkan sebuah surat peringatan terbuka bahwa standar pengawasan industri saat ini tidak cukup untuk melindungi umat manusia dari bencana.

Sementara itu, salah satu pendiri OpenAI dan mantan kepala ilmuwan Ilya Sutskeveryang memimpin perusahaan divisi superalignmentmengundurkan diri akhir bulan itu.

Dia mendirikan perusahaan rintisan lainnya, Safe Superintelligence Inc.yang katanya akan berfokus pada penelitian AI sambil memastikan “keselamatan selalu diutamakan.”





Source link