Peringatan Anthropic bahwa kecerdasan buatan mungkin mendekati peningkatan diri rekursif muncul ketika industri berlomba membuat model yang lebih mumpuni, berguna, dan otonom. Peningkatan diri rekursif, atau RSI, menggambarkan sistem yang secara signifikan meningkatkan proses pelatihannya, bukan sekadar menjawab pertanyaan atau membantu programmer manusia. Perbedaan ini penting: AI saat ini dapat membantu penelitian dan pemrograman, tetapi lingkaran umpan balik yang sesungguhnya dapat membuat peningkatan pada satu generasi membantu menghasilkan generasi berikutnya yang lebih kuat. Anthropic menggambarkan kemungkinan yang menurutnya mungkin sudah dekat, bukan mengumumkan bahwa lingkaran semacam itu telah berjalan. Catatan ini membedakan prediksi yang berpotensi besar dampaknya dari klaim bahwa chatbot saat ini secara mandiri merancang ulang dan melatih dirinya sendiri.
Agar sebuah model dapat meningkatkan pelatihannya sendiri, model itu perlu berkontribusi secara andal pada tugas-tugas seperti menulis kode, merancang eksperimen, mengevaluasi hasil, atau menyempurnakan data dan metode yang digunakan untuk model penerus. Peneliti manusia tetap akan menetapkan tujuan dan memutuskan apakah peningkatan yang tampak itu nyata, tetapi AI dapat mempersingkat bagian-bagian dari siklus yang kini memakan waktu berhari-hari, berminggu-minggu, atau lebih lama bagi tim peneliti. Anthropic sebelumnya telah menjelaskan bagaimana model Claude membantu pekerjaan perangkat lunak, termasuk demonstrasi pada 2024 ketika Claude 3.5 Sonnet mengoperasikan antarmuka komputer untuk menjalankan instruksi pengguna. Kemampuan tersebut menunjukkan adanya unsur-unsur yang berguna untuk otomatisasi; namun, itu belum membuktikan adanya penelitian otonom atau RSI, yang mensyaratkan peningkatan terukur dan berkelanjutan dalam beberapa siklus pelatihan berturut-turut. Pemeriksaan andal untuk mendeteksi hasil yang menyesatkan tetap penting.
Potensi dampak utamanya adalah kecepatan. Jika sistem AI dapat membantu peneliti mengembangkan teknik pelatihan yang lebih baik, membuat dan menguji kode, atau menemukan kelemahan model, laboratorium dapat menjalankan lebih banyak eksperimen dengan jumlah staf dan sumber daya komputasi yang sama. Iterasi yang lebih cepat dapat menghasilkan produk yang lebih mumpuni dalam waktu lebih singkat, berdampak pada berbagai hal, mulai dari asisten pemrograman hingga analisis ilmiah. Namun, prosesnya bukan sekadar model menekan tombol untuk menjadi lebih pintar: setiap peningkatan harus dibuktikan, sementara pelatihan bergantung pada cip, data, infrastruktur, dan penilaian ahli yang mahal. Pertanyaan praktisnya adalah apakah AI dapat membantu mengatasi hambatan-hambatan tersebut, bukan apakah AI akan menghilangkannya.
Istilah ini juga mencakup spektrum, bukan satu ambang batas tunggal. Model sudah mendukung sejumlah bagian dari pengembangan AI, sebagaimana perangkat lunak telah lama mengotomatiskan pekerjaan para insinyur; menggunakan model untuk menulis kode tidak sama dengan model yang secara mandiri meningkatkan pelatihannya sendiri. Tonggak RSI yang bermakna akan melibatkan sistem yang memberikan kontribusi andal untuk meningkatkan sistem berikutnya, dengan hasil yang tetap bertahan saat dievaluasi. Hal itu membutuhkan perbandingan cermat dengan proses yang dipimpin manusia serta perlindungan agar model tidak tampak berhasil hanya karena memanfaatkan kelemahan dalam pengujian. Tanpa pembedaan tersebut, otomatisasi rutin dapat disalahartikan sebagai lompatan bersejarah.
Bagi perusahaan teknologi, bahkan kemajuan parsial dapat mengubah persaingan. Pelatihan model terdepan membutuhkan investasi sangat besar, dan laboratorium yang mampu memanfaatkan AI untuk meningkatkan produktivitas penelitian mungkin dapat maju dengan lebih sedikit penundaan eksperimen atau menggunakan sumber dayanya secara lebih efisien. Hal itu dapat meningkatkan tekanan terhadap pesaing untuk membangun perangkat internal yang mumpuni, merekrut peneliti, dan mengamankan kapasitas komputasi. Kemajuan tersebut juga dapat memperlebar kesenjangan antara laboratorium bermodal besar dan pengembang yang lebih kecil jika manfaatnya bergantung pada model dan infrastruktur eksklusif. Dengan kata lain, keunggulan komersial tidak hanya berasal dari kecerdasan, tetapi juga dari perpaduan otomatisasi, modal, data, dan evaluasi yang disiplin.
Pada awalnya, konsumen dan pelaku usaha akan merasakan dampaknya secara tidak langsung: asisten yang lebih mumpuni, pengembangan perangkat lunak yang lebih cepat, dan kemungkinan penemuan yang lebih pesat di bidang-bidang yang penelitiannya dapat diuji secara digital. Kecepatan yang lebih tinggi dapat menekan biaya atau mempercepat peluncuran layanan yang bermanfaat, tetapi juga dapat membuat kesalahan dan kelemahan keamanan menyebar lebih cepat jika pengembangan melampaui proses peninjauan. Organisasi yang mengadopsi perangkat AI tetap membutuhkan orang yang bertanggung jawab atas keputusan, pengujian yang andal, dan aturan yang jelas untuk menangani informasi sensitif. Sistem yang berkontribusi pada pengembangannya sendiri tidak menghilangkan kebutuhan akan pengawasan; justru, hal itu membuat mutu pengawasan semakin penting.
Kekhawatiran yang lebih luas berkaitan dengan tata kelola, sama besarnya dengan persoalan rekayasa. Jika siklus pengembangan semakin cepat, regulator, auditor, dan masyarakat mungkin memiliki lebih sedikit waktu untuk memahami perubahan antargenerasi model, sementara perusahaan menghadapi dorongan untuk bergerak cepat. Peneliti memerlukan pengukuran yang transparan atas kemampuan sistem, pengawasan independen, serta batasan yang jelas untuk eksperimen yang dapat menimbulkan risiko yang tidak dapat diterima. Karena itu, peringatan Anthropic sebaiknya dipahami bukan sebagai bukti bahwa ledakan kecerdasan akan segera terjadi, juga bukan sebagai alasan untuk mengabaikan kemungkinan tersebut. Peringatan itu merupakan dorongan untuk bersiap menghadapi masa depan ketika AI mungkin semakin banyak membantu membangun AI—serta memastikan bahwa kemajuan tetap terukur, aman, dan dapat dipertanggungjawabkan.
