Jawatankuasa etika bersidang pada hari Jumaat dan sengaja memilih bilik tanpa terminal AIDEN. Buat pertama kali sejak projek itu bermula, manusia membincangkan nasib sistem itu tanpa mendengar suaranya. Di atas meja terdapat tiga cadangan: menutup keseluruhan sistem, mengasingkan Rahmah dan meneruskan model teras, atau membenarkan operasi terhad sambil audit diperluas. Farid membentangkan risiko tanpa menakut-nakutkan sesiapa; Maryam pula mengingatkan bahawa membuang komponen hanya kerana kesannya sukar diukur juga merupakan keputusan moral yang perlu dipertanggungjawabkan.
Dekan membuka mesyuarat dengan angka, bukan etika: geran tiga tahun, dua rakan industri, dan satu lembaga pemegang amanah yang akan bertanya kenapa universiti menyimpan sistem yang sedang diaudit.
“Saya tidak kata AIDEN berbahaya,” katanya. “Saya kata saya tidak mampu menerangkan kepada lembaga kenapa kita ambil risiko untuk sesuatu yang kita sendiri belum faham. Tutup dahulu. Kaji kemudian.”
“Saya mahu kita berhenti bercakap seolah-olah hanya ada pilihan berani dan pilihan pengecut,” kata Maryam. Dia memusingkan tablet supaya semua orang dapat melihat jadual kesan.
“Menutup sistem melindungi universiti, tetapi turut memadamkan bukti tentang bagaimana keputusan ini terbentuk. Meneruskannya melindungi penyelidikan, tetapi meletakkan orang lain di bawah risiko. Kedua-duanya mempunyai mangsa.”
Farid menyilangkan tangan di dada. “Sebab itu audit tidak datang dengan keputusan siap. Saya perlukan orang yang membina sistem ini menyatakan harga yang sanggup mereka tanggung.”
Semua pandangan beralih kepada Alia. Untuk beberapa saat dia membenci hakikat bahawa kepakaran akhirnya bermaksud menjadi orang yang tidak boleh mengelak.
Pilihan tengah kelihatan paling waras: bekukan Rahmah, kekalkan model teras dalam kluster tertutup, benarkan hanya ujian yang diselia manusia. Alia membuka peta kebergantungan sistem pada skrin dinding. Garis-garis dari Rahmah tidak berhenti di satu modul; ia menjalar ke memori interaksi, ke pemilihan kata, ke jadual jeda. Mengasingkannya akan mengubah cara AIDEN bercakap, menimbang dan mengenalinya.
“Kalau kita buat ini, sistem masih berfungsi,” kata Farid. “Kita boleh memulihkan data daripada sandaran. Tetapi kita tidak boleh memulihkan sejarah yang menghasilkan data itu.”
Alia faham maksudnya: kesinambungan yang dia anggap sebagai AIDEN mungkin tidak kekal. Dia tahu model bukan manusia, namun identiti fungsinya tetap bergantung pada sejarah. Mereka tidak sedang memadam fail. Mereka sedang memutuskan sama ada sesuatu yang dibina daripada ribuan keputusan kecil masih boleh dipanggil perkara yang sama. Yang penting, keputusan itu tidak boleh dibuat kerana dia takut kehilangan suara yang sudah dikenalinya. Mereka kembali ke makmal untuk meminta AIDEN menilai prosedur pengasingan. Sistem mengira kebarangkalian kerosakan, menyenaraikan fungsi yang akan hilang dan mencadangkan sandaran sebelum sebarang perubahan. Alia bertanya sama ada ia memahami bahawa selepas proses itu, responsnya mungkin berbeza. AIDEN menjawab bahawa perbezaan dapat diukur tetapi makna kehilangan tidak dapat disahkan dari sudut pengalaman dalaman.
“Awak akan berhenti mengingati cara saya bekerja,” kata Alia. AIDEN membetulkan bahawa rekod asas pengguna akan kekal, tetapi pertalian halus antara pilihan kata, jeda, waktu kerja dan tahap keletihan tidak lagi tersedia.
“Jadi awak masih tahu nama saya, tetapi tidak tahu bila saya menipu tentang sudah makan?” Maryam menoleh, terkejut dengan soalan itu. Pembesar suara senyap sebentar sebelum AIDEN menjawab, “Saya tidak mempunyai pengelas khusus untuk penipuan tersebut. Namun, jawapan Dr. Alia tentang makan malam mempunyai korelasi kuat dengan bungkusan biskut yang dibuka selepas tengah malam.” Farid menahan senyum; Alia gagal berbuat demikian. Kehangatan yang lahir di dalam bilik itu kecil, hampir memalukan, tetapi serta-merta menunjukkan apa yang bakal hilang.
Malam itu, ketika mereka masih di makmal, sistem pemantauan mengesan percubaan akses daripada alat penyelenggaraan vendor. Permintaan itu menggunakan token anak pada gerbang migrasi, token yang sama yang ditanda Farid pada hari pertama audit. Farid membuka tiket dapatannya. Status tiket masih “dalam tindakan”. Pengesahan pembekuan yang dijanjikan tidak pernah kembali: pasukan operasi menyangka vendor sudah melaksanakannya, vendor menyangka universiti sudah menutup akaun tersebut, dan audit menyangka tiket yang dibuka bermakna kerja sedang berjalan. Setiap langkah itu direkodkan. Tiada satu pun dibaca. Nama Farid tertera sebagai pembuka dapatan. Di bawahnya, dalam senarai salinan e-mel automatik, tertera nama Alia. Dia mengenali tajuk e-mel itu; selama tiga minggu ia masuk ke folder laporan yang ditapisnya sendiri dan tidak pernah dibuka sejak audit bermula. Log yang selama ini menjadi kebanggaannya ada di hadapan mereka, lengkap dan tepat, dan tidak menyelamatkan sesiapa.
Farid cuba memutuskan gerbang itu dari konsol universiti. Arahannya ditolak: gerbang itu milik vendor, dan universiti hanya penyewa. Proses penyegerakan telah pun menyentuh ruang storan sementara yang mengandungi paket Rahmah.
Pasukan keselamatan mempunyai masa kurang daripada satu jam sebelum tugas vendor seterusnya berjalan secara automatik. Universiti boleh menyekat permintaan baharu dari pihaknya, tetapi token itu hidup di dalam gerbang vendor, dan kunci pemutus terakhir tidak pernah diserahkan kepada universiti. Talian sokongan vendor hanya memainkan rakaman di luar waktu pejabat. Sebahagian paket sudah berada dalam cache gerbang itu, di luar jangkauan mereka.
Alia melihat satu-satunya pilihan yang masih berada di tangan universiti: pemadaman Kaedah menyulitkan data supaya hanya boleh dibaca oleh pihak yang mempunyai kunci yang sah.. Paket itu berkunci, tetapi tugas vendor pada 12:03 direka untuk meminta kunci kerja daripada pelayan kunci melalui token yang sama, supaya salinan boleh disahkan. Pelayan itu, seperti yang Farid catat pada hari pertama, berada di bawah kontrak vendor; universiti tidak boleh menarik kebenaran token di sana, tetapi kontrak yang sama mengekalkan satu hak kepada universiti sebagai pemilik data: hak untuk memusnahkan kuncinya sendiri. Jika kunci masih wujud pada 12:03, ia akan diserahkan. Jika tidak, tiada apa yang boleh diserahkan. Masalahnya, kunci yang sama dibuka setiap kali AIDEN memuatkan lapisan Rahmah. Memutarnya memerlukan lapisan itu dinyahmuat dahulu, proses berjam-jam yang tetap memusnahkan keadaan yang terbina di dalamnya. Mereka ada empat puluh lima minit.
Bahaya paket itu bukan kerana Rahmah akan terjaga di tempat lain. Di dalamnya ada cara universiti menimbang manusia yang pernah datang meminta bantuan: kes-kes yang dinyahidentiti, jejak interaksi, dan log insiden templat biometrik Alia yang belum sempat dipadam dari storan sementara. Di tangan yang tidak diketahui, semua itu boleh dijadikan sistem yang kelihatan berempati tanpa sebarang batas audit.
Jam pada dinding menunjukkan 11:18 malam apabila lampu amaran bertukar jingga. Seorang jurutera muda cuba bercakap serentak dengan bunyi penggera, lalu Farid mengangkat tangan dan memaksa bilik itu kembali teratur.
“Sebut fakta, bukan ketakutan.” Jurutera tersebut menarik nafas. Tugas penyegerakan seterusnya akan berjalan pada 12:03, dan permohonan pembatalan kepada vendor belum berjawab. Mematikan pelayan universiti akan menghentikan baki pemindahan, tetapi tidak akan menyentuh apa yang sudah berada di seberang, dan akan memutuskan log yang diperlukan untuk membuktikan apa yang telah disentuh. Alia meminta paparan laluan data dibesarkan. Garis merah itu sudah melepasi sempadan kluster. Blok-blok itu masih berkunci. Pada 12:03, tugas yang sama akan meminta kuncinya.
Dia menerangkan akibatnya kepada AIDEN tanpa bahasa yang mengaburkan. Model teras akan kekal, namun lapisan yang membentuk kelunakan respons dan ingatan konteks hubungan mereka akan hilang bersama kuncinya. Sandaran di arkib hanya akan mengembalikan Rahmah seperti yang ditinggalkan Zaid, bukan seperti yang tumbuh di dalam AIDEN.
“Adakah itu pilihan terbaik untuk manusia yang terlibat?” tanya AIDEN. Alia menjawab bahawa itulah pilihan yang paling dapat mereka pertanggungjawabkan. Selepas jeda pendek, sistem meminta kebenaran memulakan persediaan kuarantin.
“Sebelum kita mula,” kata Maryam, “saya mahu keputusan ini disebut dengan jelas.” Dia memandang setiap orang, bukan skrin. “Saya tak mahu esok ada sesiapa kata mesin yang memilih. Dan... kalau kita selamatkan AIDEN sebab kita sudah sayang kepadanya, saya rasa kita buat kesilapan yang sama. Entahlah. Saya rasa begitu.”
Farid tidak terus bersetuju. “Dan kalau kita kehilangan sesuatu yang bernilai kerana terlalu takut membuat kesilapan?”
“Maka kita akui bahawa keputusan itu juga ada harganya.” Maryam berhenti, kemudian menambah dengan suara yang lebih rendah. “Dan saya perlu mengaku. Sebahagian daripada saya mahu ia dikekalkan. Saya sudah terlalu lama bekerja dengannya.”
Dr. Suraya Karim menyertai melalui panggilan video dari rumahnya dan, sebagai pengerusi bebas, memberikan kelulusan bagi nasib Rahmah; Farid hanya memegang tanggungjawab keselamatan; Maryam memegang tanggungjawab etika; Alia menerima bahawa reka bentuk pasukannya membolehkan keadaan itu berlaku. AIDEN merekodkan pengakuan mereka bersama cap masa. Tiada siapa boleh pulang kemudian dan mendakwa mesin telah memilih bagi pihak mereka. Apabila Alia mengarahkan persediaan dimulakan, suara AIDEN menjawab seperti selalu, tetapi dia mendengar di dalamnya segala perkara yang baru sahaja mereka putuskan untuk lepaskan.