Cara mengawal risiko dalam automasi AI

Automasi menggandakan kerja berguna dan juga kesilapan. Kawalan mesti direka sebelum output yang dijana boleh mencetuskan tindakan luaran.

Perkara utama

• Hadkan kuasa model dan kuatkuasakan kawalan di luar prompt.
• Sahkan input, output berstruktur, kebenaran dan tindakan pendua.
• Pantau sistem pengeluaran dan kekalkan proses rollback yang telah diuji serta laluan manual.

Asingkan pertimbangan daripada tindakan

Tentukan perkara yang boleh diklasifikasikan atau disediakan sebagai draf oleh model dan keputusan yang memerlukan peraturan deterministik atau kelulusan manusia.

Sahkan setiap sempadan

Anggap teks luaran sebagai tidak dipercayai, sahkan output berstruktur dan kuatkuasakan kebenaran dalam sistem sokongan dan bukannya melalui prompt sahaja.

Rancang kegagalan dan pemulihan

Pantau hasil, cegah tindakan pendua, hadkan kadar tindakan dan kekalkan proses manual serta suis untuk melumpuhkan sistem.

Gunakan kawalan berlapis

Gabungkan skema, senarai dibenarkan, peraturan deterministik, kelayakan akses dengan keistimewaan minimum, ambang, kelulusan, had kadar dan rekod audit. Tiada satu prompt pun sepatutnya menjadi satu-satunya asas keselamatan.

Asingkan penerangan yang dijana daripada keputusan sistem apabila peraturan deterministik boleh membuat keputusan tersebut.

Uji kegagalan adversarial dan operasi

Sertakan suntikan prompt, data yang tidak mengikut format, peristiwa pendua, sistem yang tidak tersedia, gangguan penyedia, tamat masa dan volum luar jangka dalam pelan pengujian.

Senarai semak tindakan

1. Petakan pencetus, data, keputusan, tindakan dan pemilik.
2. Minimumkan akses dan tentukan tindakan yang dilarang.
3. Sahkan setiap input, output dan destinasi.
4. Uji penyalahgunaan, pendua, gangguan dan rollback.
5. Jalankan percubaan dengan pemantauan dan kelulusan manusia.

Langkah seterusnya yang munasabah

Lakarkan satu automasi yang dicadangkan dan tandakan setiap titik di mana kesilapan boleh mencetuskan tindakan luaran atau perubahan yang tidak boleh dibalikkan. Teruskan dengan resipi AI praktikal, bandingkan alat AI yang telah disemak atau gunakan AI Finder untuk memperincikan keputusan anda yang seterusnya.