Responsible AI practices
Transparent and Explainable Models
- Transparency menjawab bagaimana model membuat keputusan. Ini mendukung accountability, trust, dan audit.
- Explainability menjawab mengapa model membuat keputusan tertentu. Ini menunjukkan keterbatasan model dan membantu debugging.
Model yang tidak punya keduanya disebut model black box, misalnya deep neural network dengan banyak layer.
Kenapa model yang transparan layak dipilih
- Trust lebih tinggi, terutama di bidang kesehatan, keuangan, dan transportasi
- Lebih mudah di-debug dan diperbaiki
- Pemahaman lebih baik tentang data dan proses keputusannya
Model transparan tidak selalu mengalahkan performa model black box.
Cara menambah transparency dan explainability
- Explainability frameworks: SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations), dan counterfactual explanations.
- Dokumentasi yang transparan tentang arsitektur, sumber data, training, dan asumsi
- Monitoring dan auditing untuk bias dan perilaku yang tidak wajar
- Pengawasan manusia untuk keputusan berisiko tinggi
- Counterfactual explanations: tunjukkan bagaimana output berubah jika suatu input berubah
- Penjelasan di user interface tentang output, alasan, dan batasannya
Teks course salah menuliskan kepanjangan SHAP dan LIME. Nama di atas adalah yang benar.
Risiko
Kompleksitas dan biaya bertambah, celah yang bisa dimanfaatkan penyerang, ekspektasi transparansi penuh yang tidak realistis, dan membuka informasi yang merugikan privasi, keamanan, atau keunggulan kompetitif.
Tools AWS
| Tujuan | Tool |
|---|---|
| Transparansi tentang layanan AI AWS | AWS AI Service Cards |
| Transparansi tentang model buatanmu sendiri (intended use, risk rating, detail dan metrik training, hasil evaluasi) | SageMaker Model Cards |
| Menjelaskan kontribusi feature per prediksi | SageMaker Clarify |
| Penjelasan untuk model AutoML | SageMaker Autopilot (memakai Clarify) |