Responsible AI practices
Amazon Services and Tools for Responsible AI
Amazon SageMaker AI dan Amazon Bedrock punya tools bawaan untuk setiap area responsible AI.
| Kebutuhan | Tool | Fungsinya |
|---|---|---|
| Mengevaluasi foundation model | Model evaluation on Amazon Bedrock | Membandingkan dan memilih FM. Evaluasi otomatis memakai metrik bawaan (accuracy, robustness, toxicity). Evaluasi manusia untuk metrik subjektif (keramahan, gaya, brand voice) dengan tim sendiri atau tim yang dikelola AWS |
| SageMaker Clarify | Juga bisa mengevaluasi FM | |
| Mengamankan generative AI | Guardrails for Amazon Bedrock | Memblokir denied topics, memfilter konten berbahaya (hate, insults, sexual, violence) dengan threshold, dan meredaksi atau memblokir PII. Berlaku untuk FM apa pun, termasuk yang sudah di-fine-tune, dan untuk Agents |
| Mendeteksi bias | SageMaker Clarify | Menganalisis feature tertentu seperti usia atau gender dan melaporkan metrik bias |
| Menyeimbangkan data | SageMaker Data Wrangler | Random undersampling, random oversampling, dan SMOTE |
| Menjelaskan prediksi | SageMaker Clarify (dengan SageMaker Experiments) | Skor yang menunjukkan feature mana yang paling berpengaruh pada prediksi, plus grafik feature importance untuk data tabular |
| Monitoring di production | SageMaker Model Monitor | Memantau kualitas model di endpoint atau batch job dan memberi alert saat ada penyimpangan |
| Review oleh manusia | Amazon Augmented AI (A2I) | Mengirim prediksi ke manusia untuk direview |
| Governance | SageMaker Role Manager | Menetapkan permission minimum dengan cepat |
| SageMaker Model Cards | Mendokumentasikan intended use, risk rating, dan detail training | |
| SageMaker Model Dashboard | Satu tempat untuk memantau perilaku model di production | |
| Transparansi layanan AWS | AWS AI Service Cards | Untuk tiap layanan AI AWS: konsep dasar, intended use case dan keterbatasan, desain responsible AI, serta best practice deployment dan performa |
Sering tertukar
- Clarify untuk bias dan explainability. Model Monitor untuk drift dan kualitas di production. A2I untuk review manusia.
- AI Service Cards mendokumentasikan layanan AWS. Model Cards mendokumentasikan model buatanmu sendiri.
- Guardrails memfilter input dan output saat runtime. Guardrails tidak melatih ulang model.