Responsible AI practices
Responsible AI Challenges in Traditional AI and Generative AI
Akurasi: bias dan variance
Akurasi adalah masalah nomor satu yang dihadapi developer. Model hanya tahu isi training data-nya, jadi training yang buruk menghasilkan output yang tidak akurat.
| Bias | Variance | Hasil | |
|---|---|---|---|
| Underfitting | Tinggi | Rendah | Terlalu sederhana. Melewatkan feature penting dan performanya buruk bahkan di training data |
| Overfitting | Rendah | Tinggi | Menghafal noise. Bagus di training data, buruk di data baru |
| Balanced (target) | Rendah | Rendah | Menangkap pola yang sebenarnya tanpa noise |
- Bias adalah selisih antara prediksi model dan nilai sebenarnya.
- Variance adalah seberapa besar prediksi model berubah jika training data-nya berbeda, yaitu ukuran sensitivitas terhadap noise.
- Bias-variance trade-off adalah mencari keseimbangan di antara keduanya.
Cara mengatasi error bias dan variance
- Cross-validation: latih model pada sebagian data dan uji pada sisanya untuk mendeteksi overfitting.
- Tambah data: perbanyak sampel.
- Regularization: beri penalti pada weights yang ekstrem untuk mencegah overfitting.
- Model yang lebih sederhana: mengurangi overfitting. Kalau model underfitting, mungkin justru terlalu sederhana.
- Dimension reduction (misalnya PCA): kurangi jumlah feature tapi pertahankan informasinya.
- Stop training lebih awal: agar model tidak menghafal data.
Challenges khusus generative AI
- Toxicity: konten ofensif atau tidak pantas. Sulit didefinisikan, dan batas antara memfilter dan menyensor bergantung pada konteks dan budaya.
- Hallucinations: klaim yang terdengar masuk akal tapi salah, misalnya sitasi ilmiah fiktif. Penyebabnya adalah sampling next-word.
- Intellectual property: model mereproduksi training data kata per kata, atau meniru gaya seorang seniman.
- Plagiarism and cheating: esai dan lamaran kerja ditulis AI. Sulit memverifikasi siapa penulis aslinya.
- Disruption of the nature of work: kekhawatiran bahwa sebagian profesi akan tergantikan atau berubah drastis.