Security, compliance, and governance
Understanding Data and Model Lineage
Data and model lineage adalah catatan asal-usul data dan model serta bagaimana keduanya ditransformasi dan berkembang. Lineage menunjukkan keandalan, bias, dan batasannya.
Source citation dan dokumentasi asal data
Keduanya mendukung transparency, traceability, dan accountability. Mendokumentasikan asal data berarti mencatat:
- Bagaimana data dikumpulkan
- Bagaimana data dikurasi dan dibersihkan
- Preprocessing atau transformasi apa yang diterapkan
Tools dan teknik
- Data lineage: melacak data melalui setiap transformasi
- Cataloging: inventaris dataset beserta metadata-nya
- Model cards: dokumentasi terstandar tentang intended use, performa, dan batasan model, termasuk dataset, sumber, lisensi, dan bias yang diketahui
Amazon SageMaker Model Cards mencatat intended use, risk rating, detail dan metrik training, hasil evaluasi, dan rekomendasi. Model cards memandu penggunaan yang benar, mendukung audit, dan menunjukkan bagaimana model melayani tujuan bisnis.