Security, compliance, and governance
Best Practices for Secure Data Engineering
Siapa yang mengontrol data apa (per scope di Scoping Matrix)
| Data | Apa itu | Dikontrol oleh |
|---|---|---|
| User data | Input dari end user | Customer, di semua scope |
| Fine-tuning data | Data untuk mengadaptasi model pre-trained | Provider di Scope 1–2, customer di Scope 4 |
| Training data | Dataset besar untuk pre-train model | Provider di Scope 1–4, customer di Scope 5 |
Data engineering lifecycle
Siklus iteratif untuk mengumpulkan, menyiapkan, dan menganalisis data guna melatih, mengevaluasi, dan meningkatkan model. Tools pengumpulan data di AWS antara lain Amazon Kinesis, AWS Database Migration Service, dan AWS Glue.
Praktik secure data engineering
- Menilai kualitas data
- Memakai privacy-enhancing technologies
- Mengontrol akses data
- Menjaga data integrity: pengecekan validasi (schema, referential, business rules), backup dan recovery, atomicity transaksi, lineage dan audit trail, serta pengujian rutin atas kontrol-kontrol ini
Cleaning, deduplikasi, dan splitting data adalah langkah persiapan data, bukan praktik keamanan.
AWS Privacy Reference Architecture (AWS PRA) memberi pedoman untuk merancang kontrol privasi di AWS.