Developing ML solutions
Model Deployment
Deployment menempatkan model dan resource-nya di production agar bisa membuat prediksi.
Self-hosted vs managed
- Self-hosted API: kamu menjalankan model di infrastruktur sendiri (on-premises atau VM dan container di cloud). Kontrol dan kustomisasi lebih besar, dan bisa lebih murah, tapi operational overhead-nya lebih tinggi.
- Managed API: layanan cloud seperti SageMaker AI mengurus infrastrukturnya. Ada deployment satu klik atau satu API call, automatic scaling, model hosting, dan HTTPS endpoint yang bisa meng-host beberapa model.
Opsi inference SageMaker
| Opsi | Paling cocok untuk |
|---|---|
| Real-time | Request interaktif dengan latensi rendah di endpoint yang persistent |
| Batch transform | Prediksi untuk dataset besar tanpa endpoint persistent, atau preprocessing dataset |
| Asynchronous | Payload besar (sampai 1 GB) dan pemrosesan lama (sampai 1 jam) dengan latensi near real-time. Request diantrekan |
| Serverless | Traffic yang putus-putus dengan periode idle, saat cold start masih bisa diterima. Tanpa infrastruktur yang perlu dikelola |