AIF-C01 notes
AI use cases and applications

Business Metrics for Generative AI

Akurasi model saja tidak menunjukkan nilai bisnis. Business metrics mengaitkan aplikasi generative AI dengan hasil bisnis dan ROI, dan metrik yang tepat bergantung pada use case-nya.

MetrikYang ditunjukkanUse case umum
User satisfactionPenilaian pengguna terhadap konten atau rekomendasi yang dihasilkanCustomer support, situs e-commerce
Average revenue per user (ARPU)Pendapatan per penggunaRekomendasi personal dan upselling
Cross-domain performanceSeberapa baik model menangani domain atau tugas yang berbedaAsisten yang dipakai lintas departemen
Conversion ratePersentase pengguna yang menyelesaikan aksi yang diinginkan, misalnya pembelianKonten marketing, rekomendasi produk
EfficiencyWaktu, biaya, atau sumber daya yang dihematOtomasi pekerjaan dokumen atau konten

Full notes hanya menangkap slide pertama (user satisfaction). Metrik lainnya mengikuti course AWS.

Untuk customer support, ukuran keberhasilan terbaik adalah customer satisfaction, bukan metrik pendapatan.