Optimizing foundation models
Fine-Tuning
Fine-tuning menyesuaikan FM umum untuk tugas atau domain tertentu. Manfaatnya:
- Increase specificity: memahami nuansa domain
- Improve accuracy: lebih akurat di tugas khusus
- Reduce biases: mengurangi bias dari training data awal
- Boost efficiency: lebih efisien dalam konteks tertentu
Pendekatan fine-tuning
| Pendekatan | Fungsinya | Cocok untuk |
|---|---|---|
| Instruction tuning | Melatih ulang dengan pasangan prompt dan output yang diinginkan | Mengikuti perintah: chatbot, virtual assistant |
| RLHF | Supervised training dulu, lalu reinforcement learning dengan reward model yang dibangun dari feedback manusia | Menyelaraskan output dengan nilai dan preferensi manusia |
| Domain adaptation | Melatih dengan korpus industri, misalnya dokumen hukum atau rekam medis | Relevansi dan akurasi di satu domain |
| Transfer learning | Memakai model yang dilatih untuk satu tugas sebagai titik awal untuk tugas lain | Efisien, butuh training tambahan lebih sedikit |
| Continuous pretraining | Terus memberi model data baru | Tetap update dengan kosakata, tren, dan riset terbaru |
Metrik seperti ROUGE dan BLEU serta teknik seperti model pruning bukan metode fine-tuning.
Data pre-training vs data fine-tuning
| Pre-training | Fine-tuning |
|---|---|
| Masif, beragam, cakupan luas | Fokus pada tugasnya |
| Dibangun untuk generalisasi | Sangat relevan dengan output yang diinginkan |
| Kuantitas | Kualitas di atas kuantitas: dataset kecil yang terkurasi baik sudah cukup berdampak |
Langkah kunci menyiapkan data fine-tuning
- Data curation: seleksi ketat, hanya data yang relevan
- Labeling: label yang akurat dan relevan adalah yang terpenting karena label itulah yang mendorong spesialisasi di domain target
- Governance and compliance sesuai regulasi industri
- Representativeness and bias checking
- Feedback integration: feedback pengguna atau pakar, terutama untuk RLHF