Essentials of prompt engineering
Modifying Prompts
Inference parameters
Parameter yang tersedia bergantung pada modelnya.
Randomness and diversity
| Parameter | Fungsinya | Nilai lebih rendah | Nilai lebih tinggi |
|---|---|---|---|
| Temperature | Mengubah bentuk distribusi probabilitas token berikutnya | Lebih deterministik, fokus, bisa diulang | Lebih beragam, kreatif, acak |
| Top P | Hanya mengambil sampel dari kumpulan token terkecil yang total probabilitasnya mencapai P | Hanya token yang paling mungkin | Rentang token lebih luas |
| Top K | Hanya mengambil sampel dari K token paling mungkin | Fokus, koheren (misalnya K = 10) | Lebih bervariasi (misalnya K = 500) |
Length
- Maximum length: membatasi jumlah token yang dihasilkan agar output tidak kebablasan.
- Stop sequences: token yang langsung menghentikan generation begitu muncul, berapa pun maximum length-nya.
Best practice prompting
- Jelas dan ringkas, dengan bahasa alami.
- Sertakan konteks, misalnya untuk apa output-nya dipakai.
- Pakai directive untuk jenis respons: ringkasan, kalimat lengkap, daftar, panjang.
- Taruh permintaan output di akhir prompt.
- Mulai dengan pertanyaan: who, what, where, when, why, how.
- Beri contoh respons di dalam tanda kurung.
- Pecah tugas yang kompleks menjadi subtask atau prompt terpisah, atau minta model berpikir langkah demi langkah.
- Bereksperimen dengan prompt yang berbeda-beda.
- Pakai prompt template agar input konsisten dan andal.
Perbaikan skenario
Temperature 0,9 dan top P 0,999 agar output lebih kreatif, maximum length 5.000, konteks industri keuangan dan audiens UKM, serta daftar bagian laporan sebagai directive.