Improving the Performance of an FM

Ada empat cara meningkatkan FM yang sudah dipilih: prompt engineering, RAG, fine-tuning, dan agents. Membangun model dari nol adalah pilihan terakhir.

Prompt engineeringCopy Anchor Link

Cara tercepat untuk mengarahkan LLM. Kamu merancang instruksi, konteks, dan contoh di dalam prompt.

• Aspeknya: design, augmentation (contoh, constraint), tuning (mengulang dan memperbaiki prompt), ensembling (menggabungkan beberapa prompt), dan mining (mencari prompt yang efektif).
• Tekniknya: zero-shot, few-shot, chain-of-thought (CoT), self-consistency, tree of thoughts (ToT), RAG, Automatic Reasoning and Tool-use (ART), dan ReAct.

Retrieval-augmented generation (RAG)Copy Anchor Link

Menggabungkan retrieval system, yang mencari potongan relevan dari sumber pengetahuan, dengan generative model, yang menulis jawaban berdasarkan potongan tersebut.

Aplikasi bisnisnya:

• Sistem question answering yang berbasis pengetahuan perusahaan, misalnya bot support dan virtual assistant
• Memperluas dan memperkaya knowledge base
• Membuat konten seperti artikel, laporan, dan ringkasan

Knowledge Bases for Amazon Bedrock mengumpulkan sumber datamu menjadi repositori yang dipakai aplikasi RAG, misalnya untuk customer service, riset hukum, atau Q&A kesehatan.

Fine-tuningCopy Anchor Link

Melatih lebih lanjut model pre-trained dengan labeled data yang spesifik untuk tugas atau domain. Fine-tuning mengubah weights model.

• Instruction fine-tuning: contoh cara merespons instruksi. Prompt tuning termasuk jenis ini.
• RLHF: feedback manusia menyelaraskan model dengan preferensi manusia.

Pakai saat model perlu memahami istilah dan pengetahuan domain, misalnya fine-tuning dengan jurnal medis.

Membangun dari nolCopy Anchor Link

Tentukan arsitektur, kurasi dataset raksasa, dan latih dari weights acak. Kustomisasinya penuh, tapi biayanya sangat tinggi dari sisi compute, waktu, dan keahlian. Cocok untuk riset atau saat tidak ada model pre-trained yang sesuai.

Biaya vs akurasiCopy Anchor Link

Dari yang termurah sampai termahal: prompt engineering, lalu RAG, lalu fine-tuning, lalu pre-training dari nol. Kustomisasi yang lebih banyak bisa berarti akurasi lebih tinggi, tapi juga biaya, data, dan keahlian yang lebih besar.

AgentsCopy Anchor Link

Agents adalah software yang mengerjakan tugas multi-step secara otonom. Di Amazon Bedrock, agents:

• Mengoordinasikan tugas: menjalankan subtask dengan urutan yang benar dan mengelola dependensinya. Ini peran intinya.
• Membuat laporan dan log progres serta diagnostik
• Menangani skalabilitas dan konkurensi
• Berintegrasi dengan sistem lain lewat API dan message queue