Parameter Sampling: Temperature dan Top-P

Analogi: Koki Penurut vs Koki Pemberani

Bayangkan dua koki dengan resep sama. Koki penurut selalu memasak persis sesuai resep: hasilnya konsisten, aman, tapi tidak pernah mengejutkan. Koki pemberani suka bereksperimen: kadang menghasilkan kreasi luar biasa, kadang gagal total. Temperature adalah tombol yang memilih koki mana yang kamu dapat dari AI yang sama.

Secara teknis, temperature mengatur seberapa acak AI memilih kata berikutnya. Temperature 0 (atau sangat rendah): selalu pilih kata paling mungkin = jawaban deterministik, sama setiap ditanya. Temperature tinggi (0.8-1.0+): beri kesempatan ke kata-kata yang kurang mungkin = jawaban bervariasi dan kreatif.

Kenapa Kamu Harus Peduli

Pengaturan ini ada di hampir semua tools AI (API, playground, bahkan beberapa aplikasi chat punya "mode kreatif"). Memakainya dengan benar memberi dua keuntungan besar:

1. Kode dan fakta butuh determinisme. Saat minta AI menulis regex, query SQL, atau menjawab fakta, temperature rendah mencegah "kreativitas" yang merusak ketepatan.
2. Ide butuh variasi. Saat brainstorming nama produk, ide fitur, atau sudut pandang esai, temperature tinggi memberi keragaman yang tidak kamu dapat dari jawaban "aman".

Pemula yang tidak tahu ini mendapat hasil acak: kadang kode berubah-ubah tiap ditanya (temperature terlalu tinggi), kadang ide mentok itu-itu saja (temperature terlalu rendah).

Contoh 1: Eksperimen Temperature (Praktik Langsung)

Di playground OpenRouter (atau API dengan parameter temperature), kirim prompt IDENTIK ini tiga kali dengan temperature berbeda:

Prompt: "Berikan satu nama fungsi JavaScript untuk menghitung total harga."

• Temperature 0.1: hampir pasti hitungTotal atau calculateTotal setiap kali. Membosankan tapi bisa diandalkan.
• Temperature 0.7: variasi muncul: totalHarga, sumCart, grandTotal.
• Temperature 1.2: bisa muncul yang aneh: kalkulasiMahakarya, atau bahkan tidak relevan.

Sekarang ulangi eksperimen dengan prompt faktual: "Ibukota Indonesia adalah..." di temperature 1.5. Kamu mungkin dapat jawaban salah yang kreatif. Pelajaran: temperature tinggi + pertanyaan faktual = halusinasi yang diundang sendiri.

Aturan praktis:

• Ngoding, fakta, instruksi tepat: 0.0 - 0.3
• Penjelasan seimbang, default sehari-hari: 0.5 - 0.7
• Brainstorming, ide kreatif: 0.8 - 1.0
• Di atas 1.0: hanya untuk eksperimen, jangan untuk kerja serius.

Contoh 2: Top-P, Saudara Temperature yang Lebih Halus

Selain temperature, ada top-p (nucleus sampling): mengatur "seberapa besar kumpulan kata kandidat" yang dipertimbangkan. Top-p 0.9 = hanya pertimbangkan kata-kata yang mencakup 90% probabilitas teratas. Top-p 0.1 = hanya kata-kata paling mungkin.

Analoginya: temperature = seberapa berani koki bereksperimen, top-p = seberapa besar rak bumbu yang boleh ia lihat. Praktik umumnya: ubah salah satu saja, jangan keduanya. Kalau sudah mengatur temperature, biarkan top-p di default (biasanya 1.0 atau 0.95). Mengubah keduanya sekaligus membuat perilakunya sulit diprediksi.

Kapan memakai top-p? Saat kamu mau variasi tapi tetap terkendali. Contoh: membuat 5 variasi kalimat pembuka esai yang semuanya tetap masuk akal: temperature 0.8 + top-p 0.9 memberi variasi tanpa kegilaan. Untuk ngoding, lupakan top-p: temperature rendah saja cukup.

Catatan teknis: Ada juga top-k (batasi hanya K kata paling mungkin) dan seed (angka untuk membuat hasil acak bisa diulang). Seed berguna untuk reproduksibilitas: dengan seed sama + temperature sama, beberapa provider bisa memberi hasil identik. Untuk test otomatis yang melibatkan AI, seed membuat test-mu tidak flaky. Perlu dicatat: tidak semua provider mendukung seed dengan konsisten. Dan satu peringatan: temperature 0 TIDAK menjamin 100% deterministik di semua provider (ada variasi infrastruktur), tapi cukup dekat untuk praktis.

Kesalahan Umum Pemula

1. Tidak tahu pengaturannya ada. Banyak yang memakai default selamanya. Cek pengaturan di tools yang kamu pakai; 30 detik mengatur temperature menghemat 30 menit frustrasi.
2. Temperature tinggi untuk kode. "Kok tiap aku tanya, kodenya beda-beda?" Karena temperature default 0.7 terlalu kreatif untuk kode presisi. Turunkan ke 0.1-0.2.
3. Temperature 0 untuk brainstorming. "Idenya gitu-gitu aja." Karena terlalu deterministik. Naikkan ke 0.8-0.9.
4. Mengubah temperature dan top-p bersamaan. Hasilnya tidak bisa ditebak dari mana asalnya. Satu per satu.

Rangkuman

Temperature = tombol kepribadian AI: rendah untuk tepat dan konsisten (kode, fakta), tinggi untuk kreatif dan bervariasi (ide). Top-p = pembatas halus kandidat kata; ubah salah satu saja. Seed = membuat keacakan bisa diulang untuk testing. Kuasai tiga menit pengaturan ini, dan kamu mengendalikan perilaku AI, bukan dipermainkannya.