MaxEnt-IRL
Bir Algoritma Değil, Bir Düşünme Disiplinidir
Maximum Entropy (MaxEnt) ilkesi,
yüzeyde bir olasılık dağılımı seçme kuralı gibi görünse de, özünde güçlü bir bilme
ve varsayma ahlakı taşır. Bu ahlakın temel buyruğu son derece yalındır: Bildiklerinin
ötesinde hiçbir şey varsayma. Ne daha fazlasını ekle, ne de eksik olanı
hayali kabullerle tamamla.
Bu ilke, belirsizlikle
karşılaşıldığında insan zihninin doğal eğilimine ters düşer. Zihin boşluklardan
hoşlanmaz; boşlukları hızla sezgilerle, önyargılarla ya da “makul görünen”
açıklamalarla doldurur. MaxEnt yaklaşımı ise tam tersini yapar: Boşluğu
doldurmak yerine onu korur. Bu koruma, rastlantısallık pahasına bile
olsa, bilgisel dürüstlüğü muhafaza etmeyi hedefler.
Bu nedenle MaxEnt, “en düzgün”, “en
tarafsız” ya da “en rastlantısal” dağılımı seçerken estetik bir sadelik aramaz;
epistemik bir sınır çizer. Söylediği şudur: Sadece bildiklerinin zorunlu
kıldığı yapıyı dayat; geri kalan her şeyi mümkün olduğunca serbest bırak.
Inverse Reinforcement Learning (IRL)
bağlamında bu ilke kritik bir rol oynar. Çünkü IRL’nin problemi, görülen
davranışlardan gizli bir amacı ya da ödül fonksiyonunu çıkarsamaktır. Buradaki
tehlike açıktır: Gözlenen davranışı “tek doğru davranış” ilan etmek. MaxEnt-IRL
bu tuzaktan bilinçli olarak kaçınır.
Bir trajektörün ödülünün
R(τ)=w⊤ϕ(τ)R(\tau) = w^\top \phi(\tau)R(τ)=w⊤ϕ(τ)
şeklinde tanımlanması, davranışı
deterministik bir zorunluluk haline getirmez. Aksine, yüksek ödüllü
trajektörler daha olasıdır, ama asla tek seçenek değildir. Bu
fark, teknik olduğu kadar felsefidir. Uzman davranışı “zorla kopyalanacak” bir
norm değil, “olasılıksal olarak açıklanacak” bir olgudur.
Bu bakış açısı, hatayı ve gürültüyü
sistemin düşmanı olmaktan çıkarır. Uzman bazen yanılır, bazen farklı bir yol
seçer, bazen de bağlama özgü bir tercih yapar. MaxEnt-IRL, bu sapmaları
açıklanması gereken anomaliler olarak değil, dağılımın doğal bileşenleri olarak
kabul eder. Böylece model, tekil örneklere aşırı bağlanmak yerine, davranış
uzayının tamamını dengeli biçimde temsil eder.
Partition function (bölümleme
fonksiyonu) burada yalnızca teknik bir normalizasyon terimi değildir. O, bu
varsayımsızlık disiplininin matematiksel sigortasıdır. Tüm olası
trajektörleri hesaba katarak, hiçbirinin keyfi biçimde dışlanmamasını garanti
eder. Modelin “ben sadece şunları düşündüm” deme lüksünü elinden alır; her
olasılığın bedelini ödemesini sağlar.
Bu yüzden MaxEnt-IRL’i tek satırda
şöyle özetlemek mümkündür:
MaxEnt-IRL = Bildiklerim dışında
hiçbir şeyi varsaymama kararlılığı.
Bu kararlılık, yalnızca makine
öğrenmesi için değil, belirsizlik altında düşünmenin her alanı için örnek
teşkil eder. Az bildiğinde susmayı, çok bildiğinde bile temkinli konuşmayı ve
her durumda rastlantısallığa saygı duymayı öğretir. Bu yönüyle MaxEnt-IRL, bir
algoritmadan ziyade, disiplinli bir düşünme biçimidir.
