Hukukai

İcra Asistanı — Gemma-3 LoRA Adaptörü

Türk icra ve iflas hukuku alanında soru-cevap için, unsloth/gemma-3-1b-it temel modeli üzerine Unsloth ile eğitilmiş bir LoRA adaptörü. Bir ders ödevi kapsamında hazırlanmıştır.

Model, "İcra Asistanı" adıyla, Av. Mustafa Türk tarafından geliştirilen bir icra ve iflas hukuku asistanı kimliğiyle yanıt vermek üzere fine-tune edilmiştir.

Model detayları

Temel model	unsloth/gemma-3-1b-it
Yöntem	LoRA (PEFT)
Eğitim aracı	Unsloth + TRL (SFTTrainer)
Dil	Türkçe
Alan	İcra ve iflas hukuku
LoRA rank (r)	8
LoRA alpha	8
Epoch	3

Eğitim verisi

• İcra-iflas hukuku soru-cevapları — İİK maddelerine ve Yargıtay'ın yerleşik yaklaşımına dayanan, konuşma formatında örnekler.
• Kimlik örnekleri — modelin adını, geliştiricisini ve görevini tutarlı biçimde ifade etmesi için hazırlanmış örnekler.

Cevaplardaki hukuki bilgi telifsiz kaynaklara (İcra ve İflas Kanunu resmi metni ve kamuya açık Yargıtay içtihatlarının yaklaşımı) dayanır.

---

Benchmark Sonuçları

Model iki ayrı benchmark ile değerlendirilmiştir: biri genel amaçlı (Türkçe MMLU), diğeri bu çalışma için alana özel olarak tasarlanmış (İİK-Bench). İki ölçümün birlikte okunması, dar alanlı fine-tune'un etkisini iki yönden göstermektedir.

Özet

Benchmark	Ölçtüğü şey	Temel model	Bu model	Değişim
Türkçe MMLU	Genel bilgi (çoktan seçmeli)	%42.74	%26.00	−16.74
İİK-Bench	İcra-iflas hukuku (açık uçlu)	13.21	18.01	+4.80
İİK-MCQ	İcra-iflas hukuku (çoktan seçmeli)	%28	%25	−3

Kısaca: model genel amaçlı görevlerde belirgin biçimde gerilemiş, açık uçlu alan testinde sınırlı bir iyileşme göstermiş, çoktan seçmeli alan testinde ise rastgele tahmin düzeyinde kalmıştır. Alan içindeki iyileşme istatistiksel olarak kesin değildir ve her iki modelin de mutlak performansı düşüktür.

Düşük performansın model boyutundan kaynaklanıp kaynaklanmadığını sınamak için dört kat büyük bir temel model de ölçülmüş (bölüm 3); ayrıca 100 soruluk çoktan seçmeli benchmark beş farklı model üzerinde çalıştırılmıştır (bölüm 4).

---

1. Türkçe MMLU (genel amaçlı)

Türkçe MMLU benchmark'ı ile ölçüm yapılmıştır.

Model	Doğru / Soru	Başarı	Ölçüm koşulu
gemma3:1b (temel model)	2650 / 6200	%42.74	Ollama, Q4_K_M, tam set
Bu model (fine-tune)	52 / 200	%26.00	Unsloth, 4-bit, alt küme

Yöntem. olcum.py betiğindeki metodoloji korunmuştur: aynı soru veri seti, aynı prompt, aynı cevap_dogru_mu değerlendirme mantığı (harf eşleştirme → ilk harf kontrolü → paraphrase-multilingual-mpnet-base-v2 ile anlamsal benzerlik) ve aynı token sınırı (42). Orijinal betik Ollama kullanır; bu ölçümde LoRA adaptörü doğrudan Unsloth/Transformers ile Google Colab (T4) üzerinde çalıştırılmıştır.

Koşul farkı. Temel model skoru resmi liderlik tablosundan alınmıştır (6200 soru, Q4_K_M kuantizasyon); bu modelin skoru 200 soruluk rastgele bir alt kümede ölçülmüştür. İki skor birebir aynı koşullarda üretilmemiştir; karşılaştırma yaklaşık niteliktedir.

---

2. İİK-Bench (alana özel, bu çalışma için tasarlandı)

https://huggingface.co/datasets/Mustafa2735/iik-bench benchmark'ı ile ölçüm yapılmıştır.

Genel amaçlı bir benchmark, alana özel bir modelin hedeflendiği görevdeki performansını ölçemez. Bu nedenle icra ve iflas hukuku için 41 açık uçlu sorudan oluşan bir benchmark hazırlanmıştır.

Model	Standart skor	Spesifik bilgi isabeti	Yanlış işaret
unsloth/gemma-3-1b-it (temel)	13.21	2 / 25 (%8)	—
Bu model (fine-tune)	18.01	4 / 25 (%16)	0
Fark	+4.80	+2 isabet

Skor iki farklı katılıkta hesaplanmıştır:

Model	Standart skor	Katı skor
Temel model	13.21	3.51
Bu model	18.01	15.79

Standart skor tüm anahtar bilgileri (kavramlar, kurumlar, süreler) sayar. Katı skor yalnızca spesifik bilgileri (süre, oran, sayı) sayar; bunlar tesadüfen tutturulamayacağı için hukuki isabetin daha doğru bir göstergesidir. İkisi arasındaki açık, modelin hukuk terminolojisini kullanmayı öğrenirken spesifik hukuki bilgiyi edinemediğini göstermektedir.

Tasarım kararları

Açık uçlu format. Model bir hukuk asistanı olarak düzyazı cevap vermek üzere eğitilmiştir. Çoktan seçmeli bir test, modelin gerçek görevini değil "tek harf yazma" becerisini ölçer. Bu benchmark modeli doğal kullanımında değerlendirir.

Anahtar bilgi kontrolü (fact-checking). Salt anlamsal benzerlik hukukta yanıltıcıdır: "süre yedi gündür" ile "süre on gündür" cümleleri birbirine çok benzer, ancak biri tamamen yanlıştır. Bu nedenle her soru için cevapta bulunması gereken anahtar bilgiler (süreler, madde numaraları, merciler, kurumlar) ve bulunmaması gereken yanlış işaretler önceden tanımlanmıştır. Puanlama:

kapsam = bulunan anahtar bilgi / toplam anahtar bilgi
ceza   = yanlış işaret başına −0.25 (en fazla −1.0)
puan   = max(0, kapsam + ceza)

Veri sızıntısı önlemi. Sorular, modelin eğitim veri setinde kullanılmayan İİK maddelerinden seçilmiştir (gecikmiş itiraz m.65, borçtan kurtulma davası m.69, hacze iştirak m.100, haczin kalkması m.110, kira ve tahliye m.269, iflas tasfiyesi, konkordato mühletleri, icra suçları vb.). Eğitimde işlenen konular (tasarrufun iptali, ihalenin feshi, istihkak, meskeniyet, aciz vesikası, itirazın iptali/kaldırılması vb.) benchmark dışında bırakılmıştır. Böylece ölçülen şey ezber değil, genellemedir.

Referans doğrulama. Referans cevaplar, İcra ve İflas Kanunu'nun resmî metninden doğrulanarak yazılmıştır.

Ölçüm koşulları

Her iki model de aynı 41 soruyu, aynı sırada, aynı üretim ayarlarıyla (max_new_tokens=300, greedy/deterministik üretim) yanıtlamıştır. Ölçüm Google Colab (T4 GPU) üzerinde, 4-bit yükleme ile yapılmıştır.

---

3. Ek deney: Daha büyük bir temel model işe yarar mı?

Yukarıdaki sonuçlar, düşük performansın model kapasitesinden kaynaklanıp kaynaklanmadığı sorusunu doğurmuştur. Bu hipotezi sınamak için, dört kat büyük bir temel model olan unsloth/Qwen3-4B-Instruct-2507, fine-tune edilmeden, aynı İİK-Bench ile aynı koşullarda ölçülmüştür.

Model	Parametre	Skor	Yanlış işaret
unsloth/gemma-3-1b-it (temel)	1B	13.21	—
unsloth/Qwen3-4B-Instruct-2507 (temel)	4B	12.60	0
Bu model (gemma-3-1b + LoRA)	1B	18.01	0

Sonuç: hipotez doğrulanmamıştır. Dört kat büyük model, 1B temel modelin altında kalmıştır.

Gözlemler

Uydurulmuş madde numarası. Qwen3-4B, bir cevabında "12337. madde" ifadesini kullanmıştır. İcra ve İflas Kanunu 370 maddeden oluşur; böyle bir madde yoktur. Model, bilmediği bir konuda kaynak uydurmuştur.

Dejenere tekrar. Aynı cevapta model, tek bir cümleyi kesintisiz biçimde tekrarlamaya başlamıştır ("...ödeme emrine süresi içinde ödeme yapamadığı durumda, ödeme emrine süresi sona ermeden..."). Bu davranış, modelin üretecek anlamlı içeriği kalmadığında ortaya çıkar.

Talimat performansı düşürmüştür. Modelin uzun ve başlıklı cevaplar üretmesi nedeniyle puan alamadığı düşünülerek, açıkça "kısa ve doğrudan yanıtla, kanun maddesini belirt" talimatı verilerek 12 soruluk bir kontrol ölçümü yapılmıştır. Skor yükselmemiş, aksine düşmüştür (10.42 → 6.25). Bu, sorunun cevap biçimi değil, bilgi eksikliği olduğunu göstermektedir.

Değerlendirme

Bu deney, düşük performansın temel nedeninin model boyutu olmadığını göstermektedir. Türk icra ve iflas hukuku, genel amaçlı çok dilli modellerin ön eğitim verisinde yeterince temsil edilmemektedir; model büyütmek, var olmayan bilgiyi getirmemektedir.

Bu bulgu, fine-tune edilmiş modelin sonucunu da yeniden çerçevelemektedir: alanı hiç bilmeyen bir temel model üzerine, sınırlı bir veri setiyle ölçülebilir bir kazanç sağlanmıştır. Ayrıca fine-tune edilmiş model, Qwen3-4B'nin aksine madde numarası uydurmamıştır.

Yöntem notu. Qwen3-4B'nin uydurduğu madde numarası, benchmark'ın "yanlış işaret" listesinde yer almadığı için cezalandırılmamıştır; bu nedenle tabloda yanlış işaret sayısı 0 görünmektedir. Bu, önceden tanımlı yanlış işaret listesinin uydurma içerikleri yakalamakta yetersiz kalabileceğini göstermektedir.

---

4. İİK-MCQ: 100 soruluk çoktan seçmeli benchmark (5 model)

https://huggingface.co/datasets/Mustafa2735/karsilastirma benchmark'ı ile ölçüm yapılmıştır.

Açık uçlu değerlendirme, modelin bilgisini mi yoksa ifade becerisini mi ölçtüğü konusunda belirsizlik bırakmaktadır. Bu belirsizliği gidermek için aynı alanda 100 soruluk, dört şıklı ikinci bir benchmark hazırlanmış ve beş farklı model üzerinde çalıştırılmıştır.

Sorular, fine-tune eğitim veri setinde kullanılmayan İİK maddelerinden, 24 ayrı konu başlığında ve elle hazırlanmıştır. Cevap anahtarı A/B/C/D için tam dengelidir (her harf 25 kez doğru).

İki ölçüm yöntemi

Yöntem	Nasıl çalışır	Ne ölçer
Üretim tabanlı	Model birkaç token üretir, ilk A/B/C/D harfi okunur	Bilgi + talimata uyma
Olasılık (logprob) tabanlı	Modelin ilk token olarak A/B/C/D'ye verdiği olasılıklar karşılaştırılır	Yalnızca bilgi

İkinci yöntem üretim gerektirmediğinden, uzun cevap verme eğilimindeki modelleri cezalandırmaz ve bilgiyi daha adil ölçer.

Sonuçlar

Model	Parametre	Üretim	Logprob	Rastgele üstü
unsloth/Qwen3-4B-Instruct-2507	4B	%38	%37	+12
unsloth/gemma-3-1b-it (temel)	1B	%28	%28	+3
Bu model (hukukai, fine-tune)	1B	%22	%25	0
unsloth/gemma-2-9b-it	9B	%0	%25	0
unsloth/Llama-3.2-3B-Instruct	3B	%29	%24	−1

Rastgele tahmin beklentisi %25'tir. n = 100 için standart hata ±4.3 puan; anlamlılık eşiği yaklaşık %33.5. Yalnızca Qwen3-4B bu eşiği aşmaktadır. Diğer dört model, rastgele tahminden istatistiksel olarak ayırt edilememektedir.

Kritik bulgu: harf yanlılığı ve dejenere modeller

Modellerin verdiği cevapların harf dağılımı incelendiğinde, beş modelin üçünün şıklar arasında hiç ayrım yapmadığı görülmüştür:

Model	Cevap dağılımı	Durum
Qwen3-4B	A:21, B:26, C:37, D:16	normal
Llama-3.2-3B	A:1, B:3, C:37, D:59	kısmen yanlı
gemma-3-1b	A:5, B:1, C:87, D:7	dejenere
gemma-2-9b	A:100	dejenere
Bu model (fine-tune)	C:100	dejenere

Fine-tune edilmiş model 100 sorunun tamamına "C" yanıtını vermiştir. Cevap anahtarı dengeli olduğu için bu davranış tam olarak %25 skor üretir; yani elde edilen skor modelin bilgisini değil, yalnızca cevap anahtarının yapısını yansıtmaktadır. Aynı durum, tüm sorulara "A" yanıtı veren gemma-2-9b için de geçerlidir.

Sonuç: fine-tune edilmiş model bu formatta anlamlı biçimde değerlendirilememektedir. Uzun düzyazı üretmek üzere eğitilmesi, tek harflik cevap üretme ve şıklar arasında ayrım yapma yeteneğini ortadan kaldırmıştır.

Buna karşılık Qwen3-4B'nin cevap dağılımı, şıkların sırası değiştirildiğinde değişmiştir; yani model sabit bir alışkanlıkla değil, soruların içeriğine göre yanıt vermektedir.

Cevap anahtarının dengelenmesi

Benchmark'ın ilk sürümünde cevap dağılımı dengesizdi (A:30, B:26, C:17, D:27). Bu dengesizlik, dejenere modellerin yanıltıcı skorlar almasına yol açmıştır: tüm sorulara "A" diyen model %30, tüm sorulara "C" diyen model %17 almış; her ikisi de sıfır bilgi göstermesine rağmen aralarında sahte bir sıralama oluşmuştur.

Anahtar A/B/C/D için tam...