hamuz/Kumru-2B-UltraChatTR-merged

🕊️ Kumru-2B — UltraChatTR 50K Fine-Tune

Kumru-2B-UltraChatTR, VNGRS AI tarafından geliştirilen Kumru 2B modelinin,
UltraChatTR 50K Türkçe diyalog veri setiyle fine-tune edilmiş versiyonudur.

Bu model, Türkçe doğal konuşma tarzını ve diyalog akışını optimize eder.
Model, 34 milyon parametre üzerinde modifikasyon görmüş ve NVIDIA H100 PCIe (80GB) üzerinde
Unsloth AI kullanılarak 2 saatlik eğitim süreciyle tamamlanmıştır.

---

📜 Eğitim Detayları

Özellik	Açıklama
Temel Model	vngrs-ai/Kumru-2B
Eğitim Aracı	Unsloth AI
Donanım	NVIDIA H100 PCIe (80GB)
Veri Seti	hamuz/UltraChatTR_50k
Veri Formatı	JSON Lines
Fine-Tuning Tipi	Supervised Fine-Tuning (SFT)
Değişen Parametre Sayısı	~34 milyon
Eğitim Süresi	2 saat
Dil	Türkçe 🇹🇷
Lisans	MIT

---

⚙️ Örnek Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "hamuz/Kumru-2B-UltraChatTR-merged"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

def generate_response(query):
    messages = [
        {'role': 'system', 'content': 'Adın Kumru. VNGRS tarafından Türkçe için sıfırdan eğitilmiş bir dil modelisin.'},
        {'role': 'user', 'content': query}
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors='pt', add_generation_prompt=True).to(model.device)
    model_outputs = model.generate(model_inputs, max_new_tokens=512, do_sample=True, top_p=0.9, temperature=0.7, repetition_penalty=1.1)
    output_tokens = model_outputs[0].cpu().detach().numpy().tolist()
    generated_tokens = output_tokens[model_inputs[0].shape[0]:]
    response = tokenizer.decode(generated_tokens, skip_special_tokens=True)
    return response

query = "Penguenler hakkında anlatabileceğin en ilginç bilgi nedir?"
response = generate_response(query)
print(response)

Alıntı

@misc{turker2025kumru,
  title={Kumru},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  year={2025},
  url={https://huggingface.co/vngrs-ai/Kumru-2B}
}