Türkçe veri seti oluşturma rehberi — NLP projeleri için

Türkçe NLP projeleri geliştirirken en büyük sorun kaliteli veri seti bulmak. Bu rehberde kendi veri setinizi nasıl oluşturacağınızı anlatacağım.

1️⃣ Veri Kaynakları

Açık Kaynak Türkçe Veri Setleri:

• Turkish News Dataset: 273K haber makalesi (Kaggle)
• TR-SA (Sentiment Analysis): 12K etiketli yorum
• Turkish Wikipedia Dump: 500K+ makale
• OPUS Corpus: Çeviri çiftleri (TR-EN)

2️⃣ Veri Temizleme

HTML etiketlerini kaldırın, fazla boşlukları temizleyin ve özel karakterleri düzenleyin (Türkçe karakterler hariç).

3️⃣ Etiketleme (Labeling)

Manuel Etiketleme Araçları:

• Label Studio: Açık kaynak, çok yönlü
• Doccano: Metin sınıflandırma için ideal
• Prodigy: Ücretli ama çok güçlü

⚠️ Dikkat Edilmesi Gerekenler:

• Telif hakkı ihlalinden kaçının
• Kişisel verileri anonimleştirin (KVKK uyumu)
• Dengeli veri seti oluşturun
• Test/validation split yapmayı unutmayın (%80 train, %10 val, %10 test)

Sorularınız varsa yanıtlayayım! 🚀