Sadece Sentetik Veri ile Eğitilen AI Modeli: Nvidia Çipleriyle Güçlendirildi

Giriş

Son yıllarda yapay zeka (AI) alanında önemli gelişmeler yaşanıyor. Bu gelişmelerden biri de Tsinghua Üniversitesi ve Microsoft'un iş birliğiyle gerçekleştirilen bir projedir. Bu projede, tamamen sentetik verilerle eğitilen bir AI modeli oluşturuldu. Bu yazıda, bu yenilikçi çalışmanın detaylarına ve kullanılan teknolojilere göz atacağız.

Sentetik Veri ile Eğitim

Tsinghua Üniversitesi ve Microsoft Research Asia, gerçek dünya verisi kullanmadan tamamen yapay olarak üretilmiş verilerle bir AI modeli geliştirdi. Bu model, 7 milyar parametreye sahip olan X-Coder adı verilen bir yazılım. İlginç bir şekilde, X-Coder, 14 milyar parametreye sahip olan insan verileriyle eğitilmiş modellere göre daha iyi performans gösterdi. Araştırmacılar, bu başarının arkasında yatan nedenleri detaylı bir şekilde incelediler ve sentetik verilerin ölçekleme yasalarının geçerli olduğunu belirttiler.

Nvidia Çiplerinin Rolü

Bu projenin en dikkat çekici yönlerinden biri, kullanılan donanımın gücüdür. Eğitim sürecinde, 128 adet Nvidia H20 çipi kullanılarak 220 saat boyunca eğitim yapıldı. Ardından, 32 adet H200 çip ile pekiştirme öğrenme aşamasına geçildi. Nvidia'nın H20 çipleri, çıkarım için optimize edilmişken, H200 çipleri yüksek düzeyde eğitim için tasarlanmıştır. Bu çipler, Çin firmaları için mevcut en güçlü çiplerdir ve bu durum, Trump yönetiminin ihracat kontrolü muafiyetleri ile mümkün hale gelmiştir.

Hesaplama Gücünün Önemi

Araştırmacılar, projenin ölçeklenebilirliği ile ilgili sorunların donanım yetersizliğinden kaynaklandığını ifade ettiler. Tsinghua Üniversitesi'nden Wu Jie, "Pipeline'ın kendisinde bir sorun yoktu; asıl mesele hesaplama gücüydü" dedi. Araştırmacılar, projeyi kamuya açık hale getirerek, diğerlerinin büyük eğitim maliyetleri olmadan bu projeden yararlanmasını umuyorlar.

Yeni Bir Çip: ACCEL

Ayrıca, Çinli bilim insanları tarafından geliştirilen ACCEL adlı yeni bir çip de dikkat çekiyor. Bu çip, elektrik yerine ışık parçacıkları kullanarak üretildi ve laboratuvar testlerinde 4.6 PFLOPS hızına ulaştı. Bu, Nvidia'nın A100 çipinden 3,000 kat daha hızlıdır ve 4 milyon kat daha az enerji tüketmektedir. ACCEL, görüntü tanıma ve otonom sürüş gibi belirli görevler için son derece verimli bir AI çipi olarak öne çıkıyor.

Sonuç

Tsinghua Üniversitesi ve Microsoft'un bu projeleri, yapay zeka alanında önemli bir adım olarak değerlendiriliyor. Sentetik verilerle eğitilen AI modellerinin gelecekte daha fazla kullanılacağı öngörülüyor. Ancak, bu tür yeniliklerin getirdiği riskler ve zorluklar da göz önünde bulundurulmalıdır.