OpenAI'ı endişelendiren veri: Büyük dil modellerindeki ilerleme yavaşlıyor
The Information'ın anonim kaynaklara dayandırdığı haberine göre OpenAI, ChatGPT'ye güç veren büyük dil modellerinde daha yavaş performans kazanımları gördüğü için stratejisini değiştiriyor.
Information'a göre, GPT-4'ün halefi olan Orion kod adlı yeni model, GPT-3'ten GPT-4'e kalite sıçramasından daha küçük bir gelişmeyi temsil ediyor.
Dahası, The Information'ın kaynaklarına göre Orion, programlama gibi alanlarda selefini tutarlı bir şekilde geçmiyor ve yalnızca dil yeteneklerinde gelişme gösteriyor. Modelin veri merkezlerinde çalıştırılması da önceki sürümlere göre daha maliyetli olabilir.
Bu durum Orion'un çalıştırılmasını daha pahalı hale getirebilir ve yapay zeka modellerinin ölçeklenebilirliği konusunda endişelere yol açabilir.
EĞİTİM VERİLERİNİN YETERSİZLİĞİ
OpenAI araştırmacıları yavaşlamanın bir nedeni olarak yüksek kaliteli eğitim verilerinin yetersizliğine işaret ediyor. Kamuya açık metinlerin ve verilerin çoğu zaten kullanılmış durumda.
The Information'ın haberine göre, OpenAI buna yanıt olarak Nick Ryder liderliğinde bir ekip oluşturdu.
AÇIĞI KAPATMA PLANI
Bu, CEO Sam Altman'ın Haziran ayında yaptığı, yeterli miktarda veri mevcut olsa da, odak noktasının daha az veriden daha fazlasını öğrenmeye kayacağı yönündeki açıklamasıyla uyumlu. Şirket, bu açığı kapatmaya yardımcı olmak için yapay zeka modelleri tarafından üretilen eğitim materyali olan sentetik verileri kullanmayı planlıyor.
The Information, Orion'un GPT-4 ve OpenAI'nin yeni “akıl yürütme” modeli o1'den elde edilen sentetik veriler üzerinde kısmen eğitim aldığını belirtiyor. Ancak bir OpenAI çalışanına göre bu yaklaşım, yeni modelin sadece “belirli yönlerden eski modellere benzemesi” riskini taşıyor.
LLM'DEKİ DURGUNLUK SEKTÖR İÇİN ZORLUK
Large language models yani büyük dil modellerinin ilerlemesindeki yavaşlama OpenAI'nin ötesine geçiyor. The Verge kısa süre önce Google'ın yakında çıkacak Gemini 2.0'ın şirket içi hedeflerin gerisinde kaldığını bildirdi. Anthropic'in, muhtemelen kullanıcıları ve yatırımcıları hayal kırıklığına uğratmaktan kaçınmak için, amiral gemisi Opus'un 3.5 sürümünün geliştirilmesini durdurduğu ve bunun yerine geliştirilmiş bir Sonnet yayınladığı söyleniyor.
patronlardunyasi.com
