OpenAI, Decisions API modelini geniş bir kullanıcı kitlesine sunarak hızlı ve ucuz yapay zeka pazarına adım attı.
OpenAI, Decisions API modelini ilk kez geniş bir kullanıcı kitlesine sunarak hızlı ve maliyet etkin yapay zeka pazarına girdi. Bu hamle, TypeSafe adlı bir girişimin, bir eski araştırmacı tarafından kurulan, 7.6 milyar dolarlık bir şirkete dönüşmesine neden oldu.
TypeSafe’ın Jev modeli, hızlı karar verme yeteneğine sahip derin öğrenme modelleri kategorisini oluşturdu. Bu modeller, belirli seçenekler verildiğinde hızlı bir şekilde seçim yapabiliyor ve kararlarına güven derecesi sunabiliyor. Yazılım geliştiricileri, bu karar verme ya da Sistem Bir (System One) modellerinin, çeşitli iş akışlarında LLM’lerin (Büyük Dil Modelleri) yerini alabileceğini keşfetti; bu sayede daha hızlı çalışıyor ve maliyetleri önemli ölçüde düşürüyor.
Jev Modeli ve Hızlı Karar Verme
OpenAI’nin API ürün yöneticisi Nikunj Handa, TechCrunch’a verdiği demeçte, ekiplerinin Jev modelini gördüklerinde “vay, bu model için bir milyon kullanım alanımız var” dediklerini söyledi. Handa’nın ekibi, özel bir karar modeli inşa etmek yerine, ChatGPT Luna’yı yeniden yapılandırarak tahmin süresini hızlandırmayı ve maliyetleri düşürmeyi hedefledi.
“Decisions API ile sağlanan büyük avantaj hız oldu; işlemleri bir ila üç saniyeden 100, 120, 180 milisaniyeye kadar düşürdük,” diyen Handa, gelecekte modellerin daha iyi hale gelmesi için özel eğitimler yapmayı planladıklarını belirtti. Ancak şu anda, işin görünen kısmı, Luna’nın işlevini yerine getirmesi.
29 Eylül’de şirketin geliştirici gününde duyurulan Decisions API, Perşembe günü tüm müşterilerin kullanımına sunuldu. OpenAI, kamu versiyonuna yeni ses ve görsel modlar ekledi ve dünya genelinde daha düşük gecikme süreleri sağlamak için kaynaklarını coğrafi olarak hedefledi.
Jev Modelinin Pazar Etkisi
Box, Datadog, Ramp ve Speak gibi müşterilerle yapılan ilk denemelerde mühendisler, API’yi kullanarak OpenAI’nin LLM’lerini daha yüksek verimlilikle değiştirdi. AI dil eğitmenleri geliştiren Speak’in CTO’su Andrew Hsu, Decisions API sayesinde eylemler arasındaki süreyi 1.4 saniyeden 0.13 saniyeye düşürdüklerini ifade etti. OpenAI, bu ürünü Dots sesli asistanının yanıt verme hızını artırmak için de kullandı.
Ancak, iyi bir karar modelinin ne olduğu hala net değil; “sizin için işe yarıyorsa” bu yeterli gibi görünüyor. Zeka, maliyet, kalibrasyon ve hız açısından optimizasyon, iş yüküne göre değişiklik gösteriyor. TypeSafe CEO’su Diogo Almeida, kıyaslamalara güvenmediğini ve insanların modelleri kendi işlerinde denemelerini önerdi. Ancak TypeSafe, en son Jev modelinin piyasaya sürülmesiyle birlikte kendi sıralamalarını da yayınladı.
Ayrıca, AIM Sistem Bir Endeksi ve Yapay Analiz Karar Endeksi gibi kamuya açık kıyaslamalar, Liquid’in geçen hafta tanıttığı yeni karar modeli D1 Ultra’yı ve Base Lab’ın Elephant-1 modelini öne çıkarıyor. En son Jev modeli her iki endekste de rekabetçi konumda; yedinci ve üçüncü sırada yer alırken, OpenAI’nin karar modeli sekizinci ve on dördüncü sırada bulunuyor. Ancak, TypeSafe’ın ürünleri şu an için OpenRouter’da en çok sorgulananlar arasında.
Jev benchmark’ı olarak bilinen ve karar modellerinin PacMan oynadığı JevMan, en eğlenceli kıyaslamalardan biri. En son Jev modeli bu sıralamada zirvede yer alıyor. Opper AI’nin büyüme müdürü Felix Wunderlich, klasik oyunun “hızlı ve yüksek riskli kararların sürekli akışı nedeniyle ilginç bir test olduğunu” belirtti. Model, her kavşakta birkaç yüz milisaniye içinde nereye gideceğine karar vermek zorunda kalıyor.
OpenAI’nin daha yetenekli modeli, çok modlulukta avantaj sağlayabilir; görüntü sınıflandırması için “Luna son derece güçlü ve daha iyi kalibrasyonlar sergiliyor,” diyen Handa, OpenAI müşterilerinin Decisions API’nin görüntüleri çıktı olarak kullanma esnekliğini artırmasını istediğini de sözlerine ekledi. Handa, hızda daha fazla artışlar görerek yeni kullanım alanları geliştirmeyi hedefliyor: “Bunu 60 milisaniyeye düşürebilir miyiz? O zaman her bir video karesi için bir API çağrısı yapmayı hayal edebilirsiniz.”
Bu ürünler daha hızlı ve daha ucuz hale geldikçe, Jev’in adını taşıyan ekonomistin, kaynakları daha verimli kullanmanın onları daha yaygın hale getirdiğini açıklayan görüşlerini yansıtmaları bekleniyor. Handa, “gizli kalmış birçok kullanım alanının açığa çıkacağını” öngörüyor.
Kaynak: TechCrunch
