H3C, AI altyapısında daha fazla GPU yerine Token verimliliğine odaklanıyor.
Son yıllarda AI altyapısında en önemli anahtar kelime daha fazla hesaplama gücü iken, Agentic AI’nin büyük ölçekli dağıtımı, sektörü daha pratik bir soruyla karşı karşıya getiriyor: Tüm bu hesaplama gücünün ne kadar verimli kullanılabileceği. H3C, 2026 Apsara Konferansı’nda bu soruyu Token’lar üzerinden ele aldı. AI ajanları sürekli olarak temel modelleri çağırdıkça, trilyon Token ölçeğinde hizmetler yeni bir altyapı gereksinimi olarak ortaya çıkıyor.
Token Verimliliği ve GPU Kullanımı
H3C’nin etkinlikte sergilediği ürün yelpazesi, geniş bir teknoloji yelpazesini kapsasa da, belirli bir mantık çerçevesinde şekilleniyor. Hesaplamadan ağ ve depolama sistemlerine, yazılımdan operasyonlara kadar AI altyapısı, donanım yığınlamasından sistem düzeyinde optimizasyona doğru evriliyor. Daha fazla GPU eklemek, mutlaka orantılı performans artışı sağlamıyor. Boşta kalan hesaplama gücü, ağ tıkanıklığı, yetersiz veri temini ve büyük ölçekli kümelerin operasyonel zorlukları, ek hesaplama gücünün değerini azaltabiliyor.
H3C’nin İleri Teknoloji Araştırma Departmanı Genel Müdürü Zhu Shiyin, AI kümelerini yüksek entegrasyona sahip sistemler olarak tanımlıyor. Kümelerin boyutları yüzlerce GPU’dan binlerce hatta on binlerce GPU’ya çıktıkça, GPU’lar denklemin sadece bir parçası haline geliyor. Çipler arası iletişim, veri transferi, görev planlaması, güç kaynağı ve soğutma gibi unsurlar, toplam hesaplama kullanımını doğrudan etkileyebiliyor.
Yüksek Hızlı Bağlantılar ve Altyapı Gelişimi
H3C’nin etkinlikte tanıttığı UniPoD S80000 Serisi SuperPod, bu yaklaşımı yansıtıyor. 32’den 1.024’e kadar GPU konfigürasyonlarını destekleyen bu sistem, 16.384 GPU’ya kadar ölçeklenebiliyor ve CPU’lar, GPU’lar, NPU’lar ve DPU’lar gibi heterojen hesaplama kaynaklarını da destekliyor. Buradaki odak, yalnızca bir sisteme daha fazla çip eklemek değil, hesaplama, ağ, depolama, bulut, güvenlik ve operasyonları koordine ederek farklı türdeki hesaplama kaynaklarını bir bütün olarak yönetmek.
Zhu, yüksek hızlı bağlantıların AI altyapısında giderek daha önemli hale geldiğini vurguladı. GPU performansı arttıkça, GPU’lar arasında değiştirilen veri miktarı da artıyor. Eğer ağ bu artışa ayak uyduramazsa, GPU’lar beklemek zorunda kalıyor. Bu nedenle H3C, etkinlikte üç bağlantı senaryosu tanıttı: Scale-Up, Scale-Out ve Scale-Across. H3C, bir düğüm içinde 102.4T NPO silikon-fotonik akıllı hesaplama anahtarı S9828-128EO’yu tanıttı. Bu anahtar, uçtan uca gecikmeyi %15 oranında azaltıyor. Düğümler arasında ise 1.6T akıllı hesaplama anahtarı S9828-64FP, yüksek yoğunluklu ortamlarda güç tüketimini %20’den fazla azaltıyor.
Veri Yönetimi ve Yazılımın Önemi
H3C ayrıca yüksek performanslı depolamayı da geniş Token üretim sürecinin bir parçası olarak konumlandırdı. UniStor X20000 serisi X20836, düğüm başına 200GB/s bant genişliği ve 3 milyon IOPS sunabiliyor. H3C, tam hızda çalışan motorunun GPU bekleme süresini %30 oranında azaltabileceğini ve XCache çıkarım hızlandırmasının çıkarım senaryolarında ilk Token gecikmesini %90 oranında kısaltabileceğini belirtti. Sonuç olarak, AI altyapısı, hesaplama merkezinden kapsamlı bir veri işleme sistemine evriliyor. Verilerin hazırlanmasından eğitimine, çıkarım ve Token üretimine kadar her bekleme süresi, nihayetinde maliyete dönüşüyor.
Donanım belirli bir ölçeğe ulaştığında, yazılım optimizasyonu giderek daha önemli hale geliyor. Zhu, işletim sisteminden iletişim kütüphanelerine, kaynak yönetiminden planlamaya kadar her şeyin kritik olduğunu vurguladı.
Kaynak: TechNode
