Çinli yapay zeka şirketi DeepSeek, yapay zeka modellerini daha düşük maliyetle çalıştırmayı amaçlayan DeepInfer adlı yazılım altyapısını açık kaynak olarak kullanıma sundu. Sistem, işlem gücünü daha verimli kullanarak enerji tüketimini ve hesaplama maliyetlerini azaltmayı hedefliyor.
Şimdilik DeepSeek-V4.1-Flash modelini destekleyen altyapı, Nvidia ve Huawei’nin belirli çipleriyle çalışabiliyor. Yazılımın açık kaynak olması, geliştiricilerin bu teknolojiyi incelemesine ve kendi sistemlerine uyarlamasına olanak tanıyor.
Nvidia Ve Huawei Çipleriyle Çalışıyor
DeepInfer, Nvidia’nın Blackwell mimarisindeki SM100 GPU’ları ile Huawei’nin Ascend 950 çiplerini destekliyor. Böylece yapay zeka hizmeti sunan şirketler, mevcut donanımlarından daha fazla verim almayı hedefleyen bir yazılım altyapısına erişebiliyor.
Sistemin temel amacı, yapay zeka modellerinin daha az kaynak kullanarak daha fazla isteği karşılamasını sağlamak. Bu yaklaşım, özellikle yüksek işlem gücü ve enerji gerektiren yapay zeka hizmetlerinde maliyetleri düşürme potansiyeli taşıyor.
Tek GPU İçin Saatlik 38 Dolar Gelir İddiası
DeepSeek, DeepInfer altyapısıyla çalışan sistemlerde GPU başına saatte 38 dolara kadar gelir elde edilebildiğini öne sürdü. Ancak bu rakamın kâr değil, gelir olduğu belirtiliyor. Donanım, elektrik ve işletme giderleri bilinmediği için gerçek kazanç hakkında kesin bir hesaplama yapmak mümkün değil.
Şirket ayrıca altyapısının günde 155 trilyon token işlediğini açıkladı. Token, yapay zeka modellerinin metinleri işlerken kullandığı temel birimlerden biri olarak biliniyor.
Önbellekleme Maliyetleri Azaltabilir
DeepInfer’in öne çıkan özelliklerinden biri de önbellekleme teknolojisi. Bu yöntem, daha önce işlenen bilgilerin yeniden kullanılmasını sağlayarak aynı hesaplamaların tekrar yapılması ihtiyacını azaltıyor.
DeepSeek, önbellekleme sayesinde bazı maliyetlerin 50 kata kadar düşebildiğini belirtiyor. Ancak bu oran, kullanım koşullarına ve iş yüküne göre değişebilir.
Yeni altyapının özellikle yapay zeka hizmetlerini kendi sunucularında çalıştıran şirketler için önemli bir seçenek olması bekleniyor. Maliyetlerde sağlanacak tasarrufun rekabeti artırması ve ilerleyen dönemde kullanıcılara daha uygun fiyatlar olarak yansıması mümkün.
