Nvidia, telefonlar, küçük bilgisayarlar ve robotlar için geliştirdiği Nemotron 3.5 Bolt E4B modelini kullanıma sundu. Yaklaşık 4 GB bellek hedefiyle tasarlanan model, internet bağlantısı olmadan çalışabiliyor ve yalnızca sohbet etmekle kalmayıp çeşitli görevleri de yerine getirebiliyor.
Daha Az Kaynakla Yapay Zeka Kullanımı
Nemotron 3.5 Bolt E4B, düşük bellek tüketimi ve hızlı yanıt verme hedefiyle geliştirildi. Nvidia'nın açıklamasına göre model, önceki Nano 4B sürümüne kıyasla temel sohbet ve araç kullanımı testlerinde ortalama yüzde 40 daha yüksek kalite sunuyor. Bu sonuçlar, şirketin kendi değerlendirmelerine dayanıyor.
Modelin öne çıkan özelliklerinden biri de uygulamalarla etkileşime girerek birden fazla adımdan oluşan görevleri gerçekleştirebilmesi. Bu sayede yalnızca metin yanıtları üretmek yerine, uygun araçları kullanarak belirli işlemleri de yönetebiliyor.
Telefonlarda ve Robotlarda İnternetsiz Çalışabilecek
Modelin bilgisayarlar, mobil cihazlar, araç içi asistanlar ve robotik sistemlerde kullanılması hedefleniyor. Nvidia'nın örneklerinde, küçük bir robotun hareketlerini yönetmek ve kullanıcıyla iletişim kurmak için de bu teknolojiden yararlanılıyor.
Yapay zekanın doğrudan cihazda çalışması, internet bağlantısına duyulan ihtiyacı azaltabiliyor. Ayrıca verilerin sürekli uzak sunuculara gönderilmesini önleyerek gizlilik açısından avantaj sağlayabiliyor. Ancak bu durum, kullanılan uygulamanın veri işleme biçimine de bağlı.
64 Bin Token Bağlam Uzunluğu ve 35 Dil Desteği
Nemotron 3.5 Bolt E4B, 64 bin tokenlık bağlam penceresiyle konuşma geçmişini ve görev talimatlarını takip edebiliyor. Nvidia ayrıca modelin 35 dil desteği sunduğunu belirtiyor.
Model, geliştiricilerin kullanımına Hugging Face, Ollama ve LM Studio gibi platformlar üzerinden sunuluyor. Ancak 4 GB bellek hedefi, modelin her telefonda sorunsuz çalışacağı anlamına gelmiyor. Gerçek ihtiyaç, cihazın donanımına ve kullanılan yazılıma göre değişebiliyor.
Yeni model, yapay zeka işlemlerini buluta daha az bağımlı hale getirmeyi ve daha küçük cihazlarda kullanılabilir kılmayı amaçlıyor.
