Detalye ni Nvidia ang susunod na henerasyon ng AI-specialized Vera CPU, sinabing higit doble ang bilis kumpara sa ibang CPU

Ayon sa Jinse Finance, noong Hulyo 22, naglabas ng pahayag ang NVIDIA na ipinapakita ng benchmark test mula sa DeepInfra na ang bilis ng NVIDIA Vera CPU ay higit dobleng mas mabilis kumpara sa ibang CPU, at kayang suportahan ang mas maraming sabayang AI agents. Ang cloud platform na DeepInfra ay isa sa mga unang sumali sa NVIDIA Open AI Ecosystem, na independiyenteng nagdisenyo at nagpapatakbo ng benchmark test base sa kanilang production-level AI agent infrastructure. Kada linggo, umaabot sa halos 5 trilyong tokens ang pinoproseso ng DeepInfra, kung saan halos 30% ay pinapagana ng agent system. Ang kanilang cloud platform ay partikular na ginawa para sa mataas na throughput AI inference.

Ipinapakita ng benchmark test na, sa parehong kalidad ng serbisyo, kaya nitong suportahan ng hanggang 1.6 na beses na mas maraming sabayang AI agents, may 2.2 na beses ang bilis sa kooperasyon, habang pinapabuti rin ang paggamit ng infrastructure at cost efficiency. Ipinapakita ng mga resultang ito na kayang makamit ng NVIDIA Vera CPU ang cost efficiency, mababang latency, at throughput na kailangan para sa production-level artificial intelligence agents.

Habang ang mga AI agent ay tumatanggap ng mas komplikadong inference, planning, paggamit ng tools, at daloy ng datos, nagiging mas mahalaga ang performance ng CPU sa koordinasyon para sa bawat model call. Bilang bahagi ng estratehiya ng NVIDIA para sa extreme co-design ng AI factories, ang Vera CPU ay partikular na nilikha para sa agent-based workloads. Binibigyang-diin ng benchmark test ng DeepInfra kung paano tinutulungan ng NVIDIA Vera CPU ang mga cloud service provider na mapataas ang infrastructure utilization, mapabuti ang cost efficiency, at suportahan ang higit na sabayang AI agents sa parehong kalidad ng serbisyo.