Nvidia szczegółowo opisuje nową generację specjalnego CPU dla AI Vera, twierdząc, że jego szybkość jest ponad dwukrotnie wyższa niż innych CPU.

Zgodnie z informacją opublikowaną przez Jinse Finance, 22 lipca NVIDIA ogłosiła, że wyniki testów porównawczych przeprowadzonych przez DeepInfra wykazują, iż procesor NVIDIA Vera CPU jest ponad dwukrotnie szybszy niż inne procesory CPU oraz umożliwia obsługę większej liczby współbieżnych agentów AI. Platforma chmurowa DeepInfra jest jednym z wczesnych uczestników otwartego ekosystemu AI firmy NVIDIA i samodzielnie zaprojektowała oraz przeprowadziła testy wydajności w oparciu o własną infrastrukturę agentów produkcyjnych AI. DeepInfra co tydzień przetwarza prawie 5 bilionów tokenów, z czego około 30% napędzają systemy agentowe. Jej platforma chmurowa została stworzona specjalnie do wysokoprzepustowych wnioskowań AI. Testy porównawcze wykazały, że przy tej samej jakości usług NVIDIA Vera CPU obsługuje nawet 1,6 razy więcej współbieżnych agentów AI, osiąga do 2,2 razy wyższą prędkość koordynacji oraz zwiększa wykorzystanie infrastruktury i efektywność kosztową. Wyniki te pokazują, że NVIDIA Vera CPU może zapewnić kosztowność, niskie opóźnienia i przepustowość wymagane przez produkcyjne systemy sztucznej inteligencji.

W miarę jak agenci AI podejmują coraz bardziej złożone zadania wnioskowania, planowania, wykorzystania narzędzi i przepływu danych, wydajność CPU staje się coraz ważniejsza podczas koordynacji operacji związanych z każdym wywołaniem modelu. Jako część strategii NVIDIA polegającej na gruntownej współprojektowaniu fabryk AI, procesor Vera CPU został zaprojektowany specjalnie dla obciążeń agentowych. Testy DeepInfra podkreślają, jak NVIDIA Vera CPU pomaga dostawcom usług chmurowych zwiększać wykorzystanie infrastruktury, poprawiać efektywność kosztową oraz obsługiwać większą liczbę współbieżnych agentów AI przy niezmienionej jakości usług.