Настоящите AI центрове за данни са изправени пред две основни затруднения в мащабирането и традиционната мащаб - нагоре и мащаб - модели се борят да посрещнат Giga - мащаб AI изисква:
Мащаб - ограничения: Постигнато чрез надграждане на единични системи или стелажи (напр. Увеличаване на броя на GPU или подобряване на работата на устройството-, но ограничено от захранващите тавани от инфраструктура като охлаждане на водата. Съществуващите центрове за данни имат физически прагове за влагане на мощност и разсейване на топлината, като предотвратяват безкрайното увеличаване на плътността на изчисленията на багажник или център за данни.
Мащаб - Ограничения: Разширен чрез добавяне на стелажи и сървъри за мащабиране на клъстери, но ограничен от физическото пространство в едно място, налагайки твърди капачки на капацитета на оборудването.
За да преодолее тази дилема, NVIDIA предлага новото измерение на "Scale -", оптимизирайки мрежовата комуникация между географски разпръснати центрове за данни, за да се направят разпределените AI клъстери да си сътрудничат като едно. Основателят и изпълнителен директор на NVIDIA Jensen Huang описва този кръст - регионална AI Super Factory като ключова инфраструктура за индустриалната революция на AI, със спектър - XGS като основна технология.
Основни технологии на Spectrum - XGS
Spectrum - XGS не е изцяло нова хардуерна платформа, а еволюция на съществуващия спектър на NVIDIA - x Ethernet екосистема. От старта си от 2024 г. Spectrum - X достави 1,6x по -висока производителност на AI мрежа от традиционните Ethernet чрез спектъра - 4 SN5600 превключватели на Architecture и Bluefield - 3 DPU, превръщайки се в основния избор на AI центрове за данни, използвайки NVIDIA GPU. Пробивът в Spectrum-XGS се крие в три алгоритмични иновации и хардуерни синергии, които се отнасят до предизвикателствата на комуникацията, задръстванията и синхронизацията в междурегионалните графични групи.
1.Core Алгоритми: Динамична адаптация към Long - Характеристики на мрежата на разстояние
Spectrum-XGS's core is a set of "distance-aware network optimization algorithms" that analyze key parameters of cross-data-center communication in real-time (distance, traffic patterns, congestion levels, performance metrics) and dynamically adjust network policies:
Разстояние - адаптивен контрол на задръстванията:За разлика от равномерното обработка на всички връзки на Ethernet, Spectrum - XGS алгоритми автоматично регулират праговете на задръстванията въз основа на действителните разстояния между центровете за данни (в момента поддържат разгръщането до стотици километри), избягвайки загубата на пакети или натрупването в дълги -} разстояние.
Прецизно управление на латентността:Чрез per - пакет фино - Зърненото адаптивно маршрутизиране, той елиминира латентния трептене от препредаване на пакети в традиционните мрежи. Jitter е критична опасност при AI клъстери: Ако един графичен процесор изостава поради забавяне, всички сътрудничещи графични процесори трябва да изчакат, пряко влияещи на общата производителност.
Край - до - крайна телеметрия: Реално - колекция от време на пълен - свържете данни за производителността от графични процеси към превключватели и кръстосани - данни - Централни връзки осигуряват милисекундни - нивото за обратна връзка за алгоритмични корекции, като се гарантира динамично съвпадение на мрежовия статус на условията на затоварване.
2. Хардуерни синергии: Използване на спектър - x Екосистемата Висока основна лента на -
Spectrum - XGS постига оптимална производителност, когато се комбинира със специфичен хардуер на NVIDIA:
Spectrum - x превключватели: Като основен мрежов гръбнак, осигурявайки висока плътност на порта и ниско - пренасочване на латентност.
Connectx-8 Supernic: 800 GB/S AI - Специален мрежов адаптер за висок - скорост на скорост на данни между графични процеси и превключватели.
Blackwell Architecture Hardware: Като B200 GPU и GB10 Superchips, дълбоко интегрирани със спектър - xgs за намаляване на края - до - крайната латентност. NVIDIA validated through NCCL (collective communications library) benchmarks: Spectrum-XGS boosts communication performance between cross-data-center GPUs by 1.9x while controlling end-to-end latency at about 200 milliseconds-a level Това се чувства отзивчива и изостава - безплатно за взаимодействия на потребителите, отговаряйки на реалните изисквания за време - за AI извод.
Пълен - оптимизация на стека за AI обучение и ефективност на извода със спектър - xgs
Spectrum - XGS не е изолирана технология, а ключово допълнение към пълната екосистема на NVIDIA. В това издание NVIDIA разкрива и софтуера - подобрения на производителността, които синергизират със спектър - XG за хардуер - algorithm - софтуерна колаборация:
Dynamo Software Upgrade: Оптимизиран за архитектурата на Blackwell (напр. B200 Systems) за повишаване на производителността на извода на AI с до 4x, което значително намалява консумацията на изчисление за големи изводи за модела.
Спекулативна технология за декодиране: Използва малък проект на модел, за да прогнозира предварително следващия изходен маркер на основния AI модел, намалявайки изчисленията на основния модел и повишаване на производителността на извода с допълнителни 35%. Това е особено подходящо за сценарии за разговорни изводи при големи езикови модели (LLM).
Ускореният директор на отдела за изчислителни отдели на NVIDIA Дейв Салватор заяви, че основната цел на тези оптимизации е да се мащабират амбициозни приложения на АйИ. Независимо дали тренирате трилиона - параметър големи модели или поддържащи услуги за изводи за милиони едновременни потребители, комбинацията от спектър - XGS и софтуерната екосистема осигурява предвидима ефективност.
Ранните приложения и въздействието на индустрията на спектъра - XGS
Първи потребители: CoreWeave Pioneers Cross - домейн AI Super FactoryДоставчикът на GPU Cloud Service CoreWeave е сред първите осиновители на Spectrum - XGS. Основател на компанията CO - и CTO Peter Salanki отбеляза, че тази технология ще даде възможност на своите клиенти да имат достъп до Giga - възможности за мащаб, ускорявайки пробивите в индустриите. Например, поддръжка на Ultra - големи - мащаби на AI проекти като инициативата Stargate от Oracle, SoftBank и Openai.
Тенденции в индустрията: Ethernet замества Infiniband като AI Network MainstreamВъпреки че Infiniband притежаваше около 80% от пазара на AI Backend Network през 2023 г., индустрията бързо се прехвърля към Ethernet. Изборът на NVIDIA да развие спектър - XGS на Ethernet се привежда в съответствие с тази тенденция:
Съвместимост и предимства на разходите:Ethernet е универсалният стандарт за глобалните центрове за данни, по -познат на мрежовите инженери и по -евтино за разгръщане, отколкото Infiniband.
Прогнози за пазарна скала:Данните на Dell'oro Group показват, че пазарът на Switch Data Center Ethernet ще достигне близо 80 милиарда долара през следващите пет години.
Собственият растеж на Nvidia: 650 Group Reports посочват Nvidia като "най -бързият - растящ доставчик" на пазара на центъра за данни за 2024 г., като приходите от бизнес в мрежа достигат 5 милиарда долара в Q 2 2024 (завършващ на 27 април), което е 56% година- над - година.
Стартирането на Spectrum - XGS разширява пълната - стратегия за монопол в инфраструктурата на AI, като същевременно предизвиква нова конкурентна динамика:
Пълното оформление на стека на Nvidia: From GPUs (Blackwell), interconnects (NVLink/NVLink Switch), networks (Spectrum-X/Spectrum-XGS, Quantum-X InfiniBand) to software (CUDA, TensorRT-LLM, NIM microservices), NVIDIA has formed a closed Loop покрива "Compute - connect - софтуер" за AI инфраструктура. Spectrum - XGS синергизира с nvlink за три - ниво на мащабиране: intra - chang (nvlink), intra - data - kent (Spectrum - xgs).
Отговорите на конкурентите: По -ранната технология Sue на Broadcom споделя подобни цели със Spectrum - XGS, като се стреми да оптимизира ефективността на Ethernet, за да затвори пропастта с Infiniband. Освен това, доставчици като Arista, Cisco и Marvell ускоряват AI - специализирани Ethernet превключватели, като конкуренцията се фокусира върху производителността - цена - съвместимост на екосистемата.
Основната стойност на Spectrum - XGS се крие при натискане на AI центрове за мащабиране на центрове за данни от "единични - ограничения на сайта" до "кръстосано - регионално сътрудничество." Тъй като властта и земята стават твърди граници за единични центрове за данни, кръстосани - град и кръст - Супер фабриките на страната ще се превърнат в основната форма, поддържаща следващото - поколение AI приложения (напр. Общ изкуствен интелект, големи - мащабни агенти).
Тъй като старши вицепрезидент на отдел „Гилад Шайнър“ на NVIDIA, визуализиран на конференцията на Hot Chips: "Cross - Data - Централни влакна за оптични физически мрежи отдавна съществуват, но софтуерните алгоритми като спектър - XG са ключовите за отключване на истинската ефективност на тези инфраструктури.
