AI стартъпът на Илон Мъск, xAI, наскоро обяви, че “Colossus,” най-мощният в света AI (изкуствен интелект) суперкомпютър за обучение, вече е онлайн. Базиран в Мемфис, Тенеси, този нов AI суперкомпютър е построен само за четири месеца (122 дни).
Новият xAI тренировъчен клъстер е конструиран с помощта на 100 000 NVIDIA бенчмарк Hopper H100 GPU, компонент с голямо търсене за обучение на нови модели на AI. Този модел е проектиран да обучава следващото поколение голям езиков модел (LLM) на xAI, Grok.
Компанията също така планира да удвои броя на GPU до 200 000 след няколко месеца, като добави още 50 000 чипа от новата, по-усъвършенствана серия H200 на NVIDIA, която предлага по-висока изчислителна памет.
Освен това, новите референтни графични процесори Hopper H200 на NVIDIA имат до 141GB по-бърза HBM3E памет, за разлика от H100, който има до 80GB HBM3 памет.
Този уикенд, @xAI екип пренесе нашия тренировъчен клъстер Colossus 100k H100 онлайн. От началото до края беше направено за 122 дни.
Colossus е най-мощната AI система за обучение в света. Освен това ще удвои размера си до 200k (50k H200s) след няколко месеца.
Отлично…
– Илон Мъск (@elonmusk) 2 септември 2024 г
„Този уикенд екипът на xAI пусна нашия тренировъчен клъстер Colossus 100K H100 онлайн. От началото до края беше направено за 122 дни. Colossus е най-мощната AI система за обучение в света. Освен това ще удвои размера си до 200K (50K H200s) след няколко месеца. Отлична работа от екипа, NVIDIA и нашите многобройни партньори/доставчици“, написа Мъск в Туитър на X (бивш Twitter).
„Вълнуващо е да видим Colossus, най-големият GPU #supercomputer в света, да се появи онлайн за рекордно време. Colossus се захранва от #acceleratedcomputing платформата на @nvidia, осигуряваща революционна производителност с изключителни печалби в #energyefficiency. Поздравления за целия екип!“ X манипулаторът на NVIDIA Data Center пише на своята платформа.
Графичният процесор на NVIDIA струва около 30 000 долара, което предполага, че Мъск е похарчил поне 3 милиарда долара за изграждането на новия суперкомпютър, съоръжение, което също ще изисква значителни ресурси за електричество и охлаждане.
Понастоящем Grok 2 на Мъск, второто поколение AI модел на xAI, обучен с помощта на 15 000 H100 GPU, е ексклузивно достъпен за абонати на X premium и X premium plus с възможности за генериране на изображения и текст. Той каза, че очаква да пусне трето поколение AI модел на xAI, Grok-3, до декември.
