Точнее говоря, быстрее работает не столько чип WSE (Wafer Scale Engine), сколько собранная на его основе система CS-1 - результат совместных усилий Cerebras Systems и Национальная лаборатория энергетических технологий Федерального министерства энергетики США.
Ускорение в 10 тысяч раз звучит круто, но что это означает на практике? Означает то, что если ранее для обучения мощной системы AI на базе нейросети могло требоваться несколько месяцев, то сейчас этот процесс можно провести за несколько минут.
Обычно на одной пластине размещают сотни, а иногда тысячи чипов. Которые затем нарезают и корпусируют. Чип WSE это пластина - чип площадью 46225 кв.мм, где есть 400 тысяч компьютерных ядер, способных взаимодействовать друг с другом. В системе CS-1 задействован мегачип с 1.2 трлн транзисторов. Для сравнения - первый процессор Intel 4004 в 1971 году располагал 2300 транзисторами, а свеженький чип NVidia A100 80 ГБ площадью 826 кв.мм, анонсированный на этой неделе, получил 54,2 млрд транзисторов. То есть речь идет о скачке сразу на порядок. В итоге, по заявлению Эндрю Фельдмана из SeaMicro, CS-1 в 200 раз быстрее, чем суперкомпьютер Joule, 82-й в списке 500 лучших суперкомпьютеров в мире.
Можно ли было нарезать пластину с ядрами на фрагменты и затем соединить их на плате? В принципе можно, но оставаясь на единой пластине процессор и память физически ближе друг к другу, что положительно влияет на пропускную способность системы.
В итоге результаты экспериментов показали, что CS-1 на сегодня может обеспечить производительность, недостижимую другими вычислительными устройствами, практически с любым количеством ЦП и GPU. По словам Фельдмана, это так, независимо от того, насколько большим является суперкомпьютер.
На этой неделе Cerebras планировали представить на онлайн мероприятии, посвященном суперкомпьютерам - SC20. Забавно, что CS-1 обходит суперкомпьютер Joule в скорости решения задач вычислительной гидродинамики, например, в моделировании движения жидкости в карбюраторе автомобиля. При этом строительство Joule потребовало несколько десятков миллионов долларов, а 84 тысячи процессорных ядер, распределенных в несколько десятков стоек потребляют 450 кВт электроэнергии в час. У Cerebras потребление 20 кВтч, а стоит он всего несколько миллионов долларов.
Image credit: LLNL
Стойка Cerebras CS-1 высотой 26", занимает треть обычной стойки и работает с одним процессором Cerebras WSE. Уникальные качества ему придает сочетание высокопроизводительной памяти и высокой пропускной способности, а также малой задержки межпроцессорного взаимодействия и оптимизированная под соответствующие вычисления архитектура. По-сравнению с лучшим GPU, у CS-1 в 54 раз больше ядер, в 450 раз больше встроенной памяти, в 5788 раз больше пропускной способности памяти и в 20833 раз больше пропускной способности фабрики!
Как отмечает Эндрю Фельдман, CS-1 может совершать вычисления быстрее, чем идут процессы в реальном времени. То есть, например, можно запустить моделирование процессов в ядре атомной электростанции, когда реакция начинается, и завершить моделирование до того, как она завершится.
Подробнее: venturebeat.com
--
telegram - @RUSmicro ; facebook, Instagram - подключайтесь, чтобы получать анонсы о новых публикациях
