Американский стартап Cerebras Systems выпустил самый крупный чип, объединяющий более 1,2 триллиона транзисторов и занимающий площадь 46 225 квадратных миллиметров. Новый чип Cerebras Wafer Scale Engine (WSE) оптимизирован для искусственного интеллекта и в 56,7 раз больше, чем самый большой графический процессор, который имеет площадь 815 квадратных миллиметров и содержит 21,1 миллиарда транзисторов. Новый механизм масштабирования пластин Cerebras Wafer Scale Engine (WSE) обеспечивает в 3000 раз более высокую скорость встроенной памяти и имеет в 10 000 раз большую пропускную способность памяти. Более крупный размер чипа обеспечивает более быструю обработку информации и даже может сократить время на понимание или «время обучения», что позволяет исследователям проверять больше идей, использовать больше данных и решать новые проблемы.
Cerebras WSE разработан для искусственного интеллекта и содержит фундаментальные инновации, которые продвигают современный уровень техники, решая технические проблемы десятилетней давности, связанные с ограниченным размером чипа, такие как возможность подключения перекрестных нитей, выход, подача питания и упаковка. WSE может ускорить вычисления и обмен данными, что сокращает время обучения. WSE имеет площадь кремния в 56,7 раз больше, чем самый большой графический процессор. Кроме того, WSE может предоставить больше ядер для выполнения большего количества вычислений и иметь больше памяти ближе к ядрам, чтобы ядра могли работать эффективно. Все коммуникации хранятся на самом кремнии, поскольку его огромное количество ядер и памяти встроены в один чип.
Чип Cerebras WSE содержит 46 225 мм2 кремния и вмещает 400 000 вычислительных ядер, оптимизированных для искусственного интеллекта, без кэша, без накладных расходов и 18 гигабайт локальной распределенной сверхбыстрой памяти SRAM. Чип поставляется с пропускной способностью памяти 9 петабайт в секунду, при этом ядра связаны между собой мелкозернистой, полностью аппаратной, встроенной в микросхему сетью связи, которая обеспечивает совокупную пропускную способность 100 петабит в секунду. Это означает, что полоса пропускания связи с низкой задержкой WSE чрезвычайно велика, что заставляет группы ядер взаимодействовать с максимальной эффективностью, а пропускная способность памяти больше не является узким местом. Больше локальной памяти, больше ядер и фабрика с низкой задержкой и высокой пропускной способностью в совокупности образуют оптимальную архитектуру для ускорения работы ИИ.
Особенности чипа Cerebras WSE:
- Увеличение числа ядер: WSE объединяет 400000 вычислительных ядер, оптимизированных для ИИ, называемых SLAC (Ядра разреженной линейной алгебры), которые являются программируемыми, гибкими и оптимизированными для разреженной линейной алгебры, лежащей в основе всех вычислений нейронных сетей. Функция программируемости SLAC гарантирует, что ядра могут легко запускать все алгоритмы нейронной сети в постоянно меняющейся области машинного обучения. Ядра WSE включают изобретенную Cerebras технологию сбора разреженных данных, которая ускоряет вычислительную производительность при разреженных рабочих нагрузках (рабочих нагрузках, содержащих нули), таких как глубокое обучение.
- Расширенная память: Cerebras WSE объединяет больше локальной памяти вместе с большим количеством ядер, что больше, чем у любого другого чипа, который обеспечивает гибкие и быстрые вычисления с меньшей задержкой и меньшим энергопотреблением. WSE поставляется с 18 ГБ (гигабайтами) встроенной памяти, доступной его ядру за один такт. Этот набор локальной памяти ядра заставляет WSE обеспечивать в совокупности 9 петабайт в секунду пропускной способности памяти, что в 10 000 раз больше пропускной способности памяти и в 3 000 раз больше.