Да, я изучаю архитектуру, основанную как на ICMS, так и на Enfabrica. Это своего рода сделка Mellanox. Но NVLink будет сильно перегружен вокруг GPU, CPU и DPU. Nvidia нужно упростить передачу данных для kv и weight.

Я думаю, что HBF сильно переоценен. В некоторых кругах, если будет проведено значительное обновление программного обеспечения, он может быть использован, но утверждать, что он может заменить HBM или что рынок будет большим, — это просто фантазии. Если, как здесь написано, он будет использоваться только для чтения, то это будет не kv, а смещение и веса той же модели, но в этом случае это будет крайне неудобно. [Новости] По словам экспертов, HBF может быть внедрен в GPU NVIDIA к 2027-28 годам, и рынок может превысить HBM к 2038 году. С увеличением нагрузки на AI, распространение высокоскоростной флеш-памяти (HBF) ускоряется, и эксперты предсказывают более раннюю коммерциализацию, чем ожидалось. По данным Sisa Journal, профессор Ким Чонхо из KAIST, широко известный как «отец HBM», намекнул, что Samsung Electronics и SanDisk планируют интегрировать HBF в продукты NVIDIA, AMD и Google к концу 2027 года или началу 2028 года. Как указано в отчете, профессор Ким добавляет, что разработка HBM занимает более 10 лет, в то время как компании уже начали разрабатывать HBF, используя накопленные знания и опыт в области процессов и дизайна HBM, поэтому HBF может быть коммерциализирован гораздо быстрее. Кроме того, Ким прогнозирует, что к моменту внедрения HBM6 использование HBF расширится, и к 2038 году рынок HBF может превысить HBM. По словам Кима, HBM6 не будет представлять собой один стек памяти, а несколько стеков будут взаимосвязаны, как многоквартирный дом. Поскольку HBM на основе DRAM сталкивается с ограничениями по объему, Ким считает, что HBF в виде NAND-стека появится, чтобы заполнить этот пробел. Роль HBF в AI-инференсе и системной архитектуре Что касается роли HBF в AI-нагрузках, Ким объясняет, что GPU сначала получает переменные данные из HBM во время инференса, обрабатывает их и генерирует вывод. Он считает, что в будущем HBF возьмет на себя эту роль и предоставит значительно больший объем для поддержки задач. HBM быстр, но HBF предлагает примерно в 10 раз больше объема. Как указано в отчете, Ким подчеркивает, что HBF поддерживает неограниченное количество циклов чтения, в то время как количество циклов записи ограничено примерно 100000, поэтому программное обеспечение таких компаний, как OpenAI и Google, должно быть оптимизировано для операций, сосредоточенных на чтении. Ким также добавляет, что текущий процесс подачи данных в GPU включает в себя длинный путь передачи через сетевые хранилища, процессоры данных и GPU-пайплайн. В будущем он представляет более упрощенную архитектуру, которая сможет обрабатывать данные напрямую за HBM. Эта структура, ожидаемая в HBM7, также называется «фабрикой памяти». Samsung и SK Hynix продвигают разработку HBF Как подчеркивается в отчете, SK Hynix планирует продемонстрировать пробную версию HBF в конце этого месяца. Кроме того, Samsung Electronics и SK Hynix подписали меморандум о взаимопонимании (MOU) для продвижения стандартизации HBF с SanDisk и в настоящее время продвигают свои усилия через совместный консорциум. Обе компании активно разрабатывают продукты HBF и нацелены на выход на рынок в 2027 году. По данным отраслевых источников, упомянутых в отчете, HBF может достичь пропускной способности более 1638 ГБ/с, что является значительным скачком по сравнению с обычными SSD, которые обычно обеспечивают около 7000 МБ/с через NVMe PCIe 4.0. Что касается объема, ожидается, что HBF достигнет максимума в 512 ГБ, что значительно превышает 64 ГБ HBM4.

Медная фольга, сверлильные битки Обновление на Google TPU M9 серый Panasonic круто TPU от Google лидирует в технологии CCL (Chip Cl), и производители сверлильных бит приветствуют обновление. Поскольку платформа ASIC продолжает эволюционировать в сторону более высоких требований к вычислительной плотности и пропускной способности, TPU, разработанный Google, вступает в новую стадию обновления спецификаций. По данным источников в цепочке поставок, Google планирует с 2026 года полностью повысить количество слоев PCB и класс материалов CCL для следующего поколения TPU, что предоставит возможности для обновления спецификаций производителям CCL в Японии и Тайване. С увеличением количества слоев печатной платы и сложности материалов также изменится структура спроса на сверлильные битки в производственном процессе. Поставка CCL для проекта TPU от Google в настоящее время в основном поддерживается японским Panasonic и тайваньской компанией Taikoo Technology. Оглядываясь на поколение TPU V6e (серия Ghost), Panasonic столкнулся с нехваткой низкодиэлектрических стекловолокон, и Taikoo Technology вошла в цепочку поставок, заняв определенную долю. По оценкам цепочки поставок, в новом проекте TPU Panasonic будет обеспечивать около 70%, а Taikoo Technology — около 30% поставок, что указывает на возвращение к более стабильной структуре поставок. Согласно текущему дизайну, GhostLite и GhostFish из серии Ghost сохраняют консервативную конфигурацию с примерно 22-24 слоями PCB и классом CCL M7. Однако после 2026 года платформа TPU перейдет на ZebraFish и SunFish, что значительно улучшит общие спецификации. По данным источников в цепочке поставок, новая платформа будет использовать CCL класса M8/M9, количество слоев PCB увеличится до 36 и 44 соответственно, и будет использоваться более высококлассное волокно Low Dk и медная фольга HVLP4, чтобы соответствовать более высоким требованиям к пропускной способности и потреблению энергии. С увеличением количества слоев PCB и класса материалов давление на производственный процесс также быстро растет. По словам участников отрасли, спрос на сверлильные битки для высококачественных AI-плат значительно превышает темпы роста производства PCB. Ранее один сверлильный бит использовался около 3000 раз, но с внедрением высококачественных AI-плат его срок службы резко сократился до менее 800 раз. В будущем, если будут внедрены материнские платы уровня M9 и интерпозеры, количество использований одного сверлильного бита может еще больше сократиться. Аналитики отрасли считают, что переход Google к дизайну TPU после 2026 года означает, что ASIC вступает в новую стадию "высокое количество слоев, высокие спецификации материалов, высокая добавленная стоимость". Это отразится не только на средней цене продажи (ASP) высококачественных продуктов CCL и PCB, но и затронет основные upstream цепочки поставок, такие как низкодиэлектрическое стекловолокно, высококачественная медная фольга HVLP и сверлильные битки. Цепочка поставок заранее корректирует конфигурацию, чтобы соответствовать внедрению новой платформы.