Да, я изучаю архитектуру, основанную как на ICMS, так и на Enfabrica. Это своего рода сделка Mellanox. Но NVLink будет сильно перегружен вокруг GPU, CPU и DPU. Nvidia нужно упростить передачу данных для kv и weight.

Я думаю, что HBF сильно переоценен. В некоторых кругах, если будет проведено значительное обновление программного обеспечения, он может быть использован, но утверждать, что он может заменить HBM или что рынок будет большим, — это просто фантазии. Если, как здесь написано, он будет использоваться только для чтения, то это будет не kv, а смещение и веса той же модели, но в этом случае это будет крайне неудобно. [Новости] По словам экспертов, HBF может быть внедрен в GPU NVIDIA к 2027-28 годам, и рынок может превысить HBM к 2038 году. С увеличением нагрузки на AI, распространение высокоскоростной флеш-памяти (HBF) ускоряется, и эксперты предсказывают более раннюю коммерциализацию, чем ожидалось. По данным Sisa Journal, профессор Ким Чонхо из KAIST, широко известный как «отец HBM», намекнул, что Samsung Electronics и SanDisk планируют интегрировать HBF в продукты NVIDIA, AMD и Google к концу 2027 года или началу 2028 года. Как указано в отчете, профессор Ким добавляет, что разработка HBM занимает более 10 лет, в то время как компании уже начали разрабатывать HBF, используя накопленные знания и опыт в области процессов и дизайна HBM, поэтому HBF может быть коммерциализирован гораздо быстрее. Кроме того, Ким прогнозирует, что к моменту внедрения HBM6 использование HBF расширится, и к 2038 году рынок HBF может превысить HBM. По словам Кима, HBM6 не будет представлять собой один стек памяти, а несколько стеков будут взаимосвязаны, как многоквартирный дом. Поскольку HBM на основе DRAM сталкивается с ограничениями по объему, Ким считает, что HBF в виде NAND-стека появится, чтобы заполнить этот пробел. Роль HBF в AI-инференсе и системной архитектуре Что касается роли HBF в AI-нагрузках, Ким объясняет, что GPU сначала получает переменные данные из HBM во время инференса, обрабатывает их и генерирует вывод. Он считает, что в будущем HBF возьмет на себя эту роль и предоставит значительно больший объем для поддержки задач. HBM быстр, но HBF предлагает примерно в 10 раз больше объема. Как указано в отчете, Ким подчеркивает, что HBF поддерживает неограниченное количество циклов чтения, в то время как количество циклов записи ограничено примерно 100000, поэтому программное обеспечение таких компаний, как OpenAI и Google, должно быть оптимизировано для операций, сосредоточенных на чтении. Ким также добавляет, что текущий процесс подачи данных в GPU включает в себя длинный путь передачи через сетевые хранилища, процессоры данных и GPU-пайплайн. В будущем он представляет более упрощенную архитектуру, которая сможет обрабатывать данные напрямую за HBM. Эта структура, ожидаемая в HBM7, также называется «фабрикой памяти». Samsung и SK Hynix продвигают разработку HBF Как подчеркивается в отчете, SK Hynix планирует продемонстрировать пробную версию HBF в конце этого месяца. Кроме того, Samsung Electronics и SK Hynix подписали меморандум о взаимопонимании (MOU) для продвижения стандартизации HBF с SanDisk и в настоящее время продвигают свои усилия через совместный консорциум. Обе компании активно разрабатывают продукты HBF и нацелены на выход на рынок в 2027 году. По данным отраслевых источников, упомянутых в отчете, HBF может достичь пропускной способности более 1638 ГБ/с, что является значительным скачком по сравнению с обычными SSD, которые обычно обеспечивают около 7000 МБ/с через NVMe PCIe 4.0. Что касается объема, ожидается, что HBF достигнет максимума в 512 ГБ, что значительно превышает 64 ГБ HBM4.

Новости: Наше последнее лицензионное соглашение приветствует новый биспецифический антитело RemeGen в нашем онкологическом портфеле. Это помогает укрепить наш портфель и может открыть возможности для комбинированных режимов с нашими АДК. Узнайте больше.