Nvidia теряет позиции: китайский ИИ обучается быстрее и дешевле
NewsMakerByteDance и DeepSeek находят способы обходить дорогие вычисления на GPU.
ByteDance, владелец TikTok, заявила о достижении 1,71-кратного повышения эффективности обучения больших языковых моделей (LLM), что может снизить зависимость китайских технологических компаний от мощных графических процессоров Nvidia.
Разработчики из Doubao объяснили этот прорыв внедрением системы COMET — оптимизированного механизма Mixture-of-Experts (MoE), который позволяет эффективнее распределять вычислительные ресурсы. В статье на платформе arXiv они отметили, что технология уже применяется в рабочих кластерах ByteDance с более чем 10 000 GPU, обеспечивая значительную экономию вычислительных мощностей.
MoE широко используется для масштабирования LLM до триллионов параметров при фиксированных затратах на вычисления. Однако ранее этот метод сталкивался с проблемой «наложения коммуникации и вычислений», что снижало эффективность. Новый подход ByteDance устраняет узкие места в передаче данных, позволяя повысить скорость обучения.
Это достижение может ослабить влияние Nvidia на китайский рынок, где её высокопроизводительные чипы подпадают под жёсткие экспортные ограничения США. Аналогичные разработки ранее уже привели к колебаниям рыночной стоимости Nvidia: в феврале после успеха китайской DeepSeek компания потеряла $600 млрд капитализации за один день, хотя затем восстановилась.
ByteDance планирует открыть код новой системы, чтобы стимулировать дальнейшие улучшения в области машинного обучения. Тем временем и другие китайские технологические гиганты ускоряют развитие ИИ. Недавно группа американских учёных, включая Ли Фэйфэй, представила новую модель логического вывода, обученную всего за 26 минут на 16 GPU Nvidia H100 с использованием алгоритмов Alibaba.
ByteDance, владелец TikTok, заявила о достижении 1,71-кратного повышения эффективности обучения больших языковых моделей (LLM), что может снизить зависимость китайских технологических компаний от мощных графических процессоров Nvidia.
Разработчики из Doubao объяснили этот прорыв внедрением системы COMET — оптимизированного механизма Mixture-of-Experts (MoE), который позволяет эффективнее распределять вычислительные ресурсы. В статье на платформе arXiv они отметили, что технология уже применяется в рабочих кластерах ByteDance с более чем 10 000 GPU, обеспечивая значительную экономию вычислительных мощностей.
MoE широко используется для масштабирования LLM до триллионов параметров при фиксированных затратах на вычисления. Однако ранее этот метод сталкивался с проблемой «наложения коммуникации и вычислений», что снижало эффективность. Новый подход ByteDance устраняет узкие места в передаче данных, позволяя повысить скорость обучения.
Это достижение может ослабить влияние Nvidia на китайский рынок, где её высокопроизводительные чипы подпадают под жёсткие экспортные ограничения США. Аналогичные разработки ранее уже привели к колебаниям рыночной стоимости Nvidia: в феврале после успеха китайской DeepSeek компания потеряла $600 млрд капитализации за один день, хотя затем восстановилась.
ByteDance планирует открыть код новой системы, чтобы стимулировать дальнейшие улучшения в области машинного обучения. Тем временем и другие китайские технологические гиганты ускоряют развитие ИИ. Недавно группа американских учёных, включая Ли Фэйфэй, представила новую модель логического вывода, обученную всего за 26 минут на 16 GPU Nvidia H100 с использованием алгоритмов Alibaba.