Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал основным игроком на рынке, даже способствуя значительному снижению цены акций Nvidia. Его успех проистекает из уникальной методологии архитектуры и обучения, включающей несколько инновационных технологий.

Предсказание с несколькими точками (MTP): в отличие от традиционного прогнозирования словесного слова, MTP прогнозирует несколько слов одновременно, анализируя различные компоненты предложения для повышения точности и эффективности.

Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей для обработки входных данных, ускорения обучения ИИ и повышения производительности. DeepSeek V3 использует 256 нейронных сетей, активируя восемь для каждой задачи обработки токенов.

Многопогодное скрытое внимание (MLA): этот механизм фокусируется на важных элементах предложения, неоднократно извлекая ключевые детали из фрагментов текста, чтобы минимизировать потерю информации и захватить тонкие нюансы.

Первоначально Deepseek потребовал удивительно низкую стоимость обучения всего в 6 миллионов долларов за свою мощную модель Deepseek V3, используя только 2048 графических процессоров. Тем не менее, полуанализ выявил гораздо более существенную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia Hopper (включая 10 000 H800, 10 000 H100 и дополнительные графические процессоры H20) в нескольких центрах обработки данных. Это приводит к инвестициям в сервер в размере примерно 1,6 миллиарда долларов, а эксплуатационные расходы оцениваются в 944 миллиона долларов.

DeepSeek, дочерняя компания китайского хедж-фонда High-Fund, владеет своими центрами обработки данных, в отличие от многих стартапов, полагающихся на облачные сервисы. Это право собственности дает полный контроль над оптимизацией модели и более быстрой реализацией инноваций. Самофинансируемый статус компании повышает гибкость и скорость принятия решений. Кроме того, DeepSeek привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в первую очередь набираясь из ведущих китайских университетов.

Несмотря на то, что первоначальная требование Deepseek в 6 миллионов долларов США кажется нереалистичным, что при употреблении только предварительного обучения использования графических процессоров и исключения исследований, уточнения, обработки данных и инфраструктуры, компания по-прежнему инвестировала более 500 миллионов долларов в разработку искусственного интеллекта. Его бережняя структура, однако, обеспечивает эффективную инновационную реализацию по сравнению с более крупными, более бюрократическими конкурентами.

Пример DeepSeek демонстрирует хорошо финансируемую независимую компанию по искусственному искусству, успешно конкурирующую с отраслевыми гигантами. Хотя утверждение «революционного бюджета» преувеличено, успех компании неоспорим, что питается значительными инвестициями, техническими прорывами и сильной командой. Контраст является резким при сравнении затрат на обучение: модель Deepseek R1 стоила 5 миллионов долларов, в то время как CHATGPT-4 стоит 100 миллионов долларов, подчеркивая относительную эффективность DeepSeek. Даже учитывая существенные инвестиции, стоимость DeepSeek остается значительно ниже, чем у его конкурентов.