Да, действительно, развитие графических процессоров для потребительского рынка становится все более значимым для запуска высокопроизводительных моделей языковых моделей (LLM) на локальных устройствах. С недавними анонсами от компаний, таких как NVIDIA и AMD, становится очевидным, что они активно конкурируют в этой области, стремясь предоставить пользователям максимальные возможности для работы с искусственным интеллектом.
Недавняя демонстрация возможностей графического процессора AMD RDNA 3 на модели DeepSeek R1 показала солидные результаты, однако, как упоминается, NVIDIA с их GeForce RTX 5090 продемонстрировала впечатляющие цифры, особенно в контексте производительности. Такие показатели, как 200 токенов в секунду для Distill Qwen 7b и Distill Llama 8b, подчеркивают, насколько эффективны новые графические процессоры NVIDIA в работе с языковыми моделями. Превосходство RTX 5090 над Radeon RX 7900 XTX и предыдущим поколением может сыграть ключевую роль в выборе потребителей, стремящихся к высокопроизводительным решениям для работы с ИИ.
Что касается технологии NVIDIA NIM, она открывает возможности для разработчиков и энтузиастов тестировать ИИ модели на собственном оборудовании. Это не только повышает уровень безопасности данных, так как обработка и хранение производится локально, но и позволяет получить более стабильные и высокие показатели производительности, исходя из имеющихся аппаратных ресурсов. Учитывая, что поддержка «RTX на ИИ» становится все шире, очевидно, что мы увидим гораздо больше приложений и решений, базирующихся на ИИ, доступных для пользователей и разработчиков.
Таким образом, будущее работы с графическими процессорами в сфере искусственного интеллекта выглядит весьма многообещающим. Мы наблюдаем, как технологии становятся более доступными и эффективными для конечных пользователей, что дает возможность всем желающим использовать потенциал искусственного интеллекта в своих проектах и разработках.
Для тех, кто хочет запустить DeepSeek R1 на графических процессорах NVIDIA RTX, компания опубликовала специальный блог с инструкциями для пользователей. Интересно, что это так же просто, как запустить любого чат-бота в интернете. Вот как можно получить к нему доступ:
Чтобы помочь разработчикам безопасно экспериментировать с этими возможностями и создавать собственные специализированные агенты, модель DeepSeek-R1 с 671 миллиардом параметров теперь доступна в виде предварительного просмотра микросервиса NVIDIA NIM на build.nvidia.com. Микросервис DeepSeek-R1 NIM может выдавать до 3872 токенов в секунду на одной системе NVIDIA HGX H200. Разработчики могут протестировать и поэкспериментировать с интерфейсом прикладного программирования (API), который, как ожидается, вскоре станет доступен в виде загружаемого микросервиса NIM, являющегося частью программной платформы NVIDIA AI Enterprise. Микросервис DeepSeek-R1 NIM упрощает развёртывание благодаря поддержке стандартных отраслевых API. Предприятия могут обеспечить максимальную безопасность и конфиденциальность данных, запустив микросервис NIM в предпочитаемой ими инфраструктуре ускоренных вычислений. — NVIDIA