Microsoft интегрирует модель DeepSeek R1 в Azure AI и Copilot+ PC

Як забезпечити розвиток і стійкість компаній: досвід TERWIN, NOVUS, Arcelor Mittal, СК ІНГО та 40 інших провідних топменеджерів та державних діячів.

11 квітня на Business Wisdom Summit дізнайтесь, як бізнесу адаптуватися до нових регуляторних вимог, реагувати на зміни та залучати інвестиції у нинішніх умовах. Реальні кейси від лідерів українського бізнесу.

Забронировать участие

Об этом сообщили в пресс-службе Microsoft.

Сначала поддержка будет реализована для устройств на базе Qualcomm Snapdragon X, а затем и для Intel Core Ultra 200V.

Локальный ИИ на Copilot+ PC

Первая оптимизированная версия модели – DeepSeek-R1-Distill-Qwen-1.5B – с открытым кодом уже доступна в AI Toolkit, а более мощные варианты на 7B и 14B появятся в ближайшее время. Эти модели позволят разработчикам создавать и запускать программы искусственного интеллекта непосредственно на устройстве, используя мощность NPU.

В Microsoft рассказывают, что модуль нейронной обработки на Copilot+ PC обеспечивает быстрое выполнение моделей ИИ, поддерживая полунепрерывную работу служб. Это позволяет разработчикам создавать проактивные решения на базе генеративного ИИ, адаптируемые в режиме реального времени.

Благодаря разработке Phi Silica Microsoft смогла значительно улучшить производительность ШИ-моделей, в частности, время до первого токена и скорость обработки. Оптимизированные версии DeepSeek для NPU используют уникальные подходы, в частности:

• разделение вычислительных операций между процессором и нейронным блоком для оптимальной производительности;
• 4-битное квантование QuaRot, позволяющее модели работать быстрее, уменьшая потребление памяти;
• использование ONNX QDQ для совместимости с разными типами NPU в экосистеме Windows.

Такой подход обеспечивает скорость до 16 токенов в секунду и минимальное время ответа – 130 мс.

Как испытать DeepSeek R1

Для тестирования модели Microsoft предлагает скачать расширение AI Toolkit для VS Code. Модель, оптимизированная в формате ONNX QDQ, в скором времени появится в каталоге AI Toolkit, откуда ее можно будет загрузить локально.

Также пользователи могут протестировать облачную версию DeepSeek R1 прямо в Azure AI Foundry.

Благодаря этим нововведениям Microsoft делает ИИ еще более доступным для разработчиков, расширяя возможности локальных вычислений и обеспечивая гибкость в работе с моделями на ПК Copilot+.

Добавим, Microsoft и OpenAI начали проводить расследование относительно того, неправомерно ли группа, связанная с китайским стартапом DeepSeek, получила данные по технологии OpenAI.

Напомним,   китайский ШИ-стартап DeepSeek AI Assistant неожиданно стал лидером   среди бесплатных приложений в Apple App Store в Соединенных Штатах. Это событие вызвало резонанс в технологическом мире.