Microsoft інтегрує модель DeepSeek R1 в Azure AI та Copilot+ PC

Як забезпечити розвиток і стійкість компаній: досвід TERWIN, NOVUS, Arcelor Mittal, СК ІНГО та 40 інших провідних топменеджерів та державних діячів.

11 квітня на Business Wisdom Summit дізнайтесь, як бізнесу адаптуватися до нових регуляторних вимог, реагувати на зміни та залучати інвестиції у нинішніх умовах. Реальні кейси від лідерів українського бізнесу.

Забронювати участь

Про це повідомили у пресслужбі Microsoft.

Спершу підтримка буде реалізована для пристроїв на базі Qualcomm Snapdragon X, а згодом і для Intel Core Ultra 200V.

Локальний ШІ на Copilot+ PC

Перша оптимізована версія моделі — DeepSeek-R1-Distill-Qwen-1.5B — з відкритим кодом вже доступна в AI Toolkit, а більш потужні варіанти на 7B та 14B з’являться найближчим часом. Ці моделі дозволять розробникам створювати та запускати програми штучного інтелекту безпосередньо на пристрої, використовуючи потужність NPU.

У Microsoft розповідають, що модуль нейронної обробки на Copilot+ PC забезпечує швидке виконання моделей ШІ, підтримуючи напівбезперервну роботу служб. Це дозволяє розробникам створювати проактивні рішення на базі генеративного ШІ, що адаптуються в режимі реального часу.

Завдяки розробці Phi Silica Microsoft змогла значно покращити продуктивність ШІ-моделей, зокрема час до першого токена та швидкість обробки. Оптимізовані версії DeepSeek для NPU використовують унікальні підходи, зокрема:

• розділення обчислювальних операцій між процесором та нейронним блоком для оптимальної продуктивності;
• 4-бітне квантування QuaRot, яке дозволяє моделі працювати швидше, зменшуючи споживання пам’яті;
• використання ONNX QDQ для сумісності з різними типами NPU в екосистемі Windows.

Такий підхід забезпечує швидкість до 16 токенів за секунду та мінімальний час відповіді — 130 мс.

Як випробувати DeepSeek R1

Для тестування моделі Microsoft пропонує завантажити розширення AI Toolkit для VS Code. Модель, оптимізована у форматі ONNX QDQ, незабаром з’явиться в каталозі AI Toolkit, звідки її можна буде завантажити локально.

Також користувачі можуть протестувати хмарну версію DeepSeek R1 безпосередньо в Azure AI Foundry.

Завдяки цим нововведенням Microsoft робить ШІ ще доступнішим для розробників, розширюючи можливості локальних обчислень і забезпечуючи гнучкість у роботі з моделями на ПК Copilot+.

Додамо, Microsoft і OpenAI почали проводити розслідування щодо того, чи неправомірно група, пов'язана з китайським стартапом DeepSeek, отримала дані з технології OpenAI.

Нагадаємо, китайський ШІ-стартап DeepSeek AI Assistant несподівано став лідером серед безкоштовних додатків у Apple App Store у Сполучених Штатах. Ця подія викликала резонанс у технологічному світі.