- Категорія
- Новини
- Дата публікації
- Змінити мову
- Читать на русском
Microsoft інтегрує модель DeepSeek R1 в Azure AI та Copilot+ PC
Microsoft розширює можливості штучного інтелекту (ШІ) завдяки інтеграції моделі DeepSeek R1 у свою екосистему. Тепер ця модель доступна через Azure AI Foundry, а також отримує оптимізовані для модулів нейронної обробки (NPU) версії, що працюватимуть безпосередньо на ПК Copilot+.
Про це повідомили у пресслужбі Microsoft.
Спершу підтримка буде реалізована для пристроїв на базі Qualcomm Snapdragon X, а згодом і для Intel Core Ultra 200V.
Локальний ШІ на Copilot+ PC
Перша оптимізована версія моделі — DeepSeek-R1-Distill-Qwen-1.5B — з відкритим кодом вже доступна в AI Toolkit, а більш потужні варіанти на 7B та 14B з’являться найближчим часом. Ці моделі дозволять розробникам створювати та запускати програми штучного інтелекту безпосередньо на пристрої, використовуючи потужність NPU.
У Microsoft розповідають, що модуль нейронної обробки на Copilot+ PC забезпечує швидке виконання моделей ШІ, підтримуючи напівбезперервну роботу служб. Це дозволяє розробникам створювати проактивні рішення на базі генеративного ШІ, що адаптуються в режимі реального часу.
Завдяки розробці Phi Silica Microsoft змогла значно покращити продуктивність ШІ-моделей, зокрема час до першого токена та швидкість обробки. Оптимізовані версії DeepSeek для NPU використовують унікальні підходи, зокрема:
- розділення обчислювальних операцій між процесором та нейронним блоком для оптимальної продуктивності;
- 4-бітне квантування QuaRot, яке дозволяє моделі працювати швидше, зменшуючи споживання пам’яті;
- використання ONNX QDQ для сумісності з різними типами NPU в екосистемі Windows.
Такий підхід забезпечує швидкість до 16 токенів за секунду та мінімальний час відповіді — 130 мс.
Як випробувати DeepSeek R1
Для тестування моделі Microsoft пропонує завантажити розширення AI Toolkit для VS Code. Модель, оптимізована у форматі ONNX QDQ, незабаром з’явиться в каталозі AI Toolkit, звідки її можна буде завантажити локально.
Також користувачі можуть протестувати хмарну версію DeepSeek R1 безпосередньо в Azure AI Foundry.
Завдяки цим нововведенням Microsoft робить ШІ ще доступнішим для розробників, розширюючи можливості локальних обчислень і забезпечуючи гнучкість у роботі з моделями на ПК Copilot+.
Додамо, Microsoft і OpenAI почали проводити розслідування щодо того, чи неправомірно група, пов'язана з китайським стартапом DeepSeek, отримала дані з технології OpenAI.
Нагадаємо, китайський ШІ-стартап DeepSeek AI Assistant несподівано став лідером серед безкоштовних додатків у Apple App Store у Сполучених Штатах. Ця подія викликала резонанс у технологічному світі.