基于云边协同的分布式推理网络架构与赋能_科技资讯

基于云边协同的分布式推理网络架构与赋能

创始人

2025-07-02 07:41:21

0次

通信世界网消息（CWW）人工智能（AI）领域正经历深刻变革，核心驱动力之一是DeepSeek等大语言模型（LLM）的成熟与广泛应用。这些模型在展现强大能力的同时，也推动市场算力需求发生巨变。过去，AI算力的投入高度集中于模型预训练阶段，训练千亿或万亿参数规模的AI模型需要消耗海量样本数据与庞大计算资源；而DeepSeek通过“算法+工程”创新提升模型推理能力与效率，将推理成本压缩至OpenAI同类模型的1/40~1/30，API调用价格仅为行业标准的3%~5%，这使中小型企业和开发者能以更低成本获取强大AI能力，算力需求重心由“训练侧”快速向“推理侧”倾斜，预计到2027年推理负载占比将达到72.6%。

DeepSeek的开源模式大幅降低了AI应用门槛，用户推理需求激增。据统计，DeepSeek上线20天累计新增用户1.25亿户，日活用户数超2000万，今年1月28日的单日访问量高达4900万次。但高并发访问请求导致服务器资源迅速耗尽，用户访问DeepSeek网页时经常遇到“服务器繁忙，请稍后再试”的提示。2月6日DeepSeek官方宣布，由于服务器资源紧张，已暂停API服务充值功能。针对企业私有算力有限、难以满足海量用户并发推理需求的问题，运营商亟须利用自有网络资源、算力资源以及边缘计算能力，构建全新分布式推理架构，通过多节点云边协同，为用户提供无处不在的低时延推理服务。

……

点此阅读杂志全文

上一篇：原创一觉醒来，油价迎今年最大幅度上调！油车车主要加速换电车了？

下一篇：私有化部署聊天机器人实战：构建你的个性化AI助手

基于云边协同的分布式推理网络架构与赋能

相关内容

热门资讯