2025年2月2日:ZStack智塔支持多种模型私有化部署助力企业AI应用落地

2025年2月2日,针对日益强劲的AI推理需求和企业级AI应用私有化部署场景( AI),云轴科技宣布AI Infra平台智塔全面支持企业私有化部署 V3/R1/ Janus Pro三种模型,并可基于海光、昇腾、英伟达、英特尔等多种国内外CPU/GPU适配,助力企业级AI应用进一步落地。

云轴科技智塔功能架构图

据悉,随着于2024年12月上线并开源 V3/ R1/Janus Pro,全球公有云平台如AWS、Azure、华为云陆续宣布支持 R1或R1/V3。智塔作为支持的企业级私有化AI Infra平台,将充分发挥开源模型和低成本高性能特点,进一步推进AI的企业级商用进程:

全面支持三种模型,满足企业不同AI场景需求

AI Infra平台智塔在模型层提供模型开发和应用所需的各种基础工具和组件,支持各种开源闭源AI模型的生命周期管理。智塔首发支持 V3/ R1/Janus Pro,V3适用于通用型自然语言处理任务,R1专注于复杂推理任务,而Janus Pro则擅长多模态理解与生成,可满足企业不同AI场景的需求。

支持国产/国外多种CPU/GPU,适配企业数据中心多样化算力资源

AI Infra平台智塔在算力层提供计算、存储、网络、安全等基础资源和服务,可支持在海光、昇腾、英伟达、英特尔等多种国内外CPU/GPU算力资源上进行私有化部署,适配企业数据中心多样化算力资源。

智塔具备智能异构调度引擎自动匹配硬件特性,支持CUDA、ROCm、CANN等体系架构,以及无GPU测试方案,CPU部署-R1-7B轻量化模型,在16核云主机实现9.26 /s可用级表现。

提供企业灵活性与定制化服务,构建新一代企业数智化平台

AI Infra平台智塔可以根据企业自身需求,在私有云或混合云环境中部署模型,从而确保数据的安全性和隐私保护;还提供裸金属、虚拟机和容器计算资源的弹性扩展,支持与多种硬件和软件的集成,使得企业能够轻松地将AI能力整合到现有系统中,这种灵活性和定制化服务满足了企业级用户对AI应用的多样化需求。

智塔在资源利用方面具备可多卡并发推理技术,通过多张GPU联合推理,提升小显存GPU可用性,减少闲置;显卡切分技术,通过对单张GPU进行算力、显存切分,提升大显存GPU的资源利用率;模型量化技术,模型平台可以对模型进行量化,配合低成本高性能特点大幅提升AI效率。

AI Infra平台是企业加速释放AI生产力的关键引擎平台,它聚焦企业级AI应用的私有化部署场景( AI),是支撑人工智能应用开发、部署、运行和管理的一系列基础工具和软件平台,具备算力管理层、模型管理层、应用管理层三大能力模型。赛迪顾问认为,2025年是中国AI Infra平台应用元年。

AI推理算力需求激增,催生了企业级智算资源管理新需求;AI应用加速向企业级场景渗透,模型工具链、运营管理组件助力降低AI应用门槛;数据隐私和安全性驱动AI应用的私有化部署,新一代企业数智化转型底座AI Infra平台呈现飞速发展趋势。2025年1月,赛迪顾问发布《2025中国AI Infra平台市场发展研究报告》中预计,AI Infra平台2024年、2025年将分别达到19.4亿元和36.1亿元,2025年同比增长将超过86%。