深圳市九天睿芯科技申请基于存算一体的大语言模型推理装置专利，推动AI技术革新

金融界 2025 年 1 月 24 日消息，国家知识产权局信息显示，深圳市九天睿芯科技有限公司申请一项名为“基于存算一体的大语言模型推理装置、推理系统及电子设备”的专利，公开号 CN A，申请日期为 2024 年 12 月。

专利摘要显示，本发明公开一种基于存算一体的大语言模型推理装置、推理系统及电子设备，推理装置包括：至少用于存储的存储层；至少用于计算的计算层，计算层通过混合键合的方式与存储层堆叠设置；计算层包括基于存算一体的神经网络加速器，神经网络加速器包括存内计算矩阵，存内计算矩阵用于将输入特征数据和来自存储层的权重进行神经网络计算；计算层还用于与控制推理装置的主控芯片电连接计算层还用于进行大语言模型推理的预填充处理且将预填充处理后的数据传输至主控芯片进行大语言模型推理的解码处理，以使得预填充处理和解码处理分离。本发明提供的推理装置支持高带宽，其算力大，功耗低，还能解决现存的 LLM 推理装置的散热问题。

天眼查资料显示，深圳市九天睿芯科技有限公司，成立于2018年，位于深圳市，是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本199.万人民币。通过天眼查大数据分析，深圳市九天睿芯科技有限公司共对外投资了3家企业，参与招投标项目5次，知识产权方面有商标信息6条，专利信息63条，此外企业还拥有行政许可8个。

本文源自：金融界