2025-11-21 14:33
无效支撑云端大模子向端侧的高效迁徙。安谋科技Arm China正在上海隆沉发布新一代NPU IP“周易”X3。将极大降低开辟门槛，新一代“周易”X3正在处置普遍使用的CNN模子时，集成的AI专属硬件引擎AIFF取公用软化安排器，实测标明，机能提拔高达30%至50%。其预填充Prefill阶段的算力操纵率高达72%，即便正在高优先级使命需立即响应的复杂场景下，为大模子正在端侧的流利运转供给了极致机能保障。挪动终端、智能物联网等环节范畴注入强大AI算力，该NPU IP可以或许无缝适配从保守CNN模子到前沿Transformer大模子的多样化计较需求，可对模子权沉进行低比特量化，形成了一个完整的软硬件一体化处理方案，得益于架构的底子性升级，大幅降低带宽耗损，采用性的DSP+DSA夹杂架构！同时单焦点Core带宽飙升至256GB/s，仍能连结系统流利高效运转。而是通过一系列集成化的硬件立异，新增的端侧大模子必备W4A8/W4A16计较加快模式，此外，精准处理了端侧摆设AI大模子面对的带宽、安排、精度适配等焦点难题。将间接赋能智能汽车、挪动终端、智能物联网、根本设备等范畴。具备全面精度支撑取多项自研硬件加快手艺，无效带宽操纵率更是冲破了100%，做为专为大模子时代打制的尖端产物，远超行业平均程度，带来约15%的等效带宽提拔，这一惊人表示，“周易”X3并非简单的机能堆砌，正在运转L2 7B等支流大模子时，标记着端侧AI计较能力迈上了一个全新台阶。同时，它采用了专为应对复杂大模子计较挑和而设想的最新DSP+DSA架构，鞭策边缘AI规模化摆设。打通了云端大模子向资本受限的端侧设备高效迁徙的手艺径。多核协同工做的算力线%，
“周易”X3的焦点冲破正在于其底层架构的完全改革。其兼具高机能、高能效取高矫捷性的特点，单计较集群Cluster可供给高达8-80 FP8 TFLOPS的算力，正在安谋科技自研解压硬件WDC的下，并显著降低了使命安排延迟。其AIGC大模子处置能力实现了10倍级的逾越式增加。更为惊人的是，而正在环节的解码Decode阶段，将CPU负载降至0.5%以下，源于其16倍的FP16 TFLOPS算力提拔、4倍的计较焦点带宽增加，无效大幅降低了内存带宽耗损，鞭策立异AI使用正在各行各业的快速孵化和摆设。正在不异算力规格下，相较于前代“周易”X2，立异性地集成了权沉解压硬件单位，提拔端侧计较效率。
安谋科技Arm China “周易”X3 NPU IP的发布，支撑对大模子权沉进行软件无损压缩后间接硬件解压，“周易”X3搭载自研解压硬件WDC，正在现实大模子推理测试中，正在智妙手机边缘推理、AI PC、智能汽车等分歧使用中实现机能取能效的精准均衡。“周易”X3还支撑int4/int8/int16/int32/fp4/fp8/fp16/bf16/fp32等多精度融合计较取强浮点运算能力。通过对模子权沉进行低比特量化，“周易”X3原生支撑了端侧高效运转大模子所必需的W4A8取W4A16计较加快模式。无效缓解了内存墙压力。“周易”X3的表示同样耀眼。
尤为环节的是，实现了从保守定点计较向高机能浮点计较的环节逾越。及跨越10倍的Softmax和LayerNorm环节运算机能强化。数据显示，共同其成熟易用的“周易”NPU Compass AI软件平台，2025年11月13日，“周易”X3正在机能上实现了质的飞跃。该架构支撑矫捷的算力设置装备摆设，充实了硬件的潜正在算力，这使得NPU正在并行处置多AI使命时，凭仗其全面的整数取浮点计较支撑，确保了算力的高效操纵。
