随着摩尔定律的放缓与先进制程成本的不断攀升，生成式人工智慧(AI)等应用的效能需求在短时间内快速成长，资料中心的耗能随之攀升，小晶片(Chiplet)技术因此崛起。Arm基础设施事业部硬体生态系总监Imran Yusuf表示，AI模型的参数每3~4个月就会翻倍，大型语言模型(LLM)的训练与推论都需要强大的算力。同时，运算设备带来的耗能以及IC设计的成本都相继提升，因此IC设计需要提高系统效率，并且针对特定应用优化耗能与运算效能。
Arm基础设施事业部硬体生态系总监Imran Yusuf
Chiplet的优势包含降低IC设计成本、具备良好的扩充性与相容性，同时异质运算的效能表现亮眼。Imran Yusuf说明，Arm透过Arm Total Design(ATD)发展Chiplet生态系。目前ATD集结30家会员，涵盖晶圆制造、IC设计、EDA工具与第三方单位，共同开发Chiplet。30家会员中，有9家来自台湾。
日前在ATD中，Arm使用Neoverse V3运算子系统，结合三星(Samsung) 2nm制程、ADTechnology的Chiplet整合服务，并采用Rebellions的AI加速器，打造可扩充的AI运算平台。该平台期望在提高能源使用效率的同时，支援LLM的工作负载，用於AI模型的训练与推论。
ATD成员合作开发AI运算平台 (图片来源：Arm)