芯片架构设计是芯片流片前很重要的一个环节，俗称pre-silicon，芯片架构设计的好坏，决定了芯片产品的质量，决定了芯片产品是否易用，决定了芯片产品的性能，决定了芯片产品在市场上是否具有持久性。芯片生产是个大工程，芯片硬件和芯片软件具有非常不同的特性，芯片软件在release后可以持续完善和优化，但芯片硬件一经流片就无从更改（重新流片一次要几千万）。
打个形象的比喻，芯片架构设计就像大楼施工前的图纸设计，各种事情（户型，地基，车位，绿化，布线，监控，采暖，上下水，采暖，空调，通风，电梯，安全，材料选取，成本等）都要考虑好，一经施工，无从更改，要么成为精品小区，要么成为烂尾楼。
芯片架构设计概览
在架构设计前，需要进行市场需求调研，同时进行竞品调研，保障芯片在生产出来的时候，能满足市场需求，能有更大竞争力。
- 市场需求调研
目前大语言模型和多模态模型蓬勃发展，芯片设计前需要进行尽可能多的市场调研，涉及如下方面：
-大模型的模型规模和计算类型是什么趋势？算力和带宽需求是什么？
-大模型的输入sequence length是否更长？多模态模型和LLM模型的输入sequence length有什么区别？
-芯片是面向大模型的推理，还是训练？市场需要的性能目标是什么？
-是否需要互联？互联带宽多少？
-未来的大模型的技术变化趋势？什么样的attention优化技术是最优的？
-芯片的面向客户对各种low precision的接受度和需求度如何？
-芯片面向客户的编解码需求是什么样的？性能指标是什么？
-客户的部署习惯影响芯片的使用和设计，一定要摸清？客户业务的痛点是什么？
-存储需求是什么样的？
-芯片需要达到的性价比指标是什么？
-客户的软件生态是什么样的？
- 竞品调研
竞品调研主要考察当前市场上比较top的芯片厂商的软硬件设计情况，同时，预测各厂商的未来技术趋势，目前大模型背景下，市场上比较top的芯片厂商如下：
-英伟达
-AMD
-谷歌
-华为
硬件架构设计
1.top厂商的芯片架构概览
- nvidia gpu架构
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
最上面图是H100的总体架构，最下面图是一个SM内部的架构图，详细可以看白皮书。
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
- tpu架构
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
- 昇腾架构
添加图片注释，不超过 140 字（可选）
2.硬件架构设计需要考虑的事情
整个的芯片设计的主要部分是SoC的设计，system on chip，SoC是由许许多多的IP组成的（自己设计或者买第三方的），chip designer的任务就是将这些IO装进SoC这个大箱子，装得要多，性能要好。大概需要考虑如下事情：
-面积
面积太小，放不下那么多资源，面积太大，同比竞品竞争力差（成本高）
-功耗
功耗低，供电不足，处理跟不上，功耗高，费电（大数据中心的电费还是很可观的）
-频率
整个芯片有一定的工作频率，每个IP也有自己的工作频率，高频率干活快，低频率干活慢。
-颗粒
纳米决定能装多少东西，尺寸有多大，目前美国就是在这方面卡我们脖子。台积电已经能做3纳米了。
-存储
用hbm，还是用gddr，这两者存储大小，峰值带宽，价格差距较大，需要根据模型应用需求和性价比考虑。目前芯片其实主要是在卖存储，所以搞存储的闷声发大财（尤其是在当前大模型背景下）。
-cpu core
无论是host端cpu core的数量及并行度，还是device端cpu core（例如，华为昇腾架构内的AI cpu core）的数量及并行度，都影响任务的异构并行处理，因为有些是适合device的AI tensor或vector计算任务，有些是适合cpu的非规则计算任务（例如，图和树的遍历与检索）。
-host和device间的访问延时与访存开销
需要考虑host与device间的通信一次的latency，因为有可能需要多次互通。
需要考虑host memory与device memory的互访互联及带宽，对大模型和推荐系统（embedding table）有益，可以看看nvidia的grace Hopper+grace cpu架构：
添加图片注释，不超过 140 字（可选）
-uvm统一虚拟内存，unified virtual memory
可以带来编程与处理的便捷性，可以很灵活的调度存储flow
-device memory bandwidth
带宽越大，传输越快，利于memory或IO bound的任务，所以，具体要看你的需求和场景，取决于选多大的带宽合适（既便宜，有满足需求）
-多级存储及shared memory(例如，nvidia)
需要考虑要几级memory?要不要dma？每级memory多少存储空间？这个其实和你的任务需求也是有关的，和你调度任务流水的方式也有关。
-多级cache(例如，nvidia的L1/L2)
你的cache有多少级？每级cache多大？指令cache和数据cache如何划分？cache的一致性和maintenance如何保障？硬件预取和软件预取是否完善？预取latency是多大？
-算力
算力，和带宽一样，其实是一个重要的指标？和场景与客户需求有关。需要什么精度的计算？每种精度的TOPS或TFLOPS是多少（取决于你的任务的TFLOPs或 TOPs）？需要稀疏计算（结构化稀疏，还是非结构化稀疏）吗？
-执行与调度模型
你的runtime的调度机制是什么样的？能支持最大outstanding是多少？
采用simd还是simt架构？simt架构的线程数及资源分配如何？simt的多线程调度开销如何？多线程间是否能隐藏指令流开销？
如果你只处理向量或matrix计算，那么，simd可能是最高效的，不需要simt的灵活性。如果你处理标量任务，那么，simt（如，nvidia implicit simd）可能更好。详细的simd与simt的机制最好熟练掌握。
-总线宽度
总线宽度和处理数据位宽，其实对调度很有影响取决于你的任务或需求粒度。
-互联拓扑和带宽
对大模型训练影响很大。
软件架构设计
芯片设计，讲究一个软硬协同设计，如果不考虑软件或客户的使用方式，不从top down是看架构设计，那么，设计出来的芯片硬件大概率是烂尾楼，兼容性差，迁移性差，软件编程难用，过分注重单一计算或单一模型（性能泛化差），等等一系列问题和痛点。
具体关注哪些？
-pytorch等框架或客户框架的eager mode和图模式分别如何执行的？
-框架或客户需要什么样的算子或api？
-模型的变种如何的？输入输出形状如何变化的？如何做通用支持？不要受限于具体形状或固定pattern。
-软件栈如何兼容c++语法？如何用最直接的方式编程？这些映射到硬件需要满足什么需求？例如，cuda
-软件的编码方式和生成的code size多大？例如，cuda
-模型部署方式？都线程？多进程？多模型并行？
-不同计算类型？每种类型的利用率分析？模型内的多分支结构？框架的多operator并行调度？
-你是否让用户关注了太多软件细节和调度细节？资源分配细节？这个导致软件不好用，软件可能本身也不是这样用的。
-算子的数据流编写方式需要反馈硬件，协同设计。
总之，希望以客户需求和习惯为目标，以技术发展趋势为原则指导芯片设计，坚持top->down，而不是down->top。
性能评估与建模
一个好的建模平台，对架构设计至关重要，因为架构设计之前，没有实实在在的东西，都是虚的，需要验证的内容太多，建模平台完备主要体现：
-灵活配置资源，验证各种数据流和计算流
-底层cost model健全，仿真器更趋向于真实硬件
-benchmark健全，测试无死角
