Chenfan Blog

在上一篇中，我们过了一遍（非常非常基础+终极简化版本）的浮点数计算是怎么在硬件上实际进行的。结尾部分提到，随着 AI 的兴起，硬件的浮点数数据类型已经从科学计算中常用的 double（FP64）和最常规的数据类型 FP32 开始一路下探到了 FP4。本文尝试把这些数据类型的位级表示、单次运算误差、点积误差和端到端模型精度四个层次拆开，给出一个全景式的理解。

这里先抛出来几个我拍脑袋想到的问题来做一下探讨：

1. TF32 是怎么来的，它是不是一种真正的 32 位存储格式?
2. FP16 和 BF16 都是 16 位，谁更“准”？
3. 我们用 TF32 来做矩阵乘法的时候会有一种工程上的 trick：单次 TF32 乘法的精度在敏感情况下会掉的比较厉害，可以通过三次 TF32 乘法来逼近一次 FP32 乘法。那如果把 TF32 换成更快的 BF16，能做出来类似的精度逼近方案吗？
4. 在一块只有 FP16 Tensor Core、没有 BF16 Tensor Core的硬件上，怎样尽量准确而高效地模拟 BF16 模型？

继续有想法就多写点硬一些的内容。

关于计算机系统中的运算部件硬件实现，我脑子里面能想到的最近一次接触这些的时间可能还要追溯到在学校里面学数电那会了，而且大多数东西都忘得差不多了，刚好重新理一理并且顺便看一下浮点运算部件到底是怎么做的。

目前我们工作中并不会涉及到太深入到芯片设计方面的内容，因此本篇也只是对基础做一些整理，能帮助在脑子里面形成一个对不同运算部件的大体概念就不错了，充其量用这些在 MC 里面搞搞红石电路啥的。

篇尾还想找找 Nv 的硬件 spec 稍微对比分析下看看。

随便写点东西，准备把 FlashAttention 系列的算法原理推一遍。

本着 Talk is cheap，show me the code 的思想，简单用 python 快速实现了一遍。
这里主要是对算法设计比较好奇，因此跟 cuda 相关的代码优化部分先忽略。搞懂算法实现后，系统同学可以自己想想 gpu 优化怎么做。

又是一年的 TVM conference，由于举办地在美国的时差关系，我们这边没有线上直接参加，由我们引擎团队负责人 蓝色 大佬给了个 talk。

Talk 的视频链接在：这里

在过去的快两年时间里，我们依靠 TVM 打造了 NIO 全栈自研的 AI 引擎，支持各种感知、规控等等自动驾驶算法在 NT2.0 平台上的高效运行。我们几乎是看着 ET7 交付启动时只有 AEB，到后来逐步版本迭代可以支持 NOP+，再到今年 NAD 也即将要在我们的引擎支撑下开放测试了。

由于 talk 的时间限制，PPT 上对很多部分都是简单带过了，这里想稍微细节展开讲一下，也算是对来 NIO 以后工作的一个总结。

之前那篇整理到了 Ampere，内容已经挺长了，重新开一篇新的继续。

后面每一年再有新的更新也会继续补充到后面。

一晃又就快 1 年过去了。

1 年间感觉世界发生了很多变化，技术方面，感觉我们这边是每个月都在 rush 新东西。

前段时间 TESLA 说他们要比之前说的纯视觉方案要走的更加极致了，连近距离的毫米波雷达都要取消了。惊叹于他们对自己技术实力的自信（和他们的胆子是真的大啊）的时候，也确实挺让人好奇这两年间 TESLA 的 FSD 有了什么样的改进。

终于要开始往博客里面写点跟我现在去的新行业相关的东西了。

回顾一下今年特斯拉的 AI day。

自工作以来荒废了好久了，我又开始写博客啦~（不知道这一次能坚持多久…）

最近在比较多的帮团队面试，因为我们这边主要是 focus 在 AI 编译栈以及更偏底层一些的算子实现方面的工作，在面一些编译方向的候选人时，我这边最后一关通常是让他们写一个高效的矩阵乘的实现。

然后结果一直都没有遇到能写出来让我觉得还可以的人…唉，是我要求的太高了吗？

最近 NV 刚发布了新架构的 GPU，自之前理过 Intel CPU 的架构变化 后再来理一下 GPU 的。

硬/软件接口那篇有介绍过 GPU 的结构，当时也是以 Fermi 架构为例的，NV 很有意思的是会用一些历史上杰出的科学家的名字来命名自己的硬件架构。

总体上，NV GPU 用到的 SIMT 基本编程模型都是一致的，每一代相对前代基本都会在 SM 数量、SM 内部各个处理单元的流水线结构等等方面有一些升级和改动。这篇暂时不涉及到渲染管线相关的部分，其他诸如多少 nm 工艺、内存频率提升等等也都先略过，只关注计算相关的硬件架构演进。

这一篇来记一下 TVM 跟语法树 IR 相关的一些内容。

TVM 是在 Halide 的基础上发展而来的一套编译架构。早一点版本的 TVM 其实还能看到 Halide 是作为一个 git 的 submodule 放在 TVM 目录里的，当时 TVM 自身的代码中还有一个 HalideIR 的 namespace，也有不少的结构是直接继承了 Halide IR 里的内容：

1
2
3
4
5
6
7
8

...
using HalideIR::Type;
using HalideIR::Float;
using HalideIR::Bool;
using HalideIR::Int;
using HalideIR::UInt;
using HalideIR::Handle;
...