英伟达做的就是类似的工作——给大模型训练框架里的内核（kernal）做适配，做性能分析（profilg）工具。
但就是因为他的履历，他对公司现在的方向不太看好。
太急功近利了。
太想毕其功于一役了。
在硬件上做适配，做调优，和做互联网不一样。
这里需要的不是什么快速迭代、小步快跑，这是一件必须沉下心来，慢慢扣、慢慢做的事情。
心急吃不了热豆腐。
干起活来很痛苦，这是很正常的。
今天拿起分析工具一跑，运算效率又波动了，为什么？
不知道啊，可能是因为显存访问模式不一样了，可能是因为寄存器压力不一样了，也可能是编译器展开方式不一样了。
想知道为什么，只能一个一个试过去。
拿着分析数据一点点猜。
所以江松然把训练算子适配的任务压下来的时候，范小天就很不舒服。
但他也能猜到原因。
一定是大老板给的压力太大，把江松然的进度压变形了。
毕竟这么不切实际的任务，不像是一个在行业里干了十几年的老兵能派出来的。
大老板可能是不懂，也可能是有投资人那边的压力，也可能是模型做的太好、心态飘了。
反正不管怎么样，范小天已经给源智在心里调低了评分。
理想终究是错付了。
摇了摇头，把这些杂念赶出大脑，他在公司提供的链接下单了晚餐的外卖，然后开了一听可乐。
哪怕老板再傻逼，活还是要干，毕竟他拿的薪水也不低。
范小天面前的屏幕上，开着的是江松然共享的算子适配列表。
作为团队里最资深最有经验的几名工程师之一，他分配到的几个算子都是比较有难度的，还全是红色的。
其中最难的就是这个fedattentionbackward【注意力融合反向算子】。
范小天看着这个名字，揉了揉太阳穴，忍不住叹了一口气。
这玩意儿太难啃了。
范小天以前在英伟达的时候，类似的融合反向算子也不是普通工程师能随便碰的。
这里面的步骤太多了，什么attention反向、softax数值稳定、共享内存布局、寄存器生命周期、warp内通信、多级tilg，还有训练框架调度