。
这里面哪一样单独拿出来,都够一个新人研究几个月的。
把它们融合在一起,要保证所有的算子都能在内核上运行无误,还要保证效率,还要确保内存不溢出,这简直是地狱级的难度。
在硬件调优的所有工作里,这也算得上是皇冠上的明珠。
说实话,这种活范小天以前是轮不上做的。
这也就是来了源智,矮子里面拔将军,只能让他顶上了。
至于做到和英伟达一样的效率,他是想也没有想的,做不到。
大概估算一下排期,如果给他几个熟手一起,加班加点的干,可能几周时间能把正确性跑通。
至于性能优化,那没几个月是干不下来的,干完之后能到英伟达基准的百分之八十就够他出去和前同事吹牛的了。
就这,还得看l100的编译器配不配合。
开始工作前先上柱香,看能不能让机魂大悦。
硬件做得时间久了,人都变迷信起来了。
范小天没打算做【注意力融合反向算子】,他准备把难啃的骨头留到最后啃——有可能做着做着大家发现实在做不出来,这个骨头就不用啃了。
他在关闭浏览器前又瞥了一眼。
然后关掉了浏览器。
范小天站了起来,准备去取外卖。
突然,他整个人一愣。
刚才那个页面,我是不是看见什么了?
什么呢?
范小天心神不宁地往前走了两步,又退了回来。
虽然可能是看错了,但要是不确定一下的话,总觉得心里不舒服。
他鬼使神差地又打开了刚才关掉的页面,发现真的有东西。
【注意力融合反向算子】的代码库有个新提交。
“fedattentionbackwardadapterpleted”。
做完了?谁这么大口气啊?
范小天点开看了看提交者的用户名。
null-potersource-telligence,范小天仔细想了想,想不起这是谁的用户名。
公司分配的邮箱都是按照名字来的,像他的用户名就是fanxiaotiansource-telligence。
怎么还有人可以给自己起名的?
这谁啊?
范小天抬起头来环顾了一圈,想看看是不是哪个同