MatMul 后面有个 Sigmoid:为什么编译器偏偏不肯融合
多消费者、视图和依赖边界如何限制矩阵乘激活融合。
系列目录 · 算子与布局 · Read in English
“卷积都能融合,矩阵乘法后面这个 Sigmoid 总可以吧?”
有时可以,有时编译器认真地说不。最有价值的优化文章,不只有成功合并后的漂亮图,还应该解释那些故意留下的节点。它们常常标记着真正的语义边界。
直接邻接与语义屏障
最简单的教学图为:
1X:[B,M,K] -- MatMul(W:[K,N]) --> U:[B,M......