在训练与推演阶段，矩阵运算对算力的消耗表现得尤为明显。研究者们不断探索，力图降低其计算需求，这一目标始终是他们不懈追求的。
矩阵乘法核心地位
矩阵乘法在计算机科学和数值线性代数中具有举足轻重的地位。自从Strassen和Winograd着手研究这一领域，众多研究者便致力于减少其计算量。此技术在统计学、数据分析等多个领域均有广泛应用，例如在计算协方差矩阵和执行线性回归的关键阶段，矩阵乘法技术显得尤为关键。对于一些结构独特的矩阵相乘问题，例如探讨矩阵与其转置相乘的情形，相关的研究并不算多。
特殊矩阵乘法研究现状
XXt的计算复杂度理论上与普通矩阵相乘相近，其速度的加快主要依赖于常数因子的优化。不过，特殊矩阵相乘的研究并不充分，因此提高XXt的计算效率显得尤为重要。目前，算法在处理XXt上还有很大的改进余地，我们热切期待新技术的问世。
新算法RXTX诞生
《XXt Can Be Faster》这篇论文提出了一种新的RXTX算法。该算法巧妙融合了机器学习搜索技术与组合优化策略，显著提升了XXt的计算速度。它采用了基于4×4分块矩阵的递归乘法技术，并且这一技术是通过结合机器学习搜索与组合优化技术而研发出来的。
RXTX分块与递归设计
RXTX将矩阵X分为了16个4×4的小块，然后通过8次递归调用依次解决这些小块的问题。此外，它还计算了从m1到m26的26个常规矩阵的乘积。与之前最先进的基于Strassen的递归分治算法相比，RXTX使用的递归关系式有所不同，其渐近乘法常数减少了大约5%，这显示出它在某些方面具有一定的优势。
乘法次数与运算总量优势
实验数据表明，当n是4的幂次时，RXTX的乘法运算次数较之前算法减少了5%，而且随着n值的增加，这种优势愈发显著。此外，通过优化加法操作，RXTX的总运算量公式展现出更强大的竞争力，相比之下，原算法由于包含对数增长的部分，其速度提升的速度更为迅速。当n的数值上升至256及以上，RXTX的整体运算效能已超越了过往的算法；而且，当n的数值进一步增至1024及以上，其性能优势更是明显地超过了传统算法。
RXTX实际表现与发现途径
在6144×6144矩阵的测试中，RXTX的平均运行时长为2.524秒，这一速度比BLAS的常规版本高出9%。在多数情况下，RXTX的表现均胜过BLAS。尽管运行速度会受到硬件配置和内存管理的影响，但根据理论分析，当矩阵的维度n达到或超过256时，RXTX的速度优势便会显现。RXTX的诞生标志着机器学习与组合优化领域的重大突破。它采纳了AlphaTensor的理念，将搜索区域限定在二维张量领域，这一举措显著降低了计算复杂度，从而显著提高了MILP求解器的运行效率。
你认为RXTX算法将来会得到更普遍的使用吗？不妨在评论区告诉我们你的观点。这篇文章对你有所启发的话，请不要忘记点赞和转发。
