AI 词汇表
人工智能完整词典
TVM(张量虚拟机)
一个开源编译框架,旨在优化并在各种硬件架构上执行张量运算,降低深度学习模型的抽象层次。
即时编译(JIT)
一种编译技术,在运行时将字节码或中间代码翻译成本地机器代码,允许基于系统实际状态进行优化。
预编译(AOT)
在执行前将源代码编译成本地机器代码的过程,减少启动延迟并允许独立于运行时环境的激进优化。
图中间表示(Graph IR)
AI模型计算图的抽象表示,编译器使用它来分析依赖关系并在代码生成前应用优化转换。
算子融合
一种优化技术,将计算图中的多个基本操作合并为单个计算内核,减少内存开销并提高数据局部性。
自动调度
自动搜索给定目标硬件架构上计算内核最佳执行配置(分块、向量化、并行化)的过程。
目标特定优化
一套编译技术,使生成的代码适应特定硬件架构(CPU、GPU、TPU、ASIC)的独特特性以最大化性能。
Relay IR
TVM中的高级函数式中间表示,支持带控制流的计算图并允许复杂的语义优化。
张量表达式(TE)
TVM中特定领域的语言,用于在高级抽象层次描述张量计算,便于为各种目标自动生成优化代码。
内核自动调优
系统性地探索计算内核优化参数空间的过程,以识别在特定硬件上提供最佳性能的配置。
高级优化器(HLO)中间表示
XLA使用的中间表示,以高级张量操作的形式描述计算,在为加速器生成代码之前进行优化。
代码生成(Codegen)
编译的最终阶段,将优化后的中间表示转换为针对特定目标架构的可执行机器代码。
多面体模型
用于表示和转换嵌套循环的数学模型,允许复杂的优化,如分块和自动并行化。
低级虚拟机(LLVM)
模块化编译基础设施,被许多AI编译器用于为不同CPU架构生成优化的机器代码。
内存布局优化
重新组织内存中数据的技术,以改善空间和时间局部性,减少访问延迟并提高计算吞吐量。
硬件抽象层(HAL)
屏蔽底层硬件具体细节的软件接口,使编译器能够生成可移植代码,同时利用原生优化。
向量化
将标量操作转换为向量操作(SIMD)的优化技术,利用现代处理器的并行计算单元。
分块
将数据分割成块(tile)的策略,以提高张量计算中的缓存重用和并行化效率。
图重写
通过应用重写规则系统地转换计算图,用性能更高的等价子图替换原有子图。