AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
惰性求值
一种策略，其中转换操作仅在触发某个动作时才执行，从而实现执行计划的全局优化。
術語
广播变量
有效地分发到所有节点上的只读变量，以避免在分布式操作中重复传输数据。
術語
累加器
只能通过关联和交换操作进行添加的共享变量，用于并行聚合信息。
術語
阶段
一组可以无需混洗（shuffle）即可执行的转换操作，代表Spark作业DAG中的一个执行阶段。
術語
驱动程序
协调分布式任务执行的主进程，负责创建DAG并在Spark应用程序中编排执行器。
術語
执行器
在集群节点上执行任务的工作进程，管理数据分区和驱动程序分配的计算操作。
術語
序列化
将对象转换为二进制格式以进行存储或网络传输的过程，对分布式系统的性能至关重要。
術語
容器
YARN资源分配单元，封装了执行特定任务所需的CPU、内存和其他资源。
術語
管道
连接的处理链，其中一个步骤的输出直接馈送给下一个步骤的输入，从而优化 Spark Streaming 中的数据流。
🔍