AI 词汇表
人工智能完整词典
多标注者主动学习
一种机器学习范式，其中多个标注者协作标注由主动学习算法选择的最具信息量的数据。该方法通过利用互补的专业知识和标注者的不同成本，优化人力资源的使用。
协作采样策略
一种样本选择方法，协调多个标注者的偏好和专业知识，以最大化标注的整体质量。它在模型不确定性和根据每位标注者技能进行任务最优分配之间取得平衡。
标注者专业能力模型
一种概率性或确定性框架，用于量化每位标注者在不同类别或数据类型上的能力、可靠性和特定偏差。该模型根据每位贡献者的个人优势来指导样本分配。
动态样本分配
一种自适应过程，根据标注者当前的专业能力和可用性，实时将未标注样本分配给最合适的标注者。该分配优化了标注质量与时间或预算成本之间的权衡。
标注者间置信度矩阵
一种数据结构，用于衡量不同贡献者在相似样本上标注的一致性和相对可靠性。它能够检测系统性分歧，并调整最终标签聚合的置信度权重。
自适应标注成本
一种可变成本模型，根据样本难度和所需专业知识调整每次标注的报酬或分配时间。该方法通过优先选择信息增益最高的任务分配，优化预算配置。
标注多样性
一种选择标准，确保样本在标注者之间的多样化分配，以避免过度专业化并最大化特征空间的覆盖。它在利用专业知识和探索新视角之间保持平衡。
多源标签聚合
一种融合技术，将多个标注者的标签组合成单一的共识预测，使用加权投票、Dawid-Skene模型或贝叶斯推断等方法。该聚合纠正个体错误，产生更可靠的标签。
加权不确定性选择
一种策略，在评估模型不确定性的同时，根据解决每个样本所需的成本和专业知识对该度量进行加权。它优先选择根据可用标注者能力提供最佳信息收益比的实例。
多标注者委员会查询
查询委员会方法的扩展，其中多个模型在不同标注子集上训练，以识别预测分歧最大的样本。该方法通过委员会中标注者的视角多样性得到增强。
标注者校准
系统调整标注者预测的过程，用于纠正个体偏差并协调不同贡献者之间的置信度标度。校准确保可靠性分数具有可比性，可用于动态分配。
标注质量评估
连续度量框架，用于衡量每位贡献者所提供标注的准确性、一致性和信息价值。这些指标为专业模型提供输入，并指导未来的分配决策。
智能样本路由
自动化决策系统，基于性能预测器和资源约束，将每个未标注样本路由至最优标注者或标注者组。该路由最大化协作标注过程的效率。
多专家半监督学习
混合方法，结合多标注者主动学习与半监督技术，以利用大量未标注数据。它使用高质量标注作为种子，将标签传播到整个数据集。
标注者可靠性模型
标注者产生正确标注的概率的数学表示，通常建模为依赖于样本类型的条件分布。该模型随历史标注的积累而动态演化。
探索-利用策略
决策框架，平衡将熟悉样本分配给专家标注者（利用）与发现其在新数据类型上的能力（探索）。该策略避免过度专业化，同时最大化短期质量。
专家意见融合
一种复杂的聚合方法，结合多个标注者的判断，同时考虑其相关性、领域专业知识和历史表现。通常使用贝叶斯技术或信念图进行最优融合。