DeepMind 发布了一项新的研究，声称其新方法可以将 AI 模型的训练速度和能效大幅提升一个数量级，以高达13倍更少的迭代和10倍更少的计算量超越了最新的模型。这个名为 JEST（联合示例选择）的训练方法通过全新方式进行训练，显著不同于传统的 AI 模型训练技术。
JEST 方法首先创建一个较小的 AI 模型，该模型会根据数据质量对来自高质量源的数据进行评分，然后将这些评分与较大、较低质量的数据集进行比较。小型 JEST 模型确定最适合训练的批次，然后用这些批次的数据来训练大型模型。DeepMind 研究人员在论文中指出，这种“引导数据选择过程朝向较小、精心策划的数据集分布的能力”是 JEST 方法成功的关键。研究表明，JEST 方法在减少迭代次数和计算量方面都超越了最先进的模型。
然而，这种系统完全依赖于其训练数据的质量，因为如果没有最高质量的人工策划数据集，这种引导技术将难以实现。因此，JEST 方法对于业余爱好者或非专业 AI 开发者来说更难匹配，因为需要专家级的研究技能来策划初始的高质量训练数据。
JEST 解决了什么问题？
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
[注册免费使用]及时发现热点、搜索素材、选题分析