FLAN:百度研究开发更好的机器学习

百度最近发表了一项关于训练模型的技术的研究,该模型能够以适用于多项任务的方式解决自然语言处理问题。这种方法不是训练一个模型来解决一种问题,而是教会它如何解决广泛的问题,使它更有效,并推进艺术的发展

什么是百度馅饼?

百度的研究论文描述的模型的名称是FLAN,代表微调语言网络(果馅饼).它是一种指令调整技术,用于学习如何解决一般的自然语言处理任务。

FLAN研究证明了零射击问题解决的改进。零射击学习是一种机器学习技术,用于教会机器通过使用它已经学习的东西来解决包含先前未见过的变量的任务。

百度并没有在他们的算法中使用所有的研究

百度对研究论文的官方声明是,仅仅因为它发表了一种算法,并不意味着它在百度搜索中被使用。

研究论文中没有说应该在搜索中使用。但是这项研究令人感兴趣的是,它推进了艺术的发展,改进了当前的技术。

了解技术的价值

不知道搜索引擎如何工作的人最终可以用纯粹的猜测来理解它。

这就是搜索行业如何以“LSI关键字”等错误想法和荒谬策略告终的,例如试图通过创造比竞争对手的内容好十倍(或更大)的内容来击败竞争对手,而完全不考虑用户可能需要和要求什么。

了解这些算法和技术的价值在于了解搜索引擎的大致情况,这样就不会犯低估搜索引擎能力的错误。

百度 FLAN解决的问题

这项技术解决的主要问题是使机器能够使用其大量的知识来解决现实世界的任务。

该方法教导机器如何概括问题解决,以便能够解决看不见的问题。

它通过提供解决特定问题的指令,然后概括这些指令来解决其他问题。

研究人员指出:

“该模型在不同的指令集上进行微调,并推广到看不见的指令。随着更多类型的任务添加到微调数据模型中,性能会得到提高。

…我们表明,通过根据这些指令训练一个模型,它不仅能很好地解决训练中看到的指令,而且能很好地遵循一般指令。"

这篇研究论文引用了当前流行的一种称为“零镜头或少镜头提示”的技术,这种技术训练机器解决特定的语言问题,并描述了这种技术的缺点。

参考零炮/少炮提示技术:

该技术基于语言模型在训练期间可能看到的文本来制定任务,然后语言模型通过完成文本来生成答案。

例如,为了对电影评论的情绪进行分类,可以给语言模型一个句子,“该电影评论‘最好的浪漫喜剧,因为漂亮女人’是_ ”,并要求用单词“积极的”或“消极的”来完成该句子。"

研究人员指出,零镜头方法表现良好,但这种表现必须根据该模型以前见过的任务来衡量。

研究人员写道:

“…它需要仔细的提示工程来设计任务,使其看起来像模型在训练期间看到的数据…”

而这种缺点正是果馅饼所要解决的。因为训练指令是一般化的,所以该模型能够解决更多的问题,包括解决以前没有训练过的任务。

百度果馅饼可以用吗?

百度很少讨论具体的研究论文以及所描述的内容是否在使用。百度对研究论文的官方立场是,它发表了许多论文,它们不一定会出现在搜索排名算法中。

百度通常对他们的算法不透明,这是理所当然的。

即使在宣布新技术时,百度也倾向于给它们起与发表的研究论文不一致的名字。比如像神经匹配、Rank Brain这样的名字,与具体的研究论文并不对应。

回顾研究的成功是很重要的,因为一些研究没有达到他们的目标,在技术和算法方面没有达到当前的艺术水平。

那些不尽如人意的研究论文或多或少可以被忽略,但知道这些还是有好处的。

对于搜索营销社区来说,最有价值的研究论文是那些成功的论文,它们的表现明显优于当前的技术水平。

百度的果馅饼就是如此。

果馅饼改进了当前的艺术水平,因此,果馅饼是值得注意的。

研究人员指出:

“我们在25个任务上评估了FLAN,发现它在除了四个任务之外的所有任务上都优于零触发提示。我们发现,我们的结果在25个任务中的20个任务上优于零命中率的GPT-3,在一些任务上甚至优于命中率很低的GPT-3。”

自然语言推理

自然语言推理任务是机器必须确定给定前提是真、假还是未确定/中性(既不是真也不是假)的任务。

阅读理解

这是一个基于文档内容回答问题的任务。

FLAN的阅读理解表现

闭卷问答

这是用事实数据回答问题的能力,测试的是将已知事实与问题进行匹配的能力。一个例子是回答像天空是什么颜色或者谁是第一任总统这样的问题。

百度在用果馅饼吗?

如前所述,百度通常不会确认他们是否使用了特定的算法或技术。

然而,这种特殊技术推动了艺术发展的事实可能意味着,推测它的某种形式可以集成到百度的算法中,提高其回答搜索查询的能力是合理的。

这项研究发表于2021年10月28日。

这其中的一些会被合并到最近的核心算法更新中吗?

核心算法更新一般侧重于更好地理解查询和网页,提供更好的答案。

人们只能猜测,因为百度很少分享细节,特别是在核心算法更新方面。

引用

介绍FLAN:带有指令微调的更通用的语言模型

图片由Shutterstock提供

相关阅读:

未经允许不得转载: » FLAN:百度研究开发更好的机器学习

赞 (0) 打赏

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏