OpenAI的GPT-3算法就在这里,它听起来异常擅长人类

当文本生成算法GPT-2在2019年创建时,它被标记为“危险的” A.I.历史上的算法。实际上,有人认为它是如此危险,以至于永远不应该将其发布给公众(破坏者:是),以免它引发“机器人启示录。”当然,那从来没有发生过。 GPT-2最终向公众发布,在它没有破坏世界之后,其创作者继续进行下一步。但是,您怎样跟进有史以来最危险的算法?

答案至少在纸面上是很简单的:就像任何一部成功电影的续集一样,您制作的东西更大,更坏,更昂贵。第一个外星人中只有一个异形?在续集《外星人》中包括它们的整个巢。只是将来从终结者那里发回的一台几乎坚不可摧的机器?在“终结者2:审判日”中,让观众中的两个人参与其中。

AI也是如此- 在这种情况下, GPT-3,这是由人工智能研究实验室OpenAI创建的最近发布的自然语言处理神经网络,但不再)由SpaceX和特斯拉首席执行官埃隆·马斯克(Elon Musk)赞助。

GPT-3是一系列文本生成神经网络中最新的一种。 GPT的名称代表Generative Pretrained Transformer,指的是2017年 Google创新称为“变形金刚” 这样可以弄清楚特定单词与周围单词一起出现的可能性。 GPT经过预训练的语言模型仅需输入一些句子(例如新闻报道的开头),就可以产生令人信服的准确连续性,甚至包括捏造的报价。

这就是为什么有些人担心它可能会通过帮助生成虚假文本(如Deepfake)来帮助自己在网上传播假新闻而证明自己具有危险性。现在,有了GPT-3,它变得比以往任何时候都更大,更智能。

磁带的故事

正如拳击风格的“磁带故事”比较所表明的那样,GPT-3确实是竞争者的真正重量级挫伤。 OpenAI最初的2018 GPT具有1.1亿个参数,指的是使神经网络能够学习的连接权重。 2019年发布的GPT-2拥有15亿个参数,这在此前引起了人们对其潜在恶意应用的广泛关注。 上个月,微软推出了当时世界上最大的类似的预训练语言模型,拥有170亿个参数。相比之下,2020年的GPT-3惊人的参数为1750亿。据报道,培训费用约为1200万美元。

“这些模型的强大之处在于,为了成功预测下一个单词,他们最终学习了可以用于各种有趣事物的真正强大的世界模型,” Latitude工作室的首席技术官尼克·沃尔顿(Nick Walton) 我地牢一款由GPT-2驱动的由人工智能生成的文字冒险游戏,它告诉Digital Trends。 “您还可以微调基本模型,以在特定方向上塑造世代,同时仍保持模型在预训练中学到的知识。”

在现实世界中实际使用GPT-3所需的计算资源使其极为不切实际。

格温·布兰文(Gwern Branwen)一位发表关于心理学,统计学和技术的评论员和研究人员告诉Digital Trends,预训练的语言模型GPT所代表的“已成为任何涉及文本的机器学习任务中越来越重要的一部分。用同样的方式 [the standard suggestion for] 许多与图像相关的任务已经成为“使用 [convolutional neural network],许多与语言相关的任务已经变得“使用微调[语言模型。’”[languagemodel’”

拒绝在本文中发表评论的OpenAI并不是唯一一家在自然语言处理方面做得令人印象深刻的工作的公司。如前所述,微软已经完成了自己的一些令人眼花work乱的工作。与此同时,Facebook正在对该技术进行大量投资,并创造了诸如 搅拌器,这是有史以来最大的开源,开放域聊天机器人。根据人类评估者的看法,它在参与度方面优于其他人,并且感觉更人性化。过去几年中使用过计算机的任何人都会知道,机器比以往更能理解我们-自然语言处理是原因。

大小事项

但是,OpenAI的GPT-3仍然以其破纪录的规模独树一帜。“ GPT-3之所以引起嗡嗡声,主要是因为它的尺寸,” Google研究工程师Joe Davison 拥抱脸一家名为Digital Trends的初创公司致力于通过开发开源工具和进行基础研究来促进自然语言处理的发展。

最大的问题是所有这些将用于什么。 GPT-2进入了无数用途,被用于各种文本生成系统。

戴维森(Davison)对GPT-3的尺寸可能受到限制表示了一定的警惕。他说:“ OpenAI的团队无疑推动了这些模型可以扩展到多大的领域,并显示出不断增长的模型减少了我们对特定于任务的数据的依赖。” “但是,在现实世界中实际使用GPT-3所需的计算资源使其变得不切实际。因此,尽管这项工作肯定是有趣且有见地的,但我不会认为这是该领域向前迈出的重要一步。”

但是其他人不同意。 “ [internal-link post_id=”2443861″]人工智能[/internal-link] 社区长期以来一直观察到,将越来越大的模型与越来越多的数据结合起来,可以在这些模型的功能上实现几乎可以预见的改进,就像摩尔定律的计算能力定律一样。”研究员 运营一个YouTube频道告诉Digital Trends。 “然而,也像摩尔定律一样,许多人推测,我们仅能通过简单地扩大语言模型来改进语言模型,而为了获得更高的性能,我们需要就新架构进行大量发明或训练方法。 GPT-3表明事实并非如此,仅仅通过规模来推动绩效的能力似乎从未间断-并没有真正的终结。”

通过图灵测试?

布兰文建议,像GPT-3这样的工具可能是主要的破坏力。 “一种思考的方式是,哪些工作涉及获取一段文本,对其进行转换并发出另一段文本?”布兰文说。 “据此描述的任何工作-例如医疗编码,帐单,接待员,客户支持, [and more] 将是微调GPT-3并替换该人员的好目标。许多工作或多或少是“将字段从一个电子表格或PDF复制到另一电子表格或PDF”,而且这种办公自动化太混乱了,以至于无法轻松编写普通程序来替换,这很容易受到GPT-3的攻击因为它可以学习所有的例外情况和不同的约定,并且表现出与人类相同的表现。”

最终,自然语言处理可能只是人工智能的一部分,但可以说它以该领域其他学科所无法实现的方式切入了人工智能梦想的核心。著名的图灵测试(Turing Test)是引发这一领域的开创性辩论之一,它是自然语言处理问题:您能否构建人工智能?可以令人信服地成为一个人吗? OpenAI的最新工作无疑可以推动这一目标的实现。现在还有待观察的是应用程序研究人员将为它找到什么。

布兰文说:“我认为,事实是GPT-2文本可以很容易地传递给人类,以至于很难将其作为’正义模式识别’或’正义记忆’而挥之不去。” “任何确信深度学习所做的事情都不会像智能一样,必须动摇自己的信念才能看到它的发展。”