微软、英伟达纷纷押注小模型大模型不香了？

发布日期：2024-09-19 23:20

来源类型：强国观察室 | 作者：王翼鹏

【494949澳门今晚开什么】【2024新澳免费资料】 【2024今晚澳门开特马生肖表】

AI新风向：小型语言模型挑战大模型霸权

喜欢的关注一下我的账号，谢谢

在人工智能的舞台上，一场关于规模的较量正在悄然上演。曾经，科技巨头们竞相开发庞大的语言模型，但如今，小型语言模型（SLM）正以其独特的魅力，挑战着“越大越好”的传统观念。

SLM的崛起

就在不久前，微软和英伟达相继发布了Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B，这两款小型语言模型以其在计算资源使用和功能表现之间的良好平衡，成为市场的新宠。

人工智能初创公司Hugging Face的首席执行官Clem Delangue更是大胆预测，2024年将成为SLM之年。这一预测并非空穴来风，据统计，包括Meta、微软、谷歌在内的科技巨头们今年已经发布了9款小模型。

大模型的挑战

SLM的崛起，与大模型（LLM）在性能提升与资源消耗方面的挑战密切相关。AI初创公司Vellum和Hugging Face发布的性能比较显示，LLM之间的性能差距正在迅速缩小，特别是在特定任务中，顶级模型之间的差异微乎其微。

然而，与有限的性能提升形成鲜明对比的是，LLM的训练成本却在不断攀升。海量数据、数以亿计甚至万亿个参数，导致了极高的资源消耗。训练和运行LLM所需的计算能力和能源消耗令人咋舌，这使得小型组织或个人难以参与核心LLM开发。

SLM的优势

SLM是LLM的精简版本，具有更少的参数和更简单的设计。它们需要更少的数据和训练时间，这使得SLM更高效，更易于在小型设备上部署。SLM的另一个主要优势是其针对特定应用的专业化，这使它们在实际应用中更加高效。

SLM在特定领域内也不易出现“幻觉”，因为它们通常在更窄、更有针对性的数据集上训练，这有助于模型学习与其任务最相关的模式和信息。

SLM的市场前景

尽管SLM的专业化是一大优势，但也有局限性。这些模型可能在其特定训练领域之外表现不佳，缺乏广泛的知识库。这一限制要求用户可能需要部署多个SLM来覆盖不同的需求领域，从而使AI基础设施复杂化。

然而，随着AI领域的快速发展，小模型的标准可能会不断变化。东京小模型初创公司Sakana的联合创始人兼首席执行官David Ha表示，“大小总是相对的。”

在这场AI的规模较量中，SLM正以其独特的优势，逐渐崭露头角。它们不仅降低了开发和部署的成本，也为商业客户提供了更便宜的解决方案。随着技术的不断进步，我们有理由相信，SLM将在未来的AI领域扮演越来越重要的角色。

小伙伴们，对于这场AI领域的新变革，你们有什么看法呢？是否看好SLM的发展前景？欢迎留言讨论，分享你的观点。

声明:部分信息来源于网络。刊载此文是出于传播知识传递信息的目的。如有侵权，请及时联系我们，我们将第一时间处理。返回搜狐，查看更多

责任编辑：

孙骁骁：

9秒前：AI新风向：小型语言模型挑战大模型霸权

Steve·Delaney：

9秒前：就在不久前，微软和英伟达相继发布了Phi-3.

满岛光：

6秒前：SLM的市场前景

乔伊·纳什：

2秒前：5-mini-instruct和Mistral-NeMo-Minitron8B，这两款小型语言模型以其在计算资源使用和功能表现之间的良好平衡，成为市场的新宠。

强国观察室