BigScience推出一个开源的语言AI模型,名为Bloom,在性能上与 GPT-3 相当,且关注英语之外的其他语言——可以处理46 种语言,包括法语、汉语、越南语、印度尼西亚语、加泰罗尼亚语、13 种印度语言(如印地语)和 20 种非洲语言。
大型语言模型是近年来最成功的人工智能技术之一:OpenAI、谷歌、英伟达、阿里巴巴等大型公司都推出了自己的AI模型。但这些AI模型均不开源,且需要付费才能访问。这使得独立研究人员多年来一直致力于开源替代方案,以开放对大型语言模型的使用和研究。
先驱者包括今年早些时候发布了 200 亿参数 GPT-NeoX-20B 的研究组织 EleutherAI,以及支持开源 AI 模型的开发、训练和部署的 AI 初创公司 Hugging Face等。受之推动,Meta 在 5 月发布了 1750 亿参数模型 OPT-175B——但仅对获得授权的研究人员开放。它是之前最大的开放语言模型,尽管访问权限仍然有限。
BigScience Bloom是迄今为止真正称得上开源的AI模型,现在可以在 Hugging Face 上免费下载。
Bloom 在法国国家科学研究中心的超级计算中心接受了超过 117 天的培训,参数大小为 1760 亿。该模型的开发由 Hugging Face 协调并由法国政府提供资助,有1000 多名志愿研究人员参与了开发。
目前的开源版本是在BigScience 开发的责任 AI 许可证下发布的,该许可证禁止在执法、医疗保健等领域使用 Bloom。由于该模型是直接可用的,而不是通过接口,因此与 OpenAI 不同,BigScience 无法有效防止滥用。
Bloom 有可能成为众多应用程序的基础,尤其是那些创建远离大型科技公司的替代 AI 应用程序的研究项目。