百度智能云“千帆大模型平台”升级：接入Llama 2等33个模型，上线插件功能和103个Prompt模板

图片来源：图虫创意

8月2日，记者从百度智能云方面获悉，千帆大模型平台已完成新一轮升级，重点升级了三大功能。

百度智能云AI与大数据平台总经理忻舟表示，目前，千帆大模型平台已经全面接入Llama2全系列、ChatGLM2、RWKV、MPT等33个大模型，成为国内拥有大模型最多的平台。接入的模型经过千帆平台二次性能增强，模型推理成本可降低50%。同时，千帆平台上线了国内最全的预置Prompt模板，模板数量多达103个，覆盖对话、游戏、编程、写作十余个场景。第三，千帆是提供插件服务的大模型平台，本次升级再次发布多款全新插件。

2023年3月，百度智能云推出“千帆大模型平台”，它是一站式的企业级大模型平台，不但提供包括文心一言在内的大模型服务及第三方大模型服务，还提供大模型开发和应用的整套工具链，能够帮助企业解决大模型从训练到开发过程中的问题。

忻舟表示，本次千帆大模型平台升级的目的是给企业、开发者提供更加灵活、多样化、高效的大模型服务，客户可选择最适合自身业务的大模型，再利用千帆平台全套工具链进行模型再训练，打造企业专属大模型。

千帆接入Llama2等33个模型，推理成本可降低50%

当前，开源大模型生态发展迅速，大量模型涌现，在不同任务场景、参数量级与算力环境下体现出了差异化优势。如何选择适合的大模型、如何应用大模型能力提升市场竞争力，成为越来越多企业迫切探索的方向。

为了满足企业对大模型多样的需求，百度智能云宣布，除了之前已经接入的文心一言、BloomZ之外，本次升级后，千帆大模型平台全面接入Llama2全系列、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33个大模型。企业用户可将不同大模型搭配使用，以满足不同细分场景的业务需求。企业和开发者可以登陆千帆大模型平台操作台，在“模型仓库”中直接调用、部署。

忻舟介绍，千帆平台接入的大模型均经过严格优选，主要考核三大指标：模型效果、模型安全性、可商用。

据介绍，一方面，千帆对每一个大模型进行了二次性能增强。通过优化模型吞吐、降低模型尺寸，实现模型推理速度的提升。据百度测算，调优后模型体积可压缩至25%-50%，推理成本可降低50%。

另一方面，千帆对第三方大模型做了二次安全增强。值得一提的是，千帆还提供多种低门槛调优工具，包括SFT（全量参数微调、Prompt Tuning、LoRA）及强化学习（奖励模型学习、强化学习训练）等，同一模型还可通过多种方式持续调优。

上线Prompt海量模板库

Prompt是指通过自然语言向大模型提出问题，问题的好坏将直接影响大模型的内容输出质量。实际应用时，大模型往往因为Prompt缺乏针对性、描述不清晰等原因影响到内容准确性。

为帮助客户提高Prompt提问质量、提升模型输出满意度，本轮升级后，百度智能云千帆大模型平台上线了海量预置Prompt模板库，模板数量多达103个，包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景。用户可以根据需求选择合适的模板，直接输出给大模型,即可提高模型内容的针对性和准确度。

忻舟表示，很多企业使用大模型时，认为效果不好是模型本身的问题，其实很多时候重新编写Prompt就能达到预想的效果。海量Prompt模板的推出，降低了Prompt撰写难度。

提供插件服务的大模型平台，千帆插件功能再上新

插件是大模型能力的延伸，可以让大模型的认知能力与外部信息、资源融合打通，极大扩展大模型的功能边界。据了解，今年6月，千帆平台就上线了插件功能，是国内首家提供插件服务的大模型平台。

为实现客户更加个性化的需求，千帆大模型平台又发布了一系列插件功能。例如，刚刚上线的“Chatfile插件”，用户可在大模型对话中一键上传PDF/Doc格式文档，大模型即可基于文档内容实现知识点检索，长文本摘要等功能。

值得一提的是，千帆的插件功能已应用于百度内部的办公场景中，基于大模型技术打造的如流“超级助手”接入了会议室插件、内部搜索插件等20个插件。百度员工用自然语言与“超级助手”对话，即可实现文档搜索、会议室预定、饭卡充值、休假申请等功能。

忻舟表示，大量客户调研显示，企业对插件功能的需求非常迫切。