从ChatGPT最初发布算起，虽然大模型的热潮已经持续了一年多，但大部分时间依然停留在学术前沿和技术创新层面，深入具体场景实现产业价值的案例并不多见。
比如一些公认的难题，如幻觉、垂直领域知识难获取、数据时效性不够、无法预测的数据集、分词器依赖、高推理延迟、有限的上下文长度、微调开销成本等，还未解决。
在这种情况下，该如何破局？
在 12 月 19 日举办的Baichuan2 Turbo系列API发布活动上，百川智能创始人、CEO 王小川给出了答案：
百川智能正式开放了基于搜索增强的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K及Baichuan2-Turbo。
该系列API不仅支持192K的超长上下文窗口，还增加了搜索增强知识库的能力，所有用户均可上传特定文本资料构建自身专属知识库，根据自身业务需求构建更完整、高效的智能解决方案。
LLM大模型落地时存在一些问题：幻觉，回答不准确；时效性差，知识无法及时更新；专业知识不足，垂直落地门槛高等。
百川智能给出的解决方案是：长文本大模型+搜索增强，让模型能获取互联网实时信息，也能接入企业完整知识库。
「大模型是新时代的计算机」是业内常用的比喻，上下文窗口是模型能力的内存，而王小川认为，「搜索增强」是大模型的「硬盘」，将互联网实时信息和企业知识库像硬盘一样即插即用，「外挂在计算机上」。
现在，你可以直接甩给Baichuan2-Turbo-192K五个公众号文章的链接 ，让它总结出这些爆款文章的共性。
把18页28k的特斯拉22年第四季度财报会议总结拖进Baichuan2-Turbo-192K，可以让它一次性输出会议纪要，包括财务业绩和市场需求、产品和技术发展、企业战略和未来规划等等。
长达51k的商品房买卖合同，出卖人、买受人、建面、价格等重要元素，可以按JSON格式输出。
连申请CS PhD，都可以直接把三个学校的官网地址发给它，Baichuan2-Turbo-192K会快速整理出申请Stanford 、CMU、MIT CS博士的具体要求。
Baichuan2-Turbo-192K可以最多上传20个文件，每个最多50M。相比之下，Claude最多能传5个文件，每个文件最多10M。
经过百川智能算法团队的测试，搜索增强+长文本+大模型的方案，能够接入5000万tokens的数据集，比模型本身的context window提升「两个数量级」，实现 95% 精度的回答。
搜索增强知识库能够替代绝大部分企业个性化微调，解决 99% 企业知识库的定制化需求。
自从ChatGPT问世以来，大模型已经红火了整整一年。但在商业落地这块，却还没有实现非常理想的效果。
至于原因何在，我们不妨先更全面地了解一下「大模型」落地应用，到底是什么样的。
今年11月，OpenAI著名科学家Andrej Karpathy提出了一种全新的理念——「大模型操作系统」。
无独有偶，百川智能也有类似的认知，认为大模型时代的计算机主要包含以下几个部分：
其中，大模型类似于「CPU」，通过预训练将知识内化在模型内部，然后根据用户的Prompt生成结果；上下文窗口可以看做是「内存」，存储了当下正在处理的文本；
互联网信息与企业知识库则共同构成了这个系统的「硬盘」。
当我们把它类比成最常见的计算机之后，商业化难的原因就显而易见了。
作为CPU的大模型基于Transformer架构打造，是一种在海量数据上预训练的概率预测模型，以参数的形式将知识内化在模型内部，道不清说不明，而且通用大模型在预训练过程中它给长尾知识分配的权重比较小。
对于一些非常重要但数据量很小的知识，它虽然也会内化到模型中，但是在输出时并不会给太大的权重，因此存在幻觉、时效性差、专业知识不足等先天缺陷。
而互联网信息与企业知识库存在「硬盘」里，如果大模型既没有在训练时学会，又不能随时访问，那么就一定会出现专业知识的空白。
王小川表示，搜索增强最大的目的不是解决幻觉问题，而是解决「可定制化」问题。
前搜狗 CMO，目前担任公司联创、联席总裁的洪涛在 8 月加入百川智能，负责商业化。
在商业化线索沟通中，洪涛发现，前期很多客户「想了解大模型，很多人来问大模型到底是什么，能干什么」。
而最近两个月，客户的问题越来越具体，「已经有一些场景感受到能用大模型了，但是解决的时候比较痛苦，最基础的是微调，狠一点的 SFT、Post-Training 都会提，但这些其实很『重』。」
通过SFT、Post-Training的方式训练行业模型，需要企业具备一定的大模型技术人才。
需要一定量的算力和时间成本，并且一旦出现数据更新，或者基座模型升级的情况，都需要重新训练。
核心还是成本，客户成本高，项目利润低。
「相对能盈利的toB公司，卖的大多是『产品』，而大多数定制化是『项目』，」洪涛说，搜索增强的完整技术栈，目的就是让API外挂企业知识库实现「定制化」，是一款产品，可配置、可调整。
他举了Oracle的例子，各种产品的组合提供解决方案，而不是单独开发一个数据库。
「我们也希望在为私有化客户做定制化的时候，用产品组合的方式来做，而不是用全都重新开发一遍的方式做。」洪涛说道。
王小川进一步阐释称，所谓定制化，customize，更准确地说是个性化，客户天生有「个性化」的需求。
百川希望避免的，是「项目化」，「用产品化取代项目化，是指产品具有定制化的能力，能够实现企业的低成本定制。企业可以把知识库对接，避免做成项目，客户成本很高。」
短短一年间，大模型的发展超乎人们的想象。
我们曾经展望「行业大模型」能够带来千行百业的生产力释放，但行业大模型受到专业技术人才和算力支撑等因素制约，更多中小企业更无法在这波大模型浪潮中收获红利。
由此可见，走出「从产品到落地」这一步，的确比当初的「从技术到产品」更难。
在轰轰烈烈的百模大战到定制化大模型的比拼中，技术经历了一轮又一轮迭代，从最开始基于预训练做行业大模型、基于后训练或 SFT 做企业专属模型。
到之后利用长窗口、向量数据库等技术开发专属定制化模型，虽然都推动大模型离理想中的「全知全能」更近了一些，但在广泛行业垂直场景中的应用落地还无法真正实现。
百川智能打造「大模型 + 搜索」技术栈，在凭借长窗口提升模型基础性能的同时，利用搜索增强更高效、全面地连接领域知识和全网知识，提供了一种更低成本的定制化大模型之路，率先迈出实现「全知」的一步。
我们有理由相信，这将引领大模型产业落地走向全新阶段。
评论0