萨摩耶云科技集团:ChatGPT在金融和跨境电商建立新人机协作模式

时间:2023-02-28 11:18
来源:网络
阅读量:14210   
萨摩耶云科技集团:ChatGPT在金融和跨境电商建立新人机协作模式

自2022年11月上线后,ChatGPT就一路开挂,不仅 5 天时间便突破百万用户,月活用户突破 1 亿更是仅用时 2 个月,成为史上增速最快的消费级应用,远超TikTok、Facebook、Google等全球应用,可谓来势汹汹。ChatGPT表现出很高的人机交互水平,以及自然语言大模型具备面向通用人工智能的特征,在众多行业领域有着广泛的应用潜力。ChatGPT大热之下,其背后技术的原理是什么?AIGC的兴起给金融、跨境电商等众多行业带来怎样的机遇与挑战?AI又将如何赋能商业决策?

真正与人类进行交流

ChatGPT是由OpenAI团队开发和训练的一个人工智能聊天机器人程序,使用了Transformer架构,它拥有语言理解和文本生成能力,尤其是通过连接大量的语料库来训练模型,这些语料库包含了真实世界中的对话,使得ChatGPT具备上知天文下知地理,还能根据聊天的上下文进行互动的能力,做到与真正人类几乎无异的聊天场景进行交流。

2020年5月的GPT-3,参数量达到了1750亿,堪称“大力出奇迹”。ChatGPT 作为基于GPT-3.5架构开发的大规模对话AI模型,刚一问世就令全球为之震动,而其很可能是GPT-4 正式推出之前的演练。

不过,在萨摩耶云科技集团数据业务部副总经理易小华看来,从技术角度来说,ChatGPT本身使用到的技术在过去5年已被业界反复验证,并不存在非常大的突破。“OpenAI多年的厚积为现在的薄发打下了基础,它所积累的模型规模已经把竞争对手甩在身后。”易小华感叹。

ChatGPT的数据飞轮开始转动

从GPT1.0到GPT3.0,再到目前ChatGPT所使用的GPT3.5 , 在过去5年的时间,OpenAI投入了大量的人力、财力、算力,将其模型规模积累壮大。

2018 年 OpenAI 采用 Transformer Decoder 结构在大规模语料上训练了 GPT1 模型,揭开了NLP模型预训练+微调的新范式。2019 年,OpenAI 提出了 GPT2,GPT2 拥有和 GPT1 一样的模型结构,但得益于更多和更高的数据质量以及新引入的多任务学习方式,语言生成能力得到大幅提升。之后由于 GPT 采用 Decoder 单向结构天然缺陷是无法感知上下文,Google 很快提出了 Encoder 结构的 Bert 模型可以感知上下文,效果上也明显有提升,同年 Google 采用Encoder-Decoder 结构,提出了 T5 模型,从此大规模预训练语言模型朝着三个不同方向发展。

易小华认为,直到2020 年 OpenAI 提出了 GPT3 将 GPT 模型提升到全新的高度,其训练参数达到了 1750 亿,训练语料超45TB,自此GPT系列模型的数据飞轮便转动起来,超大模型时代开启, NLP 任务走向了预训练+情境学习新路线。由于 GPT3 可以产生通顺的句子,但是准确性等问题一直存在,于是出现了InstructGPT、ChatGPT 等后续优化的工作,通过加入强化学习模式实现了模型可以理解人类指令的含义,会甄别高水准答案,质疑错误问题和拒绝不适当的请求等。

强大的ChatGPT如何训练而成?

ChatGPT使用了RHLF方法来训练模型,它分三步来训练:

第一步:训练监督策略模型。为了让GPT 3.5初步具备理解指令的意图,首先会在数据集中随机抽取问题,由人类标注人员,给出高质量答案,然后用这些人工标注好的数据来微调 GPT-3.5模型,经过微调的模型已经具备在对话场景初步理解人类意图的能力。

第二步:训练奖励模型。这个阶段主要是通过人工标注训练数据,来训练奖励模型。在数据集中随机抽取问题,使用第一阶段生成的模型,对于每个问题,生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。

接下来,使用这个排序结果数据来训练奖励模型。对多个排序结果,两两组合,形成多个训练数据对比。RM模型接受一个输入,给出评价回答质量的分数。

第三步:使用PPO强化学习来增强第一步生成的微调模型。首先初始化 PPO 模型,采样一批和前面用户提交 prompt 不同的集合,使用 PPO 模型生成答案。利用第二步回报模型对答案打分,通过产生的策略梯度去更新 PPO 模型。这一步利用强化学习来鼓励 PPO 模型生成更符合奖励模型判别高质量的答案。

然后通过第二和第三步的反复迭代,使得 PPO 模型的生成能力越来越强,直到人都很难分辨出来。

瑕不掩瑜,新技术革命风暴袭来

尽管ChatGPT表现出出色的上下文对话能力甚至编程能力,完成了大众对人机对话机器人从“人工智障”到“有趣”的印象改观。我们也要看到,ChatGPT技术仍然有一些局限性,还在不断地进步。比如,其未经大量语料训练的领域缺乏“人类常识”和引申能力,甚至会一本正经的“胡说八道”;ChatGPT无法处理复杂冗长或者特别专业的语言结构;需要非常大量的算力来支持其训练和部署;无论是训练时间或训练成本,都是普通训练者难以接受的;ChatGPT仍然是黑盒模型,目前还未能对内在算法逻辑进行分解。

从辩证的角度来看,ChatGPT虽不完美,但它提升了理解人类思维的准确性,带来了里程碑式的技术革命。它将带动AI杀手级应用出现,代替大量低端人力,将给世界带来新的产业革命;使用大模型可以接近人类的思考能力;科技领先的马太效应会越来越明显。

ChatGPT在全球迅速掀起浪潮,中信证券研究院报告认为,中短期内产业化的方向,主要为文字模态的AIGC应用、代码开发相关、图像生成领域、智能客服四大板块。而业内普遍认为,ChatGPT引领的大模型正在让AI技术从五年前的“能听会看”,走到今天的“能思考、会创作”,未来有望实现“会推理、能决策”的重大进步,其在决策智能领域有着广阔的应用潜力。

萨摩耶云科技集团在决策智能技术攻坚已取得重要原始性突破,在金融、跨境电商物流、电信领域积累了丰富的经验。“我们认为,ChatGPT可在营销、客服、风险控制、代码编写、跨境电商内容生成等业务场景中发挥重要价值。”易小华说。

重新赋能金融与跨境电商决策

易小华表示,把传统机器学习,个性化推荐、知识图谱、决策引擎等技术和LLM模型技术融合,会进一步优化模型的智能性,改变信贷服务的人机交互体验,使得金融服务更有温度。“我们试图在营销和客服场景中建立新的人机协作模式。一方面,在营销上基于人群和标签划分进行个性化推荐,在客服上执行问题理解、对话管理、问题推荐、答案生成等机器任务。另一方面,人工方面则主要专注于话术推荐和会话摘要生成等。”

而在金融风险控制方面,利用知识图谱引擎原有的隐性集团识别、深度链扩散、子图筛选等能力基础上,类似于ChatGPT的大语言模型可扩展出更高维度、更大范围的隐性关系识别。通过对用户信用数据、历史借款记录、还款记录等数据分析,评估用户风险等级,实现对关键要素提取、资料自动化审核、风险点提示等风控领域的业务流程自动化水平的提升,向金融机构提供全方位智能风险管理服务,大幅提高风险识别能力。

当前,在跨境电商领域的应用方面,虽然ChatGPT可以直接帮助卖家生成内容,但是效果还是需要进一步改进。OpenAI提供了对GPT模型进行微调然后生成自定义GPT模型的接口能力,萨摩耶云科技集团通过调用接口,实现上传自己的训练语料对GPT模型进行微调,达到定制化模型的效果。未来,其可帮助跨境电商卖家在产品编写/优化listing、提升跨境电商平台店铺和产品排名、输出丰富优质的邮件营销内容、提供即时客户服务改善客户体验、开展智能广告投放提升转化率等层面进行降本增效。

人工智能已在多领域广泛应用,ChatGPT高超的人机交互水平、通用人工智能的特征,让世界为之惊叹。“不断进化的ChatGPT将为识别、生成和决策重新赋能,对社会经济发展可能会产生渗透性、颠覆性的作用。如何应对人工智能会是件有意思的事情,但AI的未来肯定超酷。”易小华对ChatGPT的应用前景充满期待。

声明:免责声明:此文内容为本网站转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。