随着国产3A级游戏巨作《黑神话：悟空》的横空出世，其背后的空间算力市场也快速成为资本市场的焦点。这款游戏的成功，证明了物理世界与虚拟世界之间无缝衔接的技术已经成熟，也为大模型技术的发展提供了新的思路。
在人工智能大模型快速发展的浪潮下，对算力的需求也随之暴增。为了满足这种需求，基础设施建设成为了行业关注的重点。2024年被认为是AI大模型的应用元年，越来越多的商业银行加大了对大模型基础设施建设的投入，并开始将多模态模型架构视为布局的关键方向。
多模态大模型趋势凸显
随着大模型技术的不断进步，2024年以来，银行等金融机构积极探索大模型的场景应用，并着力构建大模型应用生态。
一些上市银行在年报中披露了其AI大模型平台建设的最新进展。招商银行半年报显示，该行正全面推进大语言模型的体系化建设，从基础设施、推理与训练平台、算法与模型、应用开发框架和场景应用等多个领域发力。招商银行还不断完善内部大模型体验平台，并积极与大模型生态链企业合作，推动内部和外部生态建设，加速AI大模型等前沿科技的应用落地。
建设银行半年报则表明，该行持续推进金融大模型建设及应用，将其应用于公司金融、个人金融、资金资管、风险管理、科技渠运、综合管理等六大板块的79个行内业务场景。
平安银行半年报指出，该行上半年自主研发了大模型开放平台，并加强了算力平台、大模型底座、大模型开发运维一体化（Ops）、智能体（Agent）、应用开发平台等基础能力建设。
在2024年招银浦江数字金融生态大会上，招商银行信息技术部总经理、候任首席信息官周天虹强调，大模型将成为影响人类社会的最大因素，未来将深刻改变人们的经济、社会和生活方式。他表示，银行也将积极探索大模型场景应用，持续加快推动AI大模型等前沿科技应用落地。
AI大模型的基础设施建设和场景应用探索，正在成为银行金融科技布局的关键着力点。
招商银行总行信息技术部副总经理俞吴杰透露，该行早在2017年年底就成立了实验室，开始在语音、语言、视觉、图像等各个方面展开研究，并在 ChatGPT 推出后加大了对大模型领域的投入。如今，招商银行将基础设施建设和场景应用视为重要的投资方向。
俞吴杰也指出，当前的大语言模型虽然具备一定的理解、生成和逻辑推理能力，但尚未达到复杂逻辑推理和原理推导的阶段。他认为，大模型在金融行业的应用将经历三个阶段：第一阶段，将大模型能力叠加到数字化产品中，提升现有业务流程的效率；第二阶段，将AI能力融入应用，优化客服体系流程，让客户能够自助获取金融服务；第三阶段，大模型将重塑一切，包括底层操作系统、组织模式、流程分工等，带来更加深刻和本质的影响。
从金融机构的大模型应用实践来看，当前行业普遍处于第一、第二阶段。进入AI大模型发展阶段，大模型的应用对企业大模型基础建设提出了更高的要求。
阿里云百炼大模型平台资深算法专家刘兆洋表示，大模型技术发展有几个可以探索的方向，其中One for all同时支持语言、语音、图像输入的多模态模型是大趋势。这种模型能够处理文本、图像、视频等多模态的输入和输出，其中也包括图像的理解和生成。
据最新发布的一份《人工智能大语言模型技术发展研究报告（2024年）》显示，未来的大模型将更加注重多模态数据的融合和处理，更趋于提升自适应和迁移学习能力，并采用可解释性算法提高透明度，使大语言模型能够更好地理解和适应复杂多变的实际应用环境。
然而，拓元智慧首席科学家王广润指出，当前的多模态模型大多基于7年前的技术架构，尽管已经取得了一定的进展，但仍存在不少问题，例如训练和推理成本高昂、容易产生幻觉、不擅长长期规划以及无法自主完成复杂任务等。
王广润透露，针对这些问题，拓元智慧提出了通过全新技术架构来重塑多模态大模型基础的创新思路。“这一创新架构不仅显著降低了大模型的训练和测试成本，还大幅降低了中小企业进入大模型时代的门槛，从而推动了科技的平权化。”
算力基础设施建设提速
大模型的发展和应用高度依赖于强大的算力支持。刘兆洋表示，算力是这个时代最稀缺的资源，算力将成为每家企业发展或者人工智能发展的最大基石。
中国工程院院士、鹏城实验室主任、北京大学博雅讲席教授高文强调，GPT等模型的发展依赖于大数据、大模型和大算力；算力规模是国家竞争力的核心要素，建设算力网至关重要，需解决核心算力供给、通信连接和算力调度等挑战，以推动AI的发展和应用。
在此背景下，越来越多头部企业持续加大对大模型基础设施建设的投入。
招商银行总行信息技术部副总经理陈曦透露，目前该行也在加快AI云平台的建设，为AI业务应用提供所需的基础能力和模型服务平台，重点聚焦训练集群和推理集群两个集群的算力基础设施建设。
陈曦表示，随着大模型的出现，智算比例会越来越大，而且不仅是基础设施的升级换代，也涉及到更上层面的开发范式变化。
刘兆洋指出，从2020年或者2021年GPT开始做Transformer大模型的储备之后，不管是模型的数量、规模还是对算力、数据的需求，都呈现出明显指数增长的趋势。
在这种趋势下，大模型对于算力支撑也带来了更大的挑战。
昆仑芯金融首席架构师周玮指出，大模型对于算力需求的增速，远大于硬件本身的增速；同时，在中美竞争的大背景下，国产芯片还面临卡脖子的问题。“所以总体来说，全球算力供给都是不满足于现在软件需求的。”
此外，周玮还表示，如何评价某一款算力能否满足需求，不只看算力计算本身的能力，更要看综合的指标。他认为，现在大家已经普遍认可算力不是简单计算的浮点数或者主频、核数这样一个简单的指标，它是计算、存储和通信不同硬件能力的综合值。
周玮强调，为了满足大模型预训练或者精调算力需求，一定要把不同的算力做异构混合的算力资源池，在统一的资源池之下做训练任务、推理任务，做Agent、RAG。
强化算力基础设施建设投入的同时，部分金融机构也开始关注金融科技人才创新能力的提升，以进一步助力AI大模型建设和应用实践探索。
周天虹表示，展望未来，继蒸汽时代、电气时代、信息时代之后，人类社会即将进入智能时代；只有技术应用的百花齐放，才能推动“AI+金融”的整体向前发展。
招商银行总行数字金融发展办公室主任高旭磊也透露，该行推出了浦江数金学习计划，增加交流频次，提升交流密度，争取碰撞出更多的创新方向。在他看来，创新不是孤立发生的，而是适宜的环境下，在思想、经验和文化的交汇处开出的花朵。“在数字金融浪潮中，众人皆是见证者、参与者和创造者。希望各家金融机构能够共同研究数字金融发展规律，尝试创新模式和方法，共同促进数字金融前沿技术的发展与应用。”
