中国工商银行大数据和人工默认试验室 / 部门经理袁一确认缺席 FCon ，分享工商银行大数据平台助力全行数字化转型之路

作者 | 徐晓博 FCon 环球金融科技大会，将于 11 月在上海召开。中国工商银行大数据和人工默认试验室 / 部门经理袁一将宣布题为《工商银行大数据平台助力全行数字化转型之路》主题分享，引见实时数仓技术在工商银行的技术通常及典型案例、在经营大规模大数据集群和大数据平台在通常信创转型时的阅历、在向大数据平台云原生架构演进的通常，以及数据洞察平台（EasyDI）的实施。 袁一，从 2011 年开局接触大数据相关技术，从零到一全程介入了工商银行大数据平台的树立，是工商银行大数据技术畛域的后行者和技术专家，先后屡次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的树立宣布过地下演讲，宣布大数据畛域的专利 11 篇。 在最近几年里，继续关注行业新技术的灵活，并踊跃引入新技术，成功落地了多个大型名目，包含服务器下平台转型、SAS 国产化转型、实时数仓演进、湖仓一体云原生架构演进等，为工商银行的数字化转型上班提供了继续的持和助力。他在本次会议的演讲内容如下： 演讲：工商银行大数据平台助力全行数字化转型之路 本次演讲，将重要引见工商银行大数据平台在近几年数字化转型环节中，对大数据平台的经常使用越来越重，因此立足于处置业务痛点，在近几年里重要推进了如下几项上班： 业务侧对数据时效的需要越来越高，原先 T+1 已不可满足，而基于 ORC 文件做定时存增量兼并的形式资源开支很大，因此引入了 Flink+Hudi 的实时数仓加工形式，并提炼了设计形式，最终使数据加工时效最快到达了 1 分钟级。同步经过 CDC 技术，将服务器或 Oracle 等数据库中发生的数据实时地同步到大数据平台，成功业务下服务器。 随着实时数仓技术的始终成熟，工商银行大数据平台逐渐将一切数据切换成实时入湖的 Hudi 格局，构成了基于 Flink 开发的实时数仓和基于 Spark 开发的离线数仓的两条并行加工链路，两条加工链路之间数据可以共享，无需冗余存储，同时为配合实时数仓链路中 Flink 中所要关联的维表，工商银行大数据平台依据不同的业务场景，树立了相关型、键值型、多维搜查、时序、空间、向量等多种类型的联机数据库。 推进大数据平台向存算分别云原生化演进。工商银行大数据平台最大的 Hadoop 集群目前规模近 3000 台物理机，随着集群规模越来越大，在资源隔离、弹性扩缩容等方面的无余越来越显著。因此经过参照互联网企业的做法，开局通常云下存算一体向云原生活算分别架构演进，在此环节中同步推进了数据平台信创转型。 树立 EasyDI 平台，在 2022 年面向选个人剖析师提供了可视化报表开发工具，使报表开发不再依赖于科技。在 2023 年中经过战略模板核心构成了不同分行、不同部室之间用数形式复用的才干，构建了出世态。同时 2023 年 2 季度起正在钻研基于生成式大模型技术成功对话式 BI 用数助理的课题，旨在经过 AI 技术进一步降落用数门槛。 演讲提纲： 实时数仓技术在工商银行的技术通常及典型案例 工商银行在经营大规模大数据集群时的若干阅历 工商银行在向大数据平台云原生架构演进的若干通常 工商银行大数据平台在通常信创转型时的若干阅历 工商银行数据洞察平台（EasyDI）的若干实施 了解到实时数仓技术在工商银行的技术通常及典型案例 了解到工商银行在经营大规模大数据集群时的若干阅历 了解到工商银行在向大数据平台云原生架构演进的若干通常 了解到工商银行大数据平台在通常信创转型时的若干阅历 了解到工商银行数据洞察平台（EasyDI）的若干实施 除上述演讲外，FCon 上海还将围绕 DevOps 在金融企业落地通常、金融行业大模型运行、翻新的金融科技运行、金融实时数据平台树立之路、金融安保危险管控、数据因素流通与数据合规等启动交换。 揭发