{"data":"{\"category\":\"technology\",\"content\":\"\\u003cdiv\\u003e\\u003cp\\u003e数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。本篇文章，作者介绍了银行数据治理该如何去做，包括数据治理有哪些环节，又有哪些误区，一起来看看吧，希望能够给你带来帮助。\\u003c/p\\u003e\\u003c/div\\u003e\\u003cimg src=\\\"http://p1.img.360kuai.com/t014cf6ab433db59ad0.jpg\\\"\\u003e\\u003cp\\u003e数据治理的目的是什么？\\u003cstrong\\u003e数据治理的最终目标是提升数据的价值。\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理是一个从上到下的工作，资源的调动，制度的设计、执行、监督，最终都要落实在人上，只有获得组织内部全链条的支持，最终才能取得成效。\\u003c/p\\u003e\\u003ch1\\u003e一、为什么说数据治理是脏活累活呢？\\u003c/h1\\u003e\\u003cp\\u003e数据的收集、治理和管理是个长期的活，需要的资源多，项目周期长，不懂的领导不太明白这块工作的价值和工作量。\\u003c/p\\u003e\\u003cp\\u003e数据治理长期且繁杂，而且大多数时候很难看到立竿见影的效果，很多坑容易踩到，一不小心就以失败告终，所以经常被吐槽为“脏活累活”。\\u003c/p\\u003e\\u003cp\\u003e吐槽归吐槽，但数据治理的重要性也不可否认。做数据治理很难，但对于一些正在数字化转型道路上迈步前行的银行来说，这又是一件关系到发展战略的不得不做的基础工程，银行早在10年前已经开始进行数据治理，只是大家的治理的水平和阶段不一致而已。\\u003c/p\\u003e\\u003cstrong\\u003e1.源数据\\u003c/strong\\u003e\\u003cp\\u003e烟囱式开发：业务繁多、数据库多而乱，系统与系统之间错综复杂\\u003c/p\\u003e\\u003cp\\u003e数据库种类：架构经历多次变迁，切换不完全，需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据\\u003c/p\\u003e\\u003cp\\u003e数据结构混乱：同一字段，类型、命名都不一致\\u003c/p\\u003e\\u003cp\\u003e文档缺失：无数据库文档或文档陈旧\\u003c/p\\u003e\\u003cstrong\\u003e2.变迁\\u003c/strong\\u003e\\u003cp\\u003e系统版本升级：每一次升级都只是掩盖之前的错误，数据治理需要从源头\\u003c/p\\u003e\\u003cp\\u003e人员变更：梳理过程中的大部分问题最终答案：“不清楚，原来维护人已离职”\\u003c/p\\u003e\\u003cp\\u003e数据流转：数据从源头经过很多次不规范的同步\\u003c/p\\u003e\\u003cstrong\\u003e3.存量\\u003c/strong\\u003e\\u003cp\\u003e各自为政：各业务部门已有自己的统计逻辑和报表，同一指标汇总维度又不一致，梳理、治理、输出还要尽量不影响已有报表结果\\u003c/p\\u003e\\u003cp\\u003e半途而废：前任都知道数据治理、统一出口的重要性，但只完成一部分就放弃了。问题在于“完成的一部分”有人还在用。\\u003c/p\\u003e\\u003ch1\\u003e二、数据治理闭环\\u003c/h1\\u003e\\u003cimg src=\\\"http://p0.img.360kuai.com/t01c9a35b58843163dd.jpg\\\"\\u003e\\u003cp\\u003e\\u003cstrong\\u003e1、组织固定的数据治理团队\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e行里分管的领导需要组建一支对数据治理有足够认识、有治理经验、熟悉业务的团队，给予团队有相对的资源和足够权限，得到各部门的全力配合和支持。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e2、清楚行内数据质量和任务\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e行内的数据采集情况、数据存储情况，数据从分散的系统集中到数据仓库。评估当前数据质量，保证数据完整性、准确性、及时性、一致性、唯一性，明确数据治理的任务和阶段目标。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e3、规范治理流程和建立制度\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理团队可以选择从业务流程，也就是数据产生的源头开始，对其进行规范化、流程化、标准化处理，并建立相关业务规则文档，保证业务部门能够在人员流动中保持数据治理意识。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e4、确认业务指标，划分数据层级\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e在数据治理工作中，对数据进行指标、标签分类非常重要，数据治理团队自己要熟悉业务和各个系统，与业务部门充分沟通，并要求合作为业务数据建立对应的指标体系，划分核心数据指标，进行分类分级。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e5、建立平台，自动化处理机制\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e治理过程中需要建立自动化治理平台，让业务数据能够自动传输到对应数据仓库中。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e6、关注异常数据，完善业务系统\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理团队建立监控预警机制，分析数据质量和异常数据，协调技术人员完善业务系统。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e7、完善业务数据闭环\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理团队可以对整个数据治理周期流程进行整合，形成一套完整的“业务-数据-处理-存储-调取-利用-分析-可视化-预警-决策-业务”闭环流程，让数据在过程中不断优化，持续提高数据质量。\\u003c/p\\u003e\\u003ch1\\u003e三、数据治理体系\\u003c/h1\\u003e\\u003cp\\u003e银行数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。\\u003c/p\\u003e\\u003cimg src=\\\"http://p2.img.360kuai.com/t0175577b65ac0197b9.jpg\\\"\\u003e\\u003cp\\u003e\\u003cstrong\\u003e1、数据质量\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e一般采用常用的标准来衡量数据质量的好坏：完整性、准确性、一致性和及时性。\\u003c/p\\u003e\\u003cp\\u003e完整性：数据的记录和信息是否完整，是否存在缺失情况。\\u003c/p\\u003e\\u003cp\\u003e准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误。\\u003c/p\\u003e\\u003cp\\u003e一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致。\\u003c/p\\u003e\\u003cp\\u003e及时性：数据能及时产生和预警。\\u003c/p\\u003e\\u003cimg src=\\\"http://p0.img.360kuai.com/t013fa23da705e0a288.jpg\\\"\\u003e\\u003cp\\u003e\\u003cstrong\\u003e2、元数据管理\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e元数据是关于数据的组织、数据域及其关系的信息，通俗理解，元数据就是描述数据的数据。\\u003c/p\\u003e\\u003cimg src=\\\"http://p1.img.360kuai.com/t0117ef163d5e6dd3ec.jpg\\\"\\u003e\\u003cp\\u003e元数据包含技术元数据和业务元数据，让数据分析人员对银行的数据情况一目了然，数据存储在哪里，如何抽取、清理、维护这些数据，血缘关系怎么样。\\u003c/p\\u003e\\u003cp\\u003e元数据确立数据业务含义可解释性。\\u003c/p\\u003e\\u003cp\\u003e提升数据整合和溯源能力，血缘关系可维护性。\\u003c/p\\u003e\\u003cp\\u003e建立数据质量稽核体系，分类管理监控。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e3、主数据管理\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e银行的数据分为三部分：主数据、交易数据、指标数据。其中，主数据和交易数据合称为基础数据。主数据指银行内一致并共享的业务主体，常见的主数据比如银行的员工、客户数据、渠道数据、产品数据。\\u003c/p\\u003e\\u003cp\\u003e主数据还包括一些关系数据，它们描述了主数据之间的关系，比如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e4、数据资产管理\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据资产管理主要关心数据有没有被合理利用？如何产生最大价值？这些都是数据资产管理关心的核心工作，数据资产从业务角度和技术角度进行合并，输出统一的数据资产分析，向外提供统一的数据资产服务。\\u003c/p\\u003e\\u003cimg src=\\\"http://p2.img.360kuai.com/t015fb4607a8d1d69da.jpg\\\"\\u003e\\u003cp\\u003e如何盘活数据，形成数据资产，提供完整的数据资产全景视图，让数据管理部门和业务部门全局、宏观地掌控银行资产动态。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e5、数据安全\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据安全是银行数据建设必不可少的一环，我们的数据都存储在服务器中，需要对数据进行核查、敏感字段加密、访问权限控制，确保数据能够被安全地使用。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e6、数据标准\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据要有统一的标准，保障数据内外部使用和交换的一致性和准确性的规范性约束，通过统一规范，消除二义性。\\u003c/p\\u003e\\u003cp\\u003e定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。\\u003c/p\\u003e\\u003ch1\\u003e四、数据治理的几点误区\\u003c/h1\\u003e\\u003cp\\u003e\\u003cstrong\\u003e1、数据治理是否要做得大而全\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e不同阶段和规模的银行，数据治理的实施程度会有所不同，一般建设先根据自身的数据状况分阶段进行，避免盲目铺开规模，过程中可调整。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e2、数据治理是技术部门的事吗\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理不仅仅是技术团队的事，而银行各部门一起协作完成，包括各业务线以及其它网点和营销点。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e3、数据治理不是短期的项目\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e数据治理是个长期过程，随着业务发展和银行规模增长，业务系统的不断的迭代，数据治理是一个长期而持续的项目。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e4、一定需要建设平台吗\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e前期平台不是必须的，首先要有成熟的数据治理体系和策略，自建平台和采购平台都可以，先把体系建设好。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e5、数据质量问题各类原因\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e有业务方面的数据定义不明确，也有技术方面的数据抽取不完整。\\u003c/p\\u003e\\u003cp\\u003e有管理方面的岗位职责不清晰，也有执行层面的数据操作不规范。\\u003c/p\\u003e\\u003cp\\u003e有数据处理加工过程中出现了错误，也有数据源本身就有问题。\\u003c/p\\u003e\\u003cp\\u003e有数据治理系统功能有缺陷，也有系统强大但是没人用……\\u003c/p\\u003e\\u003ch1\\u003e五、小结\\u003c/h1\\u003e\\u003cp\\u003e数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。\\u003c/p\\u003e\\u003cp\\u003e数据治理是几乎需要所有部门参与和支持的项目，进行长期且持续的坚持才能实现成功的系统项目。\\u003c/p\\u003e\\u003cp\\u003e数据治理的最终目标是赋能业务，提升数据价值。这是一个持续漫长的运营过程，需要逐步完善、分步迭代，指望一步到位完成数据治理是不现实的。\\u003c/p\\u003e\\u003cp\\u003e项目型的数据治理，是不全面的，无延续性，能够解决一时的数据问题，但很难获得持续的数据价值。\\u003c/p\\u003e\\u003cp\\u003e\\u003cstrong\\u003e专栏作家\\u003c/strong\\u003e\\u003c/p\\u003e\\u003cp\\u003e汤向军，公众号：营销数字化转型（ID：Fi-Digital），人人都是产品经理专栏作家。专注于银行数字化转型。\\u003c/p\\u003e\\u003cp\\u003e本文原创发布于人人都是产品经理。未经许可，禁止转载\\u003c/p\\u003e\\u003cp\\u003e题图来自 Unsplash，基于 CC0 协议\\u003c/p\\u003e\\u003cp\\u003e该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务\\u003c/p\\u003e\",\"gnid\":\"90751a3872c3cb6a3\",\"img_data\":[{\"flag\":2,\"img\":[{\"desc\":\"\",\"height\":\"420\",\"title\":\"\",\"url\":\"http://p1.img.360kuai.com/t014cf6ab433db59ad0.jpg\",\"width\":\"900\"},{\"desc\":\"\",\"height\":\"551\",\"title\":\"\",\"url\":\"http://p0.img.360kuai.com/t01c9a35b58843163dd.jpg\",\"width\":\"865\"},{\"desc\":\"\",\"height\":\"477\",\"title\":\"\",\"url\":\"http://p2.img.360kuai.com/t0175577b65ac0197b9.jpg\",\"width\":\"865\"},{\"desc\":\"\",\"height\":\"351\",\"title\":\"\",\"url\":\"http://p0.img.360kuai.com/t013fa23da705e0a288.jpg\",\"width\":\"794\"},{\"desc\":\"\",\"height\":\"494\",\"title\":\"\",\"url\":\"http://p1.img.360kuai.com/t0117ef163d5e6dd3ec.jpg\",\"width\":\"580\"},{\"desc\":\"\",\"height\":\"170\",\"title\":\"\",\"url\":\"http://p2.img.360kuai.com/t015fb4607a8d1d69da.jpg\",\"width\":\"865\"}]}],\"original\":0,\"pat\":\"art_src_3,fts0,sts0\",\"powerby\":\"pika\",\"pub_time\":1679985780000,\"pure\":\"\",\"rawurl\":\"http://zm.news.so.com/598a7763fc452829857e9dc9c28bb488\",\"redirect\":0,\"rptid\":\"940b0c42937df99a\",\"rss_ext\":[],\"s\":\"t\",\"src\":\"人人都是产品经理\",\"tag\":[{\"clk\":\"ktechnology_1:银行\",\"k\":\"银行\",\"u\":\"\"}],\"title\":\"10分钟，讲通透银行数据治理该怎么做\",\"type\":\"zmt\",\"wapurl\":\"http://zm.news.so.com/598a7763fc452829857e9dc9c28bb488\",\"ytag\":\"科技:互联网:互联网安全\",\"zmt\":{\"brand\":{},\"cert\":\"人人都是产品经理官方账号\",\"desc\":\"做互联网的人不能不懂产品，关注产品，改变生活。\",\"fans_num\":3293,\"id\":\"3099468539\",\"is_brand\":\"0\",\"name\":\"人人都是产品经理\",\"new_verify\":\"5\",\"pic\":\"https://p6.img.360kuai.com/t01df73f7ba052dfbe8.jpg\",\"real\":1,\"textimg\":\"https://p9.img.360kuai.com/bl/0_3/t017c4d51e87f46986f.png\",\"verify\":\"0\"},\"zmt_status\":0}","errmsg":"","errno":0}