证券期货行业数据模型(以下简称"SDOM")是以证券期货行业相关法律法规,业务规则,制度及流程等为依据,提取市场全业务流程与数据共性形成具有通用性,稳定性和扩展性的数据模型.
行业数据模型是以"交易","监管","披露"三大业务线条为切入点,完成对行业各业务的全面遍历.通过对市场中的证券,基金,期货,债券,回购等主要交易行为的梳理形成行业交易模型;通过对已上线及待上线的信息披露项目的逆向梳理形成行业信息披露模型;通过配合中央监管信息平台建设完成监管模型,最终形成真正意义上统一,完备的资本市场多层次数据模型.
数据模型"1+3+N"设计架构:
数据模型的设计遵循"1+3+N"的设计架构,其中:
"1"是指数据模型以品种,主体,财务三大主题形成公共部分.这些模型可以被"交易","监管","披露"中至少两条业务线条复用,"1"中的模型需要保持语法,语义一致.
"3"是指以"交易","监管","披露"三大业务线条分别梳理形成三大组数据模型,每组数据模型根据某一业务线条的特点提取出来,三大组模型彼此耦合度不高,组间个性化部分允许出现同名不同义的冲突情况,不要求在语法语义上保持一致.对于每组数据模型再分为该业务范畴内的公共部分和覆盖其下应用系统的全部数据和表.其中公共部分可在该业务范畴内共用,需要在组内保持语义,语法一致.
"N"是指在每个业务线条的大组数据模型中,覆盖该应用全部数据,表,用于指导该线条下特定应用系统的专用数据模型,该部分的数据和表为某一应用特有的,只在该应用中被使用,与业务线条中其他应用的模型不复用.每个"N"中涉及的数据,表在语法,语义上不要求一致.
在逻辑模型的设计过程中, 数据域的划分和定义, 数据域和数据域之间关联关系的构建是模型编制的基础, 在此基础之上, 结合证券公司等各视角业务系统的分析, 通过筛选的方式完成各数据域中核心实体和主键的补充, 以及实体与实体之间关系的定义, 形成逻辑模型框架结构, 最后对该逻辑模型进行细分处理, 补充该逻辑模型中可扩展的实体和非键值属性, 实现满足各视角的逻辑模型编制.
通过分类, 归并之后形成的数据域分别为: 主体, 账户, 品种, 交易, 资产, 合同, 渠道和营销.下图为以普通股票的行为过程归纳得到的数据共性示例.
主体是证券公司所关注的对象, 主体数据域是证券公司开展客户关系管理, 进行客户画像和标签管理, 建设以客户为中心的重要基础性模型. 作为核心数据域, 主体数据域与账户, 交易, 资产和合同等其他数据域之间存在着密切的关联关系.
主体数据域的设计首先采用 IBR 方法, 从核心业务条线着手, 进行提炼分析, 通过理清业务条线建立关键实体, 最终实现全业务覆盖; 其次结合证券市场结构和业务场景, 进行实体补充, 通过梳理证券市场参与者的关联关系, 建立重要关系, 确定主体框架; 最后借鉴行业积累的经验, 引入专家论证, 进行完善和合理性验证, 以确保主体数据域的完整性, 扩展性, 个性化的要求.
账户数据域是描述相关主体因业务需求在相关机构登记的各类账户信息, 账户数据域按照账户类型划分三大类, 包括交易账户, 资金账户, 银行账户.
账户数据域中不仅包括了以客户为主体的账户(证券账户, 资金账户, 银行账户等) , 还包括了证券公司内部记录的所有实际投资账户与虚拟投资账户.
账户数据域包含了账户从申请, 开立到销户过程中需要的完整信息, 与主体, 合同, 交易, 资产数据域有密切联系.
交易账户是指证券登记结算机构, 基金公司等机构为投资者设立的, 用于准确记载投资者所持的证券种类, 名称, 数量及相应权益和变动情况的账册. 按照交易的类型有证券账户, 基金账户, 基金交易账户, 中债登账户, 资管账户, 资管交易账户, 贵金属交易账户, 一码通证券账户等. 此外, 证券账户分类下因为某些特定账户存在一些特殊属性, 对衍生品合约账户, 股票质押出借人账户以及转融通证券出借人账户进行了单独的补充描述.证券资金账户是指证券公司为客户开立的专门用于证券交易用途的账户, 通过该账户对客户的证券买卖交易进行前端控制, 进行清算交收和计付利息等. 证券资金账户可按币种维度进行扩展. 银行账户是指银行为客户开立的, 用于存放和管理客户证券买卖用途的交易结算资金.
品种数据域的设计参照了国家标准: "证券及相关金融工具 金融工具分类(CFI编码) " (GB/T35964-2018) 和国外成熟的金融数据模型, 结合国内现有金融工具品种, 构建符合国际规范且适应国内资本市场现状的品种分类及定义. 其中: 品种分类的一, 二级沿用GB/T 35964-2018标准分类, 一级分类包括权益, 集合投资工具, 债务工具, 权利, 上市期权, 非上市期权和复合上市期权, 期货, 互换,现货产品, 远期产品, 交易策略, 融资, 参考性金融工具, 其他类(混合型) ; 二级分类代表每个品种类别下的细分品种; 三级及以下级别分类为结合国内品种现状的自定义分类.
交易数据域记录了各种与证券公司相关的活动的详细情况.这些活动通常指证券公司与客户等主体的交互活动, 它记录了详细的交易和行为数据, 还包括导致主体, 账户, 合同等其他数据域数据变化的非交易行为数据. 交易数据域可划分为交易事件和非交易事件.
交易事件按交易的过程划分为委托, 成交, 清算, 待交收, 股份变动, 资金变动, 其他交易流水七个子数据域. 交易事件主要按"交易过程+品种" 进行层次划分, 即先按交易过程进行分类, 再在每个交易过程中按品种进行分类, 这样既可以保证交易数据域的高稳定性, 又保证了良好的可扩展性, 证券公司新增业务时, 只需在委托等交易过程的子数据域下增加对应品种的交易事件实体.
非交易事件是指除上述交易事件外, 证券公司与客户等主体的交互以及证券公司内部的业务交互,分为管理类事件, 操作类事件, 服务类事件及其他类非交易事件四个子类的数据划分. 非交易事件主要围绕"经营管理领域+经营管理活动" 进行层次划分, 即先按经营管理领域进行分类, 再在每个经营管理领域中按经营管理活动进行分类, 这样不仅保证高稳定性和可扩展性, 同时同一经营管理领域具有相近的管理属性, 这样划分会使四个子类的数据划分信息更内聚, 便于模型维护管理.
资产数据域重点关注主体的资产, 包括资金的余额, 证券的持有, 在途资金及证券, 客户的抵质押, 负债, 还包括一些具体场景下的修正. 同时, 将虚拟资产也一并纳入, 以完整描述主体的拥有.
证券公司逻辑模型资产数据域不仅涵盖了客户的资产, 还包括了证券公司自营的资产部分.
资产数据域按照资产的表现形式, 可以分为: 市值部分, 资金部分, 资产的修正, 虚拟资产及负债, 其中市值部分包括了持仓, 在途份额及代销产品份额持有; 资金部分包括了资金余额, 在途资金及其他应收; 虚拟资产包括了客户的积分; 负债包括了应还的回购证券款, 应还的融资本金, 利息, 罚息及应还的融券市值等.
资产数据域的特点是, 既反映了客户的历史资产状态, 也代表了未来的经济价值, 同时又与其他数据域密切相关.
合同是证券公司根据相关法律法规, 规章制度以及交易所的交易规则制定的协议. 合同数据域的数据范围以线上为主, 涵盖证券公司与交易对手方线上签署的电子化合同, 客户与证券公司签署的开展某种业务或购买某种产品的协议, 以及客户在进行证券交易时产生的交易合约. 所以合同数据域既包括了签订的格式合同, 也包括了交易中涉及的各项合约.
营销表达了一个主体在意图开展营销活动的领域进行营销活动的行为方式, 营销数据域的主要实体有: 营销活动, 营销任务等.
营销活动的步骤为: 确定营销目 标, 包括交付目 标, 预算等, 记录在营销活动里; 制定营销策略和方案, 记录在营销活动和营销任务中; 根据营销方案制定营销任务包括资源计划和时间计划等, 记录在营销任务中; 根据营销任务执行营销活动, 记录在营销任务中; 最后是营销结果分析和改进. 营销数据域涵盖了营销活动全流程, 记录营销过程中有价值的数据.
证券期货业逻辑模型的产出物, 按照数据, 数据表, 代码表, 代码取值属性及代码映射关系进行组织, 清晰定义了行业数据, 表以及相互之间的关系. 经过数据域的划分, 形成核心关系及架构, 筛选实体, 补充属性, 规范代码等一系列梳理工作, 最终形成证券公司逻辑模型, 提取数据表438张, 数据项4500个, 定义行业英文词根972个, 形成行业属性代码及映射关系5682个, 建立了证券公司的实体关系图谱.
随着证券期货业务的不断发展与演进, 该产出物也会不断调整与完善, 具体详见附录A. 这些产出物通过专门的数据模型管理平台进行存储及管理, 并提供了浏览, 查询, 修改, 删除, 评审等功能,以便模型建设人员, 评审人员, 管理人员, 普通用户等按权限对数据模型产出物进行查找使用和科学管理.
DDM(Datablau Data Modeler)是国内首创的专业建模工具,是数据治理体系的重要组成部分.数据模型是"所有系统,文档和流程中包含的所有数据的语境.是生数据的知识."换句话说,如果没有数据模型,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值.
北京数语科技有限公司(以下简称"数语科技")成立于2016年,是专注于数据治理领域的国内自主知识产权的专业软件产品提供商,主要业务是数据治理软件产品的研发与销售.数语科技的创始团队全部来自CA erwin,天然具有世界级水准的软件产品开发能力.
创始人兼CEO王琤:曾任职erwin全球研发总监,拥有超过十年以上数据建模和数据管理的从业经验.
CTO朱金宝:曾任职erwin首席架构师,先后服务多家全球知名企业,并曾全程参与中国建设银行数据治理项目,目前全面负责Datablau软件平台的研发工作和关键项目的实施工作.
数语科技根据DAMA理论和中国国情独立研发Datablau新一代数据治理平台,平台由Datablau DDM数据建模产品和Datablau DAM数据资产管理平台两大部分组成,全部拥有软件著作权和知识产权,一站式全面满足中国企业的数据治理需求.其中数据建模产品DDM是Datablau填补国内空白的重量级产品,帮助中国客户摆脱国外产品的垄断现状.2018年,Datablau数据治理平台通过了中国信息通信研究院严格苛刻的产品评测并获得的"最佳大数据产品"奖.
Datablau Data Modeler 新一代数据库建模工具 Datablau Data Modeler - 好用的专业数据建模工具Datablau DDM是新一代数据模型管理工具,由ERwin数据建模研发骨干开发团队荣誉出品.传统建模工具主要面向设计,而DDM创新的融合了数据治理理念,把数据治理推进到开发流程中,进行开发态的源头治理,解决了标准落地的难题.从根本上控制企业增量的数据质量问题.目前已经在
最流行的三大数据建模工具 越来越多的业务,越来越多的信息化系统,让很多公司拥有了海量数据,但是分散的数据,隔离的系统,又形成了一个个数据孤岛.于是,为了利用好数据,各大公司纷纷建设了数据仓库,或者是最近升级为大数据平台之类的,但是,不同条线不同场景的数据又要如何整合到同一个仓库呢?
传统企业通过大数据治理,人工智能实现自身转型升级 现在,企业竞争如此激烈,要想先下一城,数据治理是一个关键,传统企业通过大数据治理,人工智能才能实现自身转型升级.近年来人工智能的突然爆发,主要有两个关键因素:一是大数据,为深度学习算法提供海量的训练数据作支撑;二是高性能计算,尤其是通用计算GPU给予了神经网络和深度学习强大的计算力支持,使得以前无法完成
数据治理,是企业数字化建设的基石 如今,大数据时代,数字化浪潮正席卷全球,海量的数据在每时每刻不断的产生,高价值的数据资产如同黄金,正在等待开采,只有经过一系列的加工处理才能够挖掘其中的价值,此时数据治理 就显得尤为重要了.
数据治理之元数据管理,有哪些高效玩法 对企业来说,一个小小的元数据可能造成巨大的损失,也可能创造无限的便利.企业以元数据为抓手进行数据治理,帮助企业更好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策.