数据架构与商业智能

数据架构师无疑是计算机技术领域金字塔最顶端的职位，技术门槛高，市场需求也旺盛，人才缺口很大，成熟的数据架构师绝对是人才市场上被疯抢的紧俏人才；而近年兴起的商业智能技术，其相关人才也是被广大HR青睐的对象。本书兼顾了计算机技术领域当前最热门的两种技术，作者在一线从业多年，给多个世界500强企业的IT系统做顶层设计，本书总结了作者这些年数据架构设计和商业智能实现的心得和技巧，特别适合那些希望提升自身价值的IT工作者和希望有更好就业前景的相关专业学生学习。

本书是《商业智能深入浅出》一书的姊妹篇，数据架构、商业智能、数据治理和大数据技术是本书的核心。本书共13章，主要内容包括：企业架构总体规划、数据架构现状分析、数据架构目标规划、数据架构案例、大数据架构与实践，数据治理体系、商业智能架构理论、商业智能架构实践、商业智能—数据仓库架构和案例、商业智能—ODS数据架构和案例、商业智能—数据集市架构和案例等。
本书的读者对象包括：公司管理者、IT架构咨询顾问、数据架构师、系统分析师、商业智能架构师以及相关技术爱好者。

王飞，资深数据架构师、软件工程师，曾为央行等多家金融企业和国家电网等多家电力企业进行过IT架构规划、数据库架构设计、数据模型设计和数据库开发等工作，积累了丰富的项目经验和理论知识。

前言
第1章企业架构总体规划
1.1企业总体架构规划基础
1.1.1企业总体架构规划概念
1.1.2企业战略
1.1.3什么是企业架构
1.2国内商业银行战略规划和架构状况剖析
1.3数据架构在银行信息化建设中的重要性
小结
第2章数据架构现状分析
2.1对数据架构现状分析的工作方法
2.2对现状的数据分类的原则和方法
2.2.1对数据分类的说明
2.2.2现状数据的分类
2.3数据架构现状分析
2.3.1数据分布现状分析
2.3.2数据流转现状分析
2.3.3数据处理架构现状总结
2.4数据治理现状分析
2.4.1数据质量管理现状分析
2.4.2数据生命周期管理
2.4.3数据标准管理
2.4.4元数据管理
2.5数据架构现状要点分析总结
小结
第3章数据架构目标规划
3.1数据架构理论体系概述
3.1.1数据架构的工作方法和指导原则
3.1.2针对数据架构现状的总结
3.1.3需求要点
3.1.4数据架构的改进方向
3.2数据模型
3.2.1概念模型
3.2.2数据分类
3.2.3逻辑模型
3.2.4物理模型
3.3目标数据架构规划
3.3.1目标数据架构的分析重点
3.3.2目标数据架构的分布和流转
3.3.3对数据架构的验证和总结
小结
第4章数据架构案例
4.1某金融行业数据架构的前期规划
4.1.1理解数据架构在项目规划中的地位
4.1.2项目总体规划的几个阶段
4.1.3系统建设策略
4.1.4项目阶段建设计划
4.1.5预算及风险效益分析
4.1.6任务分析
4.2某金融行业数据架构的分布规划
4.3某金融行业数据架构的流转规划
4.4某金融行业数据加工处理时序规划
4.5某金融行业数据架构的纠错更正需求
4.5.1数据架构纠错更正的功能性需求
4.5.2非功能性需求
4.5.3在线纠错更正的指导原则
4.5.4数据查询
4.6某金融行业数据架构优化
4.7某金融行业数据架构案例描述
4.7.1加载库
4.7.2基础数据
4.7.3主数据
4.7.4数据仓库
4.7.5数据交换平台
4.7.6产品加工流程
4.7.7数据架构实施规划
4.7.8系统切换规划案例
小结
第5章大数据架构与实践
5.1大数据概述
5.1.1大数据的建设背景
5.1.2大数据面临的挑战和机遇
5.1.3大数据的定义和特点
5.1.4大数据下的数据架构
5.1.5大数据分析平台基础框架
5.1.6大数据技术如何落地
5.2大数据相关技术概述
5.2.1相关生产厂商大数据技术简介
5.2.2大数据与云计算
5.2.3大数据和传统商业智能分析
5.3大数据的应用情况
5.3.1大数据在金融行业的应用
5.3.2大数据在其他行业的应用
小结
第6章数据治理体系
6.1数据治理体系概述
6.1.1当前企业和商业银行的总体现状和面临的问题
6.1.2关于相关问题的解决办法
6.1.3数据治理的概念
6.1.4数据治理体系框架
6.1.5数据治理建设的关键要素和成功手段
6.1.6数据治理建设的意义和必要性
6.2数据标准
6.2.1数据标准概况
6.2.2如何推进数据标准建设的实施
6.2.3数据标准项目总体规划和设计
6.2.4数据标准项目总结
6.3数据质量管理
6.3.1数据质量管理概况
6.3.2数据质量管理的设计方法和流程
6.4元数据管理
6.4.1元数据管理概况
6.4.2元数据管理的设计方法和流程
6.5数据生命周期管理
6.5.1数据生命周期管理概况
6.5.2数据生命周期管理的设计方法和流程
小结
第7章商业智能架构理论
7.1商业智能概述
7.1.1商业智能的历史
7.1.2商业智能的定义
7.1.3商业智能的功能介绍
7.1.4商业智能的发展趋势
7.1.5商业智能的实施方法和步骤
7.1.6商业智能项目成功的关键
7.1.7关于商业智能的核心技术
7.2商业智能—数据仓库理论概述
7.2.1数据仓库的概念
7.2.2数据仓库的特点
7.2.3数据仓库和数据库之间的区别
7.3商业智能—数据集市理论概述
7.3.1数据集市简介
7.3.2数据集市和数据仓库的联系和区别
7.3.3数据集市的技术特性
7.4商业智能—ODS概述
7.4.1ODS简介
7.4.2ODS系统与数据库系统、数据仓库系统的区别
7.4.3基于ODS的即时OLAP应用
7.4.4ODS系统的功能
7.4.5ODS系统的架构
7.5商业智能—ETL概述
7.5.1ETL体系是商业智能核心的技术架构
7.5.2ETL的一般过程
7.5.3研究ETL的本质
7.5.4主流的ETL 工具
7.5.5ETL的作用
7.5.6详解ETL过程
7.5.7ETL的日志
7.5.8ETL设计规范要点
7.5.9ETL的框架结构
7.5.10ETL数据加载
7.6商业智能—OLAP概述
7.6.1OLAP系统与OLTP系统的区别
7.6.2OLAP的实现方法
7.6.3OLAP的基本目标和特点
7.6.4建立OLAP的过程
7.6.5OLAP的实施过程
7.6.6OLAP模型的设计与实现
7.7传统商业智能和未来商业智能的关系
小结
第8章商业智能架构实践
8.1商业智能架构概述
8.1.1商业智能架构原则和典型应用
8.1.2商业智能具有的功能
8.1.3商业智能未来的发展趋势和方向
8.1.4商业智能的传统数据架构
8.2未来商业智能的架构
8.2.1旅游行业分析型客户关系管理的商业智能体系
8.2.2电信行业实时商业智能架构体系
小结
第9章商业智能—数据仓库架构和案例
9.1数据仓库概述
9.1.1数据仓库的定义
9.1.2数据仓库产生的背景和原因
9.1.3数据仓库的特征
9.1.4数据仓库和商业智能之间的关系
9.1.5数据仓库的优势及面临的挑战
9.1.6数据仓库的技术特性
9.2数据仓库设计
9.2.1数据仓库建设方法
9.2.2数据仓库设计原则
9.2.3数据仓库架构规划
9.2.4数据仓库数据模型
9.2.5数据仓库建设路线图
9.2.6关于数据仓库系统的灾难备份规划
9.3商业银行数据仓库的建设规划
9.3.1商业银行数据仓库建设概况和瓶颈
9.3.2商业银行数据仓库建设面临的问题和改进建议
9.3.3商业银行数据仓库建设思路及系统情况
9.3.4商业银行数据仓库建设启示
9.4电力行业数据仓库的建设规划
9.4.1电力行业数据仓库建设难点
9.4.2电力行业数据仓库体系架构
9.4.3电力行业数据仓库能力蓝图
9.4.4数据仓库对电力业务发展的促进作用
9.4.5数据仓库建设策略比较
9.4.6电力行业数据仓库的数据架构设计
小结
第10章商业智能—ODS数据架构和案例
10.1ODS概述
10.1.1ODS的定义
10.1.2ODS的系统目标和业务目标
10.2关于ODS系统的数据架构
10.2.1某商业银行ODS系统的数据架构规划
10.2.2某商业银行ODS系统案例
10.3ODS模型设计
10.3.1ODS逻辑模型设计
10.3.2ODS物理模型设计
小结
第11章商业智能—数据集市架构和案例
11.1数据集市概述
11.1.1数据集市概念
11.1.2关于数据集市的误区
11.1.3关于数据集市的主要应用
11.2数据集市模型设计
11.3数据集市的架构模式
11.4某商业银行的数据集市架构解决方案
小结
第12章金融行业数据架构案例和商业智能
12.1金融行业背景
12.2金融行业的数据架构
12.3金融行业某系统的数据架构案例
12.3.1传统金融行业某系统的数据架构案例
12.3.2互联网金融行业的数据架构
12.4金融行业的商业智能
12.4.1金融行业商业智能的背景和作用
12.4.2金融行业如何实施商业智能
12.4.3金融行业的业务流程和运营模式优化
小结
第13章电力行业数据架构和商业智能案例
13.1电力行业商业智能
13.2电力行业相关商业智能案例
13.3电力行业数据架构
小结
技术词汇
参考文献

本书是《商业智能深入浅出》的姊妹版，数据架构、商业智能、数据治理和大数据技术是本书的核心。
为什么本书将数据架构和商业智能放在一起？本书为什么穿插着大数据和数据治理方面的内容？传统的商业智能系统是围绕模型设计、数据采集、加工、联机分析和报表生成而设计的，目的是提高企业的运营效率，增强企业的竞争力和领导者的决策能力。而数据架构关注的是数据的分布、流转和数据分类等内容，目的是通过对数据采集、加工、对外服务和数据模型的设计，提高数据处理和加工的效率，提升数据采集的灵活性。
如何建立一个灵活、松耦合、高性能的数据架构规划体系，是很多企业和金融机构必须重视的问题。经过多年的信息化实践，很多企业和金融机构已经逐渐认识到，系统应该具备多渠道数据采集能力、历史与趋势分析能力。数据架构规划在信息化过程中起着非常重要的作用，通过数据架构规划可以推动企业信息化的进程，保证企业通过使用数据，提供更好的产品和服务，降低成本和控制风险，促进企业经营战略的实现，提升企业的核心竞争力。
由于激烈的市场竞争和业务的快速发展，很多企业迫切需要改变运营模式，但是由于数据模型的不统一，数据分散，不能共享，严重制约了企业的发展，它们已经充分认识到数据是核心资产，正是这个原因IT人员需要了解数据架构方面的知识。数据架构是基础，而商业智能是在数据架构基础之上建立起来的一种解决方案。它们是相辅相成、融汇贯通的，两者之间有相通的地方，又有不同的分析视角和重点。
随着数据采集范围的不断扩大，使得文档、视频等半结构化和非结构化的数据逐渐成为很多企业主要的数据源。我们可以这样说，80%的数据可能都来自于非结构化数据。包括：图像、音频、微博、网帖、电子邮件等信息。特别是对于商业银行，坐拥大量非结构化数据却未能更好地创造业务价值。对于商业银行来说，大数据更是机遇，客户在不断地与银行交易和交互过程中，会创造出各种类型的数据，这也为商业银行实时或者准实时的数据分析提供了便利，可以对客户进行有针对性的营销，所以，大数据技术也是本书的核心内容之一，穿插在各个章节当中。另外，为了提升数据架构各个层次的管控及其协作能力，也需要相关人员理解数据治理方面的知识，所以本书也穿插着相关内容。
本书的亮点是什么？本书试图利用公式般的架构推导过程，以企业总体规划为主线，先从企业战略、企业架构出发，逐步细化到业务战略、IT战略、业务架构和IT架构，再细化到应用架构、数据架构、技术架构和数据治理的过程，如下图所示。而商业智能可以看成是帮助用户对自身业务经营做出明智决策的解决方案之一，也可以看作是IT战略的一部分。企业IT架构的目的是为所有的解决方案提供IT支持。最后利用数据架构的方法论讲解关于商业智能的数据模型设计、数据的分布、流转等内容。
这种公式般的推导过程，会让读者真正理解架构的核心思想和方法论，知其然，亦知其所以然，同时可以帮助读者将书中的架构思路和方法应用到具体的项目当中去。
阅读本书应该重点关注哪些内容？“乱花渐欲迷人眼”，我们不要拘泥于对具体概念的理解，而更应该看重对架构方法和思路的理解，例如，如何对某企业的数据架构现状进行分析，分析的方法和思路是什么；如何对该企业的目标数据架构进行规划，规划的重点和步骤是什么；……。
为什么写这本书？与本书类似的书籍在国内图书类市场中基本上是一个空白，但是数据架构师的职位在IT企业中却越来越受到重视，出现了“喷井”式的局面，数据架构师的理论水平和项目经验也需要达到一定的高度，他们需要掌握数据架构、商业智能、大数据和数据治理方面的知识。
目前现状是商业智能图书不仅小众，在某种程度上甚至可以说是一个珍稀品种。讲解商业智能架构方面知识的书籍更是少之又少，而本书除了讲解企业架构、业务架构、数据架构等方面的知识外，还讲解了商业智能领域的架构知识，更是从企业整体规划的角度去分析商业智能领域的应用，包括围绕商业智能的数据架构等内容。
本书的读者对象有哪些？本书的读者定位为公司管理者、IT架构咨询顾问、数据架构师、系统分析师、商业智能架构师以及有志向涉足IT架构设计和咨询顾问工作的人们，希望大家都能从本书中获益。
本书编写历时整整一年，其间经历了喜悦、聒噪、痛苦和彷徨，心情是复杂的。如今，伴随着本书最终成稿，复杂的心情烟消云散，自己甚至还有一点成就感。在这里要感谢帮助我完成此书的所有人。
感谢公司的同事，他们以各种方式为本书的编写做出了重要的贡献，感谢他们的技术支持和帮助。
最后，也是最重要的，我要感谢母亲（张丽华）、父亲（王贵林），他们倾注了父母无尽的爱，感谢他们对我的培养和无微不至的照顾，同时对于本书的出版给予了我不懈的支持，还要感谢岳父（丁一贤）、岳母（赵桂荣），书中同样凝聚了他们的心血和付出。感谢二叔（王玉奎），他的鼓励激发了我写作的热情。感谢辛苦的妻子（丁玲玲）和心爱的女儿（王预萱）。他们是我最大的精神支柱，如果没有他们的辛劳和付出，我很难想象能完成这本书的创作。
虽然本人在编著过程中尽了最大努力，但是由于本人的水平和时间有限，本书可能存在不足之处，敬请广大同行和读者批评指正。