数据堆栈手艺简介

我们只需要把binlog文件反向执行，每个操作都执行逆操作即可。当然也不是所有的event都反转。Table_mapevent必须还是在Rows_log_event每个操作之前。数据堆栈是最近几年来衰亡的一种新的数据库使用。在各年夜数据库厂商纷繁公布产物撑持数据堆栈并提出一整套用以创建和利用数据堆栈的产物是，业界掀起了数据库热。好比INFORMIXGONGSIDE公司的数据堆栈办理计划；ORACLE公司的数据堆栈办理计划；Sybase公司的交互式数据堆栈办理计划等等。这同时也引发了学术界的极年夜乐趣，国际上很多主要的学术集会，如超年夜型数据库国际集会（VLDB），数据工程国际集会（DataEngineering）等，都呈现了专门研讨数据堆栈（DataWarehousing，简记为DW）、联机剖析处置（On-LineAnalyticalProcessing,简记为OLAP）、数据发掘（DataMining,简记为DM）的论文。对我国很多企业而言，在创建或开展本人的信息体系经常困扰于如许的成绩：为何要在原本的数据库上创建数据堆栈？数据堆栈可否取代传统的数据库？如何创建数据堆栈？等等。本章将扼要先容一下用到的数据堆栈手艺背景，并鄙人一章分离数据清算体系计划实例，更深一步论述数据堆栈手艺在实际中的严重意义

一．从数据库到数据堆栈
传统的数据库手艺是以单一的数据资本，即数据库为中央，举行事件处置、批处置、决议剖析等各类数据处置事情，次要的分别为两年夜类：操纵型处置和剖析型处置(或信息型处置)。操纵型处置也叫事件处置，是指对数据库联机的一样平常操纵，一般是对一个或一组记录的查询和修正，次要为企业的特定使用服务的，注意呼应工夫，数据的平安性和完全性；剖析型处置则用于办理职员的决议剖析，常常要会见大批的汗青数据。而传统数据库体系优于企业的一样平常事件处置事情，而难于完成对数据剖析处置请求，已没法满意数据处置多样化的请求。操纵型处置和剖析型处置的分别成为一定。       
最近几年来，跟着数据库手艺的使用和开展，人们实验对DB中的数据举行再加工，构成一个综合的，面向剖析的情况，以更好撑持决议剖析，从而构成了数据堆栈手艺(DataWarehousing，简称DW)。作为决议撑持体系(Decision-makingSupportSystem，简称DSS)，数据堆栈体系包含：
①数据堆栈手艺；
②联机剖析处置手艺(On-LineAnalyticalProcessing，简称OLAP)；
③数据发掘手艺(DataMining，简称DM)；
数据堆栈填补了原本的数据库的弱点，将本来的以单一数据库为中央的数据情况开展为一种新情况：系统化情况。

1.甚么是数据堆栈
业界公认的数据堆栈观点开创人W.H.Inmon在《创建数据堆栈》一书中对数据堆栈的界说是：数据堆栈就是面向主题的、集成的、不成更新的(不乱性)、随工夫不休变更（分歧工夫）的数据汇合，用以撑持谋划办理中的决议制订历程
数据堆栈中的数据面向主题，与传统数据库面向使用绝对应。主题是一个在较高条理大将数据回类的尺度，每个主题对应一个微观的剖析范畴：数据堆栈的集成特征是指在数据进进数据堆栈之前，必需经由数据加工和集成，这是创建数据堆栈的关头步骤，起首要一致原始数据中的冲突的地方，还要将原始数据布局做一个从面向使用向面向主题的变化；数据堆栈的不乱性是指数据堆栈反应的是汗青数据的内，而不是一样平常事件处置发生的数据，数据经加工和集成进进数据堆栈后是少少或基本不修正的；数据堆栈是分歧工夫的数据汇合，它请求数据堆栈中的数据保留时限能满意举行决议剖析的必要，并且数据堆栈中的数据都要标明该数据的汗青时代。
数据堆栈最基本的特性是物理地寄存数据，并且这些数据并非最新的、专有的，而是来历于别的数据库的。数据堆栈的创建并非要代替数据库，它要创建在一个较周全和完美的信息使用的基本上，用于撑持高层决议剖析，而事件处置数据库在企业的信息情况中承当的是一样平常操纵性的义务。数据堆栈是数据库手艺的一种新的使用，并且到今朝为止，数据堆栈仍是用干系数据库办理体系来办理个中的数据。

2.数据堆栈的发生
盘算机体系的功效从数值盘算扩大到数据办理距今已有三十多年了。最后的数据办理情势次要是文件体系，大批的以数据片断之间增添一些联系关系和语义而组成条理型或网状数据库，但数据的会见必需依附于特定的程序，数据的存取体例是流动的、古板的。到了1969年，E.F.Codd博士宣布了他出名的干系数据模子的论文。今后，干系数据库的呈现创始了数据办理的一个新时期。
近几十年来，大批新手艺、新思绪的出现出来并被用于干系型数据库体系的开辟和完成：客户/服务器体系布局、存储历程、多线索并发内核、异步I/O、价值优化，等等，这统统足以使得干系数据库体系的处置才能绝不减色于传统关闭的数据库体系。而干系数据库在会见逻辑和使用上所带来的优点则远远不止这些，SQL的利用已成为一个不成反对的潮水，加上近年来盘算机硬件的处置才能呈数目级的递增，干系数据库终极成为联机事件处置体系的主宰。
全部80年月直到90年月初，联机事件处置一向是数据库使用的支流。但是，使用在不休地前进。当联机事件处置体系使用到必定阶段后，用户便发明单靠具有联机事件处置已不敷以取得市场合作的上风，他们必要对其本身营业的运作和全部市场相干行业的情形举行剖析，而做出有益的决议。这类决议必要对大批的营业数据包含汗青营业数据举行剖析才干失掉。在现在如许剧烈的市场合作情况下，这类基于营业数据的决议剖析，我们把它称为联机剖析处置，比以往任什么时候候都显得更加主要。假如说传统联机事件处置夸大的是更新数据库--向数据库中增加信息，那末联机剖析处置就是从数据库中猎取信息、使用信息。因而，出名的数据堆栈专家RalphKimball写道："我们花了二十多年的工夫将数据放进数据库，现在是该将它们拿出来的时分了。"
现实上，将大批的营业数据使用于剖析和统计底本是一个十分复杂和天然的设法。但在实践的操纵中，人们却发明要取得有效的信息并不是如设想的那末简单，这次要体现在以下几点：
一切联机事件处置夸大的是麋集的数据更新处置功能和体系的牢靠性，其实不体贴数据查询的便利与快速。联机剖析和事件处置对体系的请求分歧，统一个数据库在实际上都难以做到分身。
?营业数据常常寄存于分离的异构情况中，不容易一致查询会见，并且另有大批的汗青数据处于脱机形态，形同虚设。营业数据的形式针对事件处置体系而计划，数据的格局和形貌体例其实不合适非盘算机专业职员举行营业上的剖析和查询。
因而有人叹息：20年前查询不到数据是由于数据太少了，现在天查询不到数据是由于数据太多了。针对这一成绩，人们假想专门为营业的统计剖析创建一个数据中央，它的数据从联机的事件处置体系中来、从异构的内部数据源来、从脱机的汗青营业数据中来……。这个数据中央是一个联机的体系，它是专门为剖析统计和决议撑持使用服务的，经由过程它能够满意决议撑持和联机剖析使用所请求的统统。这个数据中央就叫做数据堆栈。这个观点在90年月初被提出来。假如必要给数据堆栈一个界说的话，那末数据堆栈就是一个作为决议撑持体系和联机剖析使用数据源的布局化数据情况。数据堆栈所要研讨息争决的成绩就是从数据库中猎取信息的成绩。
那末数据堆栈与数据库(次要指干系数据库)又是甚么干系呢?回忆现在，人们恪守关闭式体系是出于对事件处置的偏幸，人们选择干系数据库是为了便利地取得信息。我们只需打开C.J.Date博士的典范之作《AnIntroductiontoDatabaseSystems》便会发明：明天数据堆栈所要供应的恰是昔时干系数据库所要倡议的。但是，因为干系数据库体系在联机事件处置使用中取得的伟大乐成，使得人们已不知不觉将它划回为事件处置的范围；过量地存眷于事件处置才能的进步，使得干系数据库在面临联机剖析使用时又碰到了新的成绩--明天的数据堆栈对干系数据库的联机剖析才能提出了更高的请求，接纳一般干系型数据库作为数据堆栈在功效和功能上都是不敷的，它们必需有专门的改善。因而，数据堆栈与数据库的区分不单单体现在使用的办法和目标方面，同时也触及到产物和设置上的分歧。
以辨证的目光看，数据堆栈的衰亡实践是数据办理的一种回回，是螺旋式的上升。明天的数据库就比如昔时的条理数据库和网状数据库，它们面向事件处置；明天的数据堆栈就比如是昔时的干系数据库，它针春联机剖析。所分歧的是，明天的数据堆栈不用再为联机事件处置的特征而无谓奔波，因为手艺的专业化，它可更用心于联机剖析范畴的开展和探究
数据堆栈的观点一经呈现，就起首被用于金融、电信、保险等次要传统数据处置麋集型行业。外洋很多年夜型的数据堆栈在1996-1997年创建。那末，甚么样的行业最必要和大概创建数据堆栈呢？有两个基础前提：第一，该行业有较为成熟的联机事件处置体系，它为数据堆栈供应客不雅前提；第二，该行业面对市场合作的压力，它为数据堆栈的创建供应内在的动力。

二．数据堆栈中的数据构造
数据堆栈中数据的四个基础特性在本章中已先容过了，上面就要剖析分明这些成绩：数据堆栈存储哪些数据呢？数据怎样构造，存储？构造情势有哪些？等等。经由过程对数据堆栈中寄存的数据内容及其构造情势的先容，本节将对这些成绩做出回覆，以加深对数据堆栈数据四个基础特性的了解。

1.数据堆栈的数据构造布局
数据堆栈中的数据分为四个级别：初期细节级、以后细节级、轻度综合级、高度综合级。源数据经由综合后，起首进进以后细节级，并依据详细必要举行进一步的综合，从而进进轻度综合级以致高度综合级，老化的数据将进进初期细节级因而可知，数据堆栈中存在着分歧的综合级别，一样平常称之为"粒度"。粒度越年夜，暗示细节水平越低，综合水平越高。
数据堆栈中另有一种主要的数据--元数据（metadata）。元数据是"关于数据的数据"，如在传统数据库中的数据字典就是一种元数据。在数据堆栈情况下，次要有两种元数据：第一种是为了从操纵性情况向数据堆栈转化而创建的元数据，包括了一切源数据项名。

2.粒度与支解
(1)粒度
粒度是数据堆栈的主要观点。粒度能够分为两种情势，第一种粒度是对数据堆栈中的数据的综合水平上下的一个器度，它既影响数据堆栈中的数据量的几，也影响数据堆栈所能回覆扣问的品种。在数据堆栈中，多维粒度是必不成少的。因为数据堆栈的次要感化是DSS剖析，因此尽年夜多半查询都基于必定水平的综合数据之上的，只要少少数查询触及到细节。以是应当将年夜粒度数据存储于疾速设备如磁盘上，小粒度数据存于低速设备如磁带上。另有一种粒度情势，即样本数据库。它依据给定的采样率从细节数据库中抽掏出一个子集。如许样本数据库中的粒度就不是依据综合水平的分歧来分别的，而是有采样率的上下来分别，采样粒度分歧的样本数据库能够具有不异的数据综合水平。
（2）支解
支解是数据堆栈中的另外一个主要观点,它的目标一样在于进步效力。它是将数据分离到各自的物理单位中往,以便能分离自力处置。有很多数据支解的尺度可供参考:如日期、地域、营业范畴等等,也能够是其组合。一样平常而言,支解尺度总应包含日期项,它非常天然并且支解匀称。

3.数据堆栈的数据构造情势
这里复杂先容数据堆栈中罕见的数据构造情势：
复杂聚积文件:它将逐日由数据库中提取并加工的数据逐天堆集并存储起来。
轮转综合文件:数据存储单元被分为日、周、月、年等几个级别。在一个礼拜的七天中，数据被一一纪录在逐日数据会合；然后,七天的数据被综兼并纪录在周数据会合；接下往的一个礼拜，日数据集被从头利用，以纪录新数据。同理,周数据集到达五个后，数据再一次被综兼并记进月数据集。以此类推。轮转综合布局非常简便，数据量较复杂聚积布局年夜年夜削减。固然，它是以丧失数据细节为价值的，越长远的数据，细节丧失越多。
简化间接文件:它相似于复杂聚积文件，但它是距离必定工夫的数据库快照，好比每隔一礼拜或一个月作一次。
一连文件:经由过程两个一连的简化间接文件，能够天生另外一种一连文件，它是经由过程对照两个复杂间接文件的分歧而天生的。固然，一连文件同新的复杂间接文件也可天生新的一连文件。
关于各类文件布局的终极完成，在干系数据库中仍旧要依托"表"这类最基础的布局。

4.数据堆栈的数据追加
怎样按期向数据堆栈追加数据也是一个非常主要的手艺。我们晓得,数据堆栈的数据是
来自OLTP的数据库中，成绩是我们怎样晓得事实哪些数据是在上一次追加历程以后重生成的。经常使用的手艺和办法有:
时标办法:假如数据含偶然标，对新拔出或更新的数据纪录，在纪录中加更新时的时标，那末只需依据时标判别便可。但并不是一切的数据库中的数据都含偶然标。
DELTA文件:它是由使用天生的,纪录了使用所改动的一切内容。使用DELTA文件效力很高，它制止了扫描全部数据库，但一样的成绩是天生DELTA文件的使用其实不广泛。别的，另有变动使用代码的办法，使得使用在天生新数据时能够主动将其纪录上去。但使用不计其数，且修正代码非常烦琐，这类办法很难完成。
前后映象文件的办法:在抽取数据前后对数据库各作一次快照，然后对照两幅快照的分歧从而断定新数据。它占用大批资本，对功能影响极年夜，因而并没有多年夜实践意义。
日记文件:最可取的手艺也许是使用日记文件了，由于它是DB的固无机制，不会影响OLTP的功能。同时，它还具有DELTA文件的优胜性子，提取数据只需范围日记文件便可，不必扫描全部数据库。固然,本来日记文件的格局是根据DB体系的请求而断定的，它包括的数据关于数据堆栈而言大概有很多冗余。好比，对一个纪录的屡次更新，日记文件将全体变更历程都纪录上去；而关于数据堆栈，只必要终极了局。但对照而言，日记文件仍旧是最可行的一种选择。

三．数据堆栈的关头手艺
那末，数据堆栈都有哪些构成部分和关头手艺呢？与干系数据库分歧，数据堆栈并没有
严厉的数学实际基本，它更倾向于工程。因为数据堆栈的这类工程性，因此在手艺上能够依据它的事情历程分为：数据的抽取、存储和办理、数据的体现和数据堆栈的计划的手艺征询四个方面。为此，我们将分离会商每个环节。

1.数据的抽取
数据的抽取是数据进进堆栈的出口。因为数据堆栈是一个自力的数据情况，它必要经由过程抽取历程将数据从联机事件处置体系、内部数据源、脱机的数据存储介质中导进到数据堆栈。数据抽取在手艺上次要触及互连、复制、增量、转换、调剂和监控等几个方面。数据堆栈的数据其实不请求与联机事件处置体系坚持及时的同步，因而数据抽取能够准时举行，但多个抽取操纵实行的工夫、互相的按次、成败对数据堆栈中信息的无效性则相当主要。
在手艺开展上，数据抽取所触及的单个手艺环节都已绝对成熟，个中有一些是躲不开编程的，但全体的集成度还很不敷。今朝市场上所供应的年夜多是数据抽取工具。这些工具经由过程用户选定源数据和方针数据的对应干系，会主动天生数据抽取的代码。但数据抽取工具撑持的数据品种是无限的；同时数据抽取历程触及数据的转换，它是一个与实践使用亲切相干的部分，其庞大性使得不成嵌进用户编程的抽取工具常常不克不及满意请求。因而，实践的数据堆栈实行过程当中常常纷歧定利用抽取工具。全部抽取历程可否因工具的利用而归入无效的办理、调剂和保护则更加主要。从市场开展来看，以数据抽取、异构互连产物为主项的数据堆栈厂商一样平常都很有大概被别的具有数据库产物的公司兼并。在数据堆栈的天下里，它们只能成为帮助的脚色。

2.数据的存储和办理
数据堆栈的真正关头是数据的存储和办理。数据堆栈的构造办理体例决意了它有别于传统数据库的特征，同时也决意了其对内部数据体现情势。要决意接纳甚么产物和手艺来创建数据堆栈中心，则必要从数据堆栈的手艺特性动手剖析
数据堆栈碰到的第一个成绩是对大批数据的存储和办理。这里所触及的数据量比传统事件处置年夜很多，且随工夫的推移而积累。从现有手艺和产物来看，只要干系数据库体系可以承当此任。干系数据库经由近30年的开展，在数据存储和办理方面已十分成熟，非别的数据办理体系可比。今朝很多干系数据库体系已撑持数据支解手艺，可以将一个年夜的数据库表分离在多个物理存储设备中，进一步加强了体系办理年夜数据量的扩大才能。接纳干系数据库办理数百个GB乃至到TB的数据已经是一件寻常的事变。一些厂商还专门思索年夜数据量的体系备份成绩，幸亏数据堆栈春联机备份的请求其实不高。
数据堆栈要办理的第二个成绩是并行处置。在传统联机事件处置使用中，用户会见体系的特性是短小而麋集；关于一个多处置机体系来讲，可以将用户的哀求举行平衡分管是关头，这即是并发操纵。而在数据堆栈体系中，用户会见体系的特性是复杂而希罕，每个查询和统计都很庞大，但会见的频次并非很高。此时体系必要有才能将一切的处置机变更起来为这一个庞大的查询哀求服务，将该哀求并行处置。因而，并行处置手艺在数据堆栈中比以往加倍主要。
人人能够注重以下，在针对数据堆栈的TPC-D基准测试中，比以往增添了一个单用户情况的测试，成为"体系功力"（QPPD）。体系的并行处置才能对QPPD的值有主要影响。今朝，干系数据库体系在并行处置方面已能做到对查询语句的分化并行、基于数据支解的并行、和撑持跨平台多处置机的聚集情况和MPP情况，可以撑持多达上百个处置机的硬件体系并坚持功能的扩大才能。
数据堆栈的第三个成绩是针对决议撑持查询的优化。这个成绩次要针对干系数据库而言，由于别的数据办理情况连基础的通用查询才能都还不完美。在手艺上，针对决议撑持的优化触及数据库体系的索引机制、查询优化器、毗连战略、数据排序和采样等诸多部分。一般干系数据库接纳B树类的索引，关于性别、岁数、区域等具有大批反复值的字段几近没无效果。而扩大的干系数据库则引进了位图索引的机制，以二进制位暗示字段的形态，将查询历程变成选择历程，单个盘算机的基础操纵即可选择多笔记录。因为数据堆栈中各数据表的数据量常常极不匀称，一般查询优化器所得出得最好查询路径大概不是最优的。因而，面向决议撑持的干系数据库在查询优化器上也作了改善，同时依据索引的利用特征增添了多重索引扫描的才能。
以干系数据库创建的数据堆栈在使用时会碰到大批的表间毗连操纵，而毗连操纵关于干系数据库来讲是一件耗时的操纵。扩大的干系数据库中对毗连操纵能够做事后的界说，我们称之为毗连索引，使得数据库在实行查询时可间接猎取数据而不用实行详细的毗连操纵。数据堆栈的查询经常只必要数据库中的部分纪录，如最年夜的前50家客户，等等。一般干系数据库没有供应如许的查询才能，只好将全部表的纪录举行排序，从而泯灭了大批的工夫。因此我们的保存数据方法就是：在删除的动作开始之前，把表数据备份起来，然后留一个空表，在空表上执行“删除”操作。

Mirror可以算是SQLServer的Dataguard了。但是能不能被大伙用起来就不知道了。

SP4包括用于以下SQLServer2000组件的程序包：Database组件（下载文件：SQL2000-KB884525-SP4-x86.EXE）更新SQLServer2000的32位Database组件，包括数据库引擎、复制、客户端连接组件及工具。有关其他信息，请参阅ReadmeSql2k32Sp4.htm。AnalysisServices组件（下载文件：SQL2000.AS-KB884525-SP4-x86.EXE）更新SQLServer2000的32位AnalysisServices。

SP4包括用于以下SQLServer2000组件的程序包：Database组件（下载文件：SQL2000-KB884525-SP4-x86.EXE）更新SQLServer2000的32位Database组件，包括数据库引擎、复制、客户端连接组件及工具。有关其他信息，请参阅ReadmeSql2k32Sp4.htm。AnalysisServices组件（下载文件：SQL2000.AS-KB884525-SP4-x86.EXE）更新SQLServer2000的32位AnalysisServices。

原来的计算字段其实和虚拟字段很像。只是管理方面好了而已，性能方面提高不多。但是SQL2005提供了计算字段的持久化，这就提高了查询的性能，但是会加重insert和update的负担。OLTP慎用。OLAP可以大规模使用。

如果你是从“学习某一种数据库应用软件，从而获得应聘的资本和工作机会”的角度来问的话。

需要注意的一点，也是我使用过程中发现的一个问题。在建立function->schema->table后，如果在现有的分区表上建立没有显式声明的聚集索引时，分区表会自动变为非分区表。这一点很让我纳闷。

习惯敲命令行的朋友可能会爽一些。但是功能有限。适合机器跑不动SQLServerManagementStudio的朋友使用。

sqlserver的痛苦之处在于有用文档的匮乏，很多只是表明的东西