数据仓库的建立过程

bowen

数据仓库的实现主要以关系数据库（RDB）技术为基础，因为关系数据库的数据存储和管理技术发展得较为成熟，其成本和复杂性较低，已开发成功的大型事务数据库多为关系数据库，但关系数据库系统并不能满足数据仓库的数据存储要求，需要通过使用一些技术，如动态分区、位图索引、优化查询等，使关系数据库管理系统在数据仓库应用环境中的性能得到大幅度的提高。
    数据仓库在构建之初应明确其主题，主题是一个在较高层次将数据归类的标准，每一个主题对应一个宏观的分析领域，针对具体决策需求可细化为多个主题表，具体来说就是确定决策涉及的范围和所要解决的问题。但是主题的确定必须建立在现有联机事务处理（OLTP）系统基础上，否则按此主题设计的数据仓库存储结构将成为一个空壳，缺少可存储的数据。但一味注重OLTP数据信息，也将导致迷失数据提取方向，偏离主题。需要在OLTP数据和主题之间找到一个“平衡点”，根据主题的需要完整地收集数据，这样构建的数据仓库才能满足决策和分析的需要。
    建立一个数据仓库需要经过以下几个处理过程：①数据仓库设计；②数据抽取；③数据管理。
    （1）数据仓库设计
根据决策主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。主要有以下3个步骤：
①定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。
②定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、装载到主题的哪个数据表中。
③将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个数据子集，即数据集市（DataMart）。数据集市通常针对部门级的决策或某个特定业务需求，它开发周期短，费用低，能在较短时间内满足用户决策的需要。因此，在实际开发过程中可以选择在成功建立几个数据集市后再构建数据仓库这种策略。
（2）数据抽取模块
该模块是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源（包括各平台的数据库、文本文件、HTML文件、知识库等）进行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。加工数据是保证目标数据库中数据的完整性、一致性。例如，有两个数据源存储与人员有关的信息，在定义数据组成的人员编码类型时，可能一个是字符型，一个是整型；在定义人员性别这一属性的类型时，一个可能是char（2），存储的数据值为“男”和“女”，而另一个属性类型为char（1），数据值为“F”和“M”。这两个数据源的值都是正确的，但对于目标数据来说，必须加工为一种
统一的方法来表示该属性值，然后交由最终用户进行验证，这样才能保证数据的质量。在数据抽取过程中，必须在最终用户的密切配合下，才能实现数据的真正统一。

ttxs

<p>请教楼主，实在比较外行，可能问题都很不通，见笑了：</p><p>假如现状我们有一个科室病历资料的数据库（按传统关系数据库模型建立，access数据库，记录已非常多）那么，现在可以在这个数据库基础上建立&ldquo;数据仓库&rdquo;吗？这样就原有数据就无须再次输入了。这种转换方便吗？</p>

小城医生

数据仓库的关键是什么？在我看来还是主题的建立，idea。。。

chenlala

数据仓库很诱人，但感觉目前并不适用。
<br>
<br>绝大多数的数据挖掘方法都是外国人搞出来的，其模型未必符合中国国情。
<br>
<br>再说这方面的软件贵的吓人，每年的维护费用更是个无底洞。因为没有理论的支撑，国人搞不出来，其实也没什么人在研究这玩意把？
<br>
<br>如果硬要搞得话，呵呵。。。。
<br>
<br>照我看来，只能用于非关键性应用，逗领导玩也行。
<br>

ttxs

<!--quote-chenlala+2005-06-24 14:08--><div class='quotetop'>引用chenlala &#064; 2005-06-24 14:08)</div><div class='quotemain'><!--quote1-->数据仓库很诱人，但感觉目前并不适用。 <br /><br />绝大多数的数据挖掘方法都是外国人搞出来的，其模型未必符合中国国情。 <br /><br />再说这方面的软件贵的吓人，每年的维护费用更是个无底洞。因为没有理论的支撑，国人搞不出来，其实也没什么人在研究这玩意把？ <br /><br />如果硬要搞得话，呵呵。。。。 <br /><br />照我看来，只能用于非关键性应用，逗领导玩也行。 <br /><!--quote2--></div><!--quote3--><br />这样看来，我们现状还是做&ldquo;数据库&rdquo;开发就行了吗？比如，我们科室希望把历年的病历资料好好整理一下，报括病人的一般资料、各项化验数据、体格检查、用药剂量、品种、费用等等，我们打算做个&ldquo;病历资料管理软件&rdquo;，那么思路上是不是就是做一个&ldquo;数据库&rdquo;软件就可以了？

ttxs

另外，请教一下，现在国内有没有现成可以买来用的、比较好的病案资料管理软件？特别是要支持方便地输入众多的化验结果、心电图结果、超声结果等等，
<br>
<br>我们请软件公司做了个演示版，可是他们做的是传统的文本框待填写的模式，可是医院开展的检查项目实在太多了，恐怕上千种，界面上根本摆不下，而实际上每个病人所需要填写的项目又不过数十项，那软件实在没法用，不知各位行家有没有这方面的信息

icerock2000

数据仓库要有巨额的数据量支持，国内医院HIS系统尚不完善，还不具有使用数据仓库的条件。个人观点