1、数据处理与数据建模方法,西南交通大学数学建模,2,实际中大量信息或海量信息对应着大量的数据或海量数据，从这些数据中寻求所需要的问题答案-数据建模问题。通过实际对象过去或当前的相关信息，主要研究两个方面问题：（1）分析研究实际对象所处的状态和特征等，依此做出评价和决策；（2）分析预测实际对象未来的变化状况和趋势等，为科学决策提供依据。,数据处理与数据建模方法,3,数据处理与数据建模方法,1. 一般数据建模问题的提出,2. 数据处理的一般方法,3. 数据建模的综合评价方法,4. 数据建模的动态加权方法,. 数据建模的综合排序方法,. 数据建模的预测方法,4,实际对象都客观存在一些相关的数据信息；如
2、何综合利用这些相关信息给出综合评价结果、制定决策方案，或预测未来？这类问题都归结为信息综合利用与评价问题。,一般问题：,什么是综合评价与综合评价问题呢？,一、一般数据建模问题的提出,5,依据相关信息对被评价的对象所进行的客观、公正、合理的全面评价。如果把被评价对象视为系统，则综合评价问题：在若干个(同类)系统中，如何确定哪个系统的运行(或发展)状况好，哪个状况差？即哪个优，哪个劣？一类多属性(或多指标)的综合评价问题。,综合评价：,一、一般数据建模问题的提出,6,综合评价是科学、合理决策的前提。 综合评价的基础是信息的综合利用。 综合评价的过程是数据建模的过程。 数据建模的基础是数据的标准化处
3、理。,一、一般数据建模问题的提出,如何构成一个综合评价问题呢？,7,综合评价问题的五个要素：,一、一般数据建模问题的提出,8,（2）评价指标它是反映被评价对象(系统)的运行状况的基本要素。通常问题都有多项指标构成，每一项指标都是从不同的侧面刻画系统所具有某种特征大小的一个度量。所有的评价指标一起称为综合评价的指标体系。原则:系统性、科学性、可比性、可测性和独立性。,综合评价问题的五个要素,9,综合评价问题的五个要素,（3）权重系数针对每一综合评价问题不同的评价目的，各评价指标之间的相对重要性是不同的。 权重系数:用来刻画评价指标之间相对重要性的大小。,10,综合评价问题的五个要素,（4）综合评
4、价模型通过建立合适的综合评价数学模型将多个评价指标综合成为一个整体的综合评价指标，即得到相应的综合评价结果。,11,综合评价问题的五个要素,（5）评价者评价者是直接参与评价的人，可以是某一个人，也可以是一个团体。对于评价目的选择、评价指标体系确定、权重系数的确定和评价模型的建立都与评价者有关。,12,综合评价过程的流程,13,二、数据处理的一般方法,1. 数据类型的一致化处理方法,极大型:期望取值越大越好；极小型:期望取值越小越好；中间型:期望取值既不要太大，也不要太小为好，即取适当的中间值为最好;区间型:期望取值最好是落在某一个确定的区间内为最好。,什么是一致化处理?为什么要一致化?,14,
5、二、数据处理的一般方法,1. 数据类型的一致化处理方法,15,二、数据处理的一般方法,1. 数据类型的一致化处理方法,16,2. 数据指标的无量纲化处理方法,常用方法: 标准差法、极值差法和功效系数法等。,二、数据处理的一般方法,17,二、数据处理的一般方法,2. 数据指标的无量纲化处理方法,(1) 标准差方法,18,二、数据处理的一般方法,2. 数据指标的无量纲化处理方法,(2) 极值差方法,19,二、数据处理的一般方法,2. 数据指标的无量纲化处理方法,() 功效系数方法,20,二、数据处理的一般方法,3. 定性指标的量化处理方法,在社会实践中，很多问题都涉及到定性因素(指标)的定量处理问
6、题。诸如:教学质量、科研水平、工作政绩、人员素质、各种满意度、信誉、态度、意识、观念、能力等因素有关的政治、社会、人文等领域的问题。,如何对有关问题给出定量分析呢？,21,按国家的评价标准,评价因素一般分为五个等级，如A，B，C，D，E。如何将其量化？若A-，B+，C-，D+等又如何合理量化？简单地对应数字分量化方法是不科学的！根据实际问题，构造模糊隶属函数的量化方法是一种可行有效的方法。,二、数据处理的一般方法,3. 定性指标的量化处理方法,22,假设有多个评价人对某项因素评价为A，B，C，D,E共5个等级: v1 ,v2 ,v3 ,v4,v5。譬如：评价人对某事件“满意度”的评价可分为 很
7、满意，满意，较满意，不太满意，很不满意 将其5个等级依次对应为5，4，3，2，1。为取连续量化，取偏大型柯西分布和对数函数作为隶属函数：,二、数据处理的一般方法,23,二、数据处理的一般方法,3. 定性指标的量化处理方法,24,二、数据处理的一般方法,3. 定性指标的量化处理方法,根据这个规律，对于任何一个评价值，都可以给出一个合适的量化值。根据实际情况也可构造其他的隶属函数。,25,三、数据建模的综合评价方法,适用条件:各评价指标之间相互独立。对不完全独立的情况，其结果将导致各指标间信息的重复，使评价结果不能客观地反映实际。,1. 线性加权综合法,主要特点：（1）各评价指标间作用得到线性补偿
8、；（2）权重系数的对评价结果的影响明显。,26,2. 非线性加权综合法,三、数据建模的综合评价方法,主要特点： （1）突出了各指标值的一致性，即平衡评价指标值较小的指标影响的作用； （2）权重系数大小的影响不是特别明显，而对指标值的大小差异相对较敏感。,27,三、数据建模的综合评价方法,3. 逼近理想点（TOPSIS）方法,28,三、数据建模的综合评价方法,4. 其他综合评价法,因子分析聚类分析模糊评价层次分析法等,29,四、数据建模的动态加权方法,1. 动态加权问题的一般提法,问题:如何对n个系统做出综合评价呢?,30,四、数据建模的动态加权方法,2005年中国大学生数学建模竞赛的A题：“长
9、江水质的评价和预测”问题的第一部份给出了17个观测站（城市）的最近28个月的实际检测指标数据，包括反映水质污染程度的最主要的四项指标：溶解氧（DO）、高锰酸盐指数（CODMn）、氨氮(NH3-N) 和PH值，要求综合这四种污染指标的28个月的检测数据对17个城市的水质情况做出综合评价。,31,四、数据建模的动态加权方法,根据国标（GB 38382002）的规定，关于地表水的水质可分为类、类、类、类、类、劣类共六个类别，每一个类别对每一项指标都有相应的标准值（区间），只要有一项指标达到高类别的标准就算是高类别的水质，所以实际中不同类别的水质有很大的差别，而且同一类别的水在污染物的含量上也有一定的
10、差别。在对17个城市的水质做综合评价时，要充分考虑这些指标值不同类别水的“质的差异”和同类别水的“量的差异”,在此简称为“质差”和“量差”。因此，这是一个较复杂的多因素多属性的综合评价问题。,32,四、数据建模的动态加权方法,33,四、数据建模的动态加权方法,注意: 问题对于每一个属性而言，既有不同类别的差异，同类别的又有不同量值的差异。对于这种既有“质差”，又有“量差”的问题，合理有效的方法是动态加权综合评价方法。,1. 动态加权问题的一般提法,34,四、数据建模的动态加权方法,考虑到评价指标的“质差”与“量差”，既要能体现不同类型指标之间的差异，也要能体现同类型指标的数量差异。具体取什么样
11、的动态加权函数，主要是从实际问题出发分析确定。对于不同的指标可以取相同的权函数，也可以取不同的权函数。,2. 动态加权函数的设定,35,四、数据建模的动态加权方法,2. 动态加权函数的设定,36,四、数据建模的动态加权方法,2. 动态加权函数的设定,37,返回,四、数据建模的动态加权方法,2. 动态加权函数的设定,38,四、数据建模的动态加权方法,3. 动态加权的综合评价模型,39,五、数据建模的综合排序方法,1. 综合排序问题的一般提法,问题:如何给出n个系统的最终排序结果呢?,40,五、数据建模的综合排序方法,2. 综合排序问题的方法,41,1. 指标数据的标准化处理,长江水质的综合评价模型,42,1. 指标数据的标准化处理,43,1. 指标数据的标准化处理,44,2. 动态加权函数的确定,45,五、长江水质的综合评价模型,3.综合评价指标函数的确定,46,4.各城市水质的综合评价,47,4.各城市水质的综合评价,48,六、数据建模的常用预测方法,1.插值与拟合方法：小样本内部预测； 2.回归模型方法：大样本的内部预测； 3.灰预测GM(1,1)：小样本的未来预测； 4.时间序列方法：大样本的随机因素或周期特征的未来预测； 5.神经网络方法：大样的未来预测,
