经典单方程计量经济学模型：一元线性回归模型.ppt

1、第二章 经典单方程计量经济学模型：一元线性回归模型,目录 Contents,2.1 回归分析概述,一、变量间的关系及回归分析的基本概念,1、变量间的关系,确定的函数关系：研究的是确定现象非随机变量间的关系。Eg:圆的面积与半径：= 不确定的统计相关关系：研究的是非确定现象随机变量间的关系。Eg:农作物产量与施肥量间的关系,2、相关分析与回归分析,变量间统计相关关系通过相关分析(correlation analysis)或回归分析(regression analysis)来研究。 相关分析：研究随机变量间的相关形式及相关程度。,2.1 回归分析概述,2.1 回归分析概述,注意： 不线性相关并不意

2、味着不相关。 有相关关系并不意味着一定有因果关系。 相关分析仅仅是从统计数据上测度变量间的相关关系，而无须考察两者是否有因果关系，变量的地位是对称的，都是随机变量 回归分析:更关注具有统计相关关系的变量间的因果关系分析。变量地位不对称性，即区分应变量（被解释变量）和自变量（解释变量）,2.1 回归分析概述,回归分析：研究一个变量关于另一个（些）变量的依赖关系的计算方法和理论，其目的在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。前一个变量称为被解释变量（Explained Variable）或因变量（Dependent Variable）。后一个变量称为解释变量（Explan

3、atory Variable）或自变量（Independent Variable）,回归分析构成计量经济学的方法论基础，其主要内容包括： 根据样本观察值对经济计量模型参数进行估计，求得回归方程； 对回归方程、参数估计值进行显著性检验； 利用回归方程进行分析、评价及预测。,2.1 回归分析概述,二、总体回归函数,例2.1.1：一个假想的社区有100户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。 即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。,2.1 回归分析概述,二、总体回归函数,由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；

4、 但由于调查的完备性，给定收入水平X的消费支出Y的分布是确定的，即以X的给定值为条件的Y的条件分布（Conditional distribution）是已知的，例如：P(Y=561|X=800）=1/4。因此，给定收入X的值Xi，可得消费支出Y的条件均值（conditional mean）或条件期望（conditional expectation）：E(Y|X=800)=605,2.1 回归分析概述,描出散点图发现：随着收入的增加，消费支出也在增加，且Y的条件均值 均落在一根正斜率的直线上。这条直线称为总体回归线。,2.1 回归分析概述,在给定解释变量条件下被解释变量的期望轨迹称为总体回归线（

5、population regression line），或更一般地称为总体回归曲线（population regression curve）。相应的函数：,称为（双变量）总体回归函数（PRF）。,回归函数（PRF）说明被解释变量的平均状态（总体条件期望）随解释变量变化的规律。 函数形式：可以是线性或非线性的。, =(),2.1 回归分析概述,例2.1.1中，将居民消费支出看成是其可支配收入的线性函数时:,其中， ， 是未知参数，称为回归系数（regression coefficients）。该式也称为线性总体回归函数。,2.1 回归分析概述,三、随即干扰项,总体回归函数说明在给定的收入水平下，

6、该社区家庭平均的消费支出水平。但对某一个别的家庭，其消费支出可能与该平均水平有偏差。个别家庭消费支出聚集在给定可支配收入水平X下所有家庭平均消费支出 | 的周围。对每个家庭，记： = |,称为观察值围绕它的期望值的离差（deviation），是一个不可观测的随机变量，又称为随机干扰项（stochastic disturbance）或随机误差项（stochastic error）。,2.1 回归分析概述,例2.1.1中，给定收入水平 ,个别家庭的支出可表示为两部分之和： = | + （.） 或在线性假设下： = + + （.） 该收入水平下所有家庭的平均消费支出(|)，称为系统性（systema

7、tic）或确定性（deterministic)部分；其他随机或非确定性（nonsystematic)部分。,以上两式称为总体回归函数（PRF）的随机设定形式。由于方程中引入了随机项，成为计量经济学模型，因此也称为总体回归模型。,2.1 回归分析概述,引入随机干扰项，主要有一下几方面的原因： 代表未知的影响因素 代表残缺数据 代表众多细小影响因素 代表数据观测误差 代表模型设定误差 变量的内在随机性,2.1 回归分析概述,四、样本回归函数,在例2.1.1的总体中有如下一个样本：,2.1 回归分析概述,该样本散点图近似一条直线,画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该直线近似地代表

8、总体回归线。该直线称为样本回归线（sample regression lines）。,2.1 回归分析概述,样本回归线的函数形式为： = = + ,称为样本回归函数（sample regression function，SRF）,同样的，样本回归函数也有随机形式： = += + + 其中，称为（样本）残差（或剩余）项，代表了其他影响Y的随机因素的集合，可看成是的估计量 ，由于方程中引入了随机项，称为计量经济学模型，因此也称之为样本回归模型。,2.1 回归分析概述,回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。,= += + += += + +,2.2 一元线性回归模型的基

9、本假设,单方程计量经济学模型分为两大类：线性模型和非线性模型 一元线性回归模型，在模型中只有一个解释变量，其一般形式：,= + + （2.2.1）,为被解释变量，为解释变量， 与 为待估参数， 为随机干扰项。在有个样本观测点 , :=, 的情况下，（2.2.1）式也可写成如下形式： = + + ,=1,2, （2.2.2）,2.2 一元线性回归模型的基本假设,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。实际这些假设与所采用的估计方法紧密相关。,一、对模型设定的假设 假设1：回归模型是正确设定的主要包括（1）模型选择了正确的变量（2）模型选择了正确的函数形式,2.2 一元线性回归

10、模型的基本假设,二、对解释变量的假设 假设2： 解释变量是确定性变量，不是随机变量，在重复抽样中取固定值。 假设3：解释变量在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量的样本方差趋于一个非零的有限常熟，即：= , (2.2.3),2.2 一元线性回归模型的基本假设,三、对随机干扰项的假设,假设4：随机误差项具有给定条件下零均值、同方差和不序列相关性： | = . = . , | , =, (.),假设5：随机误差项与解释变量之间不相关，即： , = (2.2.12) 假设6：随机误差项服从零均值、同方差的正态分布，即： | , (2.2.13),以上假设也称为线性回归模型的

11、经典假设或高斯假设，满足该假设的线性回归模型，也称为经典线性回归模型。,2.3 一元线性回归模型的参数估计,估计样本回归线，常用的估算方法有： 普通最小二乘法（OLS） 最大似然估计法（ML） 矩估计法（MM）,2.3 一元线性回归模型的参数估计,一、参数估计的普通最小二乘法（OSL）,普通最小二乘法给出的判断标准是：被解释变量的估计值与实际观测值之差的平方和： = = = = = = + , , ,根据微积分学的运算，当对 ， 的一阶偏导数为0时，达到最小，即：,2.3 一元线性回归模型的参数估计,或,解得：,为正规方程组,2.3 一元线性回归模型的参数估计,记：,参数估计量可以写成：,(2

12、.3.5) OLS估计量的离差形式。 , 称为普通最小二乘估计量。 记 = ，则有：,（2.3.6）也称为样本回归函数的离差形式。,可得：,2.3 一元线性回归模型的参数估计,二、参数估计的最大似然法（ML）,最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该组样本观测值的概率最大。 将样本联合概率函数称为变量的似然函数。,2.2 一元线性回归模型的参数估计,在满足基本假设条件的情况下

13、，对于一元线性回归模型，随机抽取n组样本观测值 , :=, ，由于 服从正态分布： ( + , ), 的概率函数为：,因为 是相互独立的，所以Y的所有样本观测值的联合概率，也即似然函数为：,将该似然函数最大化，即可求的模型参数的最大似然估计量。,2.3 一元线性回归模型的参数估计,由于似然函数的最大化与似然函数的对数的最大化是等价的，所以取对数似然函数如下：,对 求最大值，等价于对 求最小值。设 ， 满足该最值条件，即,在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。,2.3 一元线性回归模型的参数估计,三、参数估计的矩法（MM）,矩估计的原理是用样本矩

14、来估计总体矩阵。,假设4中给出了两个基本的总体矩的条件：, | = . = .,于是，相应的样本矩条件可写成,去掉 后不改变方程组的解，与普通最小二乘法中的正规方程组一样，结果相同。,2.3 一元线性回归模型的参数估计,例2.3.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.3.1进行。,2.3 一元线性回归模型的参数估计,由（2.3.5）式计算得,因此，由该样本估计的回归方程为：,2.3 一元线性回归模型的基本假设,四、最小二乘估计量的统计性质,一个用于考察总体的估计量，可从如下几个方面考察其优劣性： 线性性，即它是否是另一随机变量的线性函数

15、； 无偏性，即它的均值或期望值是否等于总体的真实值； 有效性，即它是否在所有线性无偏估计量中具有最小方差。 这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量。,渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值； 一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值； 渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。,后三个准则称为估计量的无限样本性质或大样本渐近性质,2.3 一元线性回归模型的基本假设,五、参数估计量的概率分布及随机干扰项方差的估计,1.参数估计量 和 的概率分布,在 是正态分布的假设下，

16、是正态分布，则 和 也服从正态分布，其分布特征右其均值和方差唯一决定，由此可得（P39页）：, 和 的标准差分别为：,标准差可用来衡量估计量接近其真实值的程度，进而判断估计量的可靠性,2.3 一元线性回归模型的基本假设,2.随机干扰项 的方差 的估计,在估计参数 和 的方差表达式中，都含有随机干扰项的方差 。由于 实际上是未知的，因此 和 的方差实际上无法计算，需要对其进行估计。由于 不可观测，只能从 的估计残差 出发。 的无偏估计量为：,在最大似然估计法则中，可通过对对数似然函数求 的偏导, 的最大似然估计量与矩估计都不具无偏性，但却具有一致性,2.3 一元线性回归模型的基本假设,在随机干扰

17、项 的方差 估计出后，参数 和 的方差和标准差的估计量分别是：, 的样本方差：, 的样本标准差：, 的样本方差：, 的样本标准差：,2.4 一元线性回归模型的统计检验,回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。尽管从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及参数的区间估计。,2.4 一元线性回归模型的统计检验,一、拟合优度检验,

18、拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。 度量拟合优度的指标：判定系数（可决系数） ,1.总离差平方和的分解,已知由一组样本观测值 , :=, 得到如下样本回归直线,的第个观测值与样本均值的离差 = 可分解为两部分之和,2.4 一元线性回归模型的统计检验, = 是样本回归线理论值（回归拟合值）与观测值 平均值，可认为是由回归线解释的部分； = 是实际观测值与回归拟合值之差，是回归线不能解释的部分,2.4 一元线性回归模型的统计检验,对于所有样本点，则需考虑这些点与样本均值离差的平方和。由于,总离差平方和：,回归平方和：,残差平方和：,2.4 一元线性回归模型的统计检验,Y的

19、观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。可用来自回归线的回归平方和占的总体离差平方和的比例来判断样本回归线与样本观测值的拟合优度。,2、可决系数统计量,2.4 一元线性回归模型的统计检验,二、变量的显著性检验,回归分析是要判断解释变量是否是被解释变量的一个显著性的影响因素。在一元线性模型中，就是要判断是否对具有显著的线性性影响。这就需要进行变量的显著性检验。,变量的显著性检验所应用的方法是数理统计学中的假设检验。 计量经计学中，主要是针对变量的参数真值是否为零来进行显著性检验的。,2.4 一元线性回

20、归模型的统计检验,1.假设检验,所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设。,假设检验采用的逻辑推理方法是反证法先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设。判断结果合理与否，是基于“小概率事件不易发生”这一原理的,2.4 一元线性回归模型的统计检验,（1）对总体参数提出假设 ： =， ： , 服从正态分布：,（3）给定显著性水平，查分布表得临界值 ()若| ()，则拒绝假设 ，接受 ；若| ()，则接受 ；,2、变量的显著性

21、检验,（2）以原假设H0构造t统计量,2.4 一元线性回归模型的统计检验,三、参数的置信区间,假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。,要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计。,2.4 一元线性回归模型的统计检验,要判断估计的参数值 离真是的参数值 有多近，可预先选择一个概率 ，并求一个正数，使得随机区间 ， 包含参数 的真

22、值的概率为，即,如果存在这样一个区间，称之为置信区间（confidence interval）； 1-称为置信系数（置信度）（confidence coefficient）， 称为显著性水平（level of significance）；置信区间的端点称为置信限（confidence limit）或临界值（critical values）。,2.4 一元线性回归模型的统计检验,一元线性模型中， 的置信区间,在变量的显著性检验中已经知道：,意味着，如果给定置信度，从分布表中查得自由度为()的临界值，那么值处在( , )的概率是( )。表示为：,于是得到:()的置信度下, 的置信区间是：,2.5

23、一元线性回归分析的应用：预测问题,对于一元线性回归模型,给定样本以外的解释变量的观测值 ，可以得到被解释变量的预测值 ，可以此作为其条件均值(|=)或个别值 的一个近似估计。严格地说，这只是被解释变量的预测值的估计值，而不是预测值。 原因:参数估计量不确定，随机项的影响。 所以，我们得到的仅是预测值的一个估计值，预测值仅以某一置信度处于以该估计值为中心的一个区间中。预测在很大程度上说是一个区间估计问题。,2.5 一元线性回归分析的应用：预测问题,一、预测值是条件均值或个别均值的一个无偏估计,在= 时，样本估计值 是总体均值(|=)和个别值 的无偏估计值，因此可用 作为(|=)和 的预测值。,在总体回归函数为 | = + 的情况下， 在= 时的条件均值为： | = + ,通过样本回归函数 = + ,求得= 的拟合值为： = + ,2.5 一元线性回归分析的应用：预测问题,二、总体条件均值或个别值预测值的置信区间,由于 = + 且,则,1.总体条件均值预测值的置信区间,2.5 一元线性回归分析的应用：预测问题,由于：,故：,2.5 一元线性回归分析的应用：预测问题,2.总体个别预测值的置信区间,总体回归函数的置信带（域） 个体值的置信带（域）,