Метод умовних найменших квадратів дослідження поліноміальних регресійних моделей без вільного члена

Abstract

Для поліноміальної регресійної моделі без вільного члена виявлені негативні наслідки безпосереднього використання МНК: сума емпіричних залишків, як правило, не дорівнює нулю, що суперечить стандартному припущенню про рівність нулю математичного сподівання збурення, а також унеможливлює так звану декомпозицію дисперсій і як наслідок – коректно визначити коефіцієнт детермінації. Встановлено, що пакети прикладних програм, зокрема всі версії Excel, не враховують вказані недоліки. На підставі модифікації МНК побудовані статистичні оцінки невідомих параметрів та досліджені їх властивості. З’ясовано, що математичне сподівання суми квадратів емпіричних залишків є дробовим числом, ціла частина якого є відповідним показником (числом ступенів вільності) для випадку МНК. Показано, що у класі лінійних незміщених оцінок не можна досягти мінімальних теоретичних дисперсій по всіх коефіцієнтах регресії одночасно, тобто відсутня рівномірна ефективність оцінок, характерна для МНК. На прикладі фіксованої вибірки вказано підхід до побудови емпіричного рівняння регресії, всі стандартні помилки коефіцієнтів регресії якого менші від відповідних показників рівняння регресії, отриманого на підставі МНК.

Study on the parameters of classical linear regression models is traditionally carried out using the least-squares method. The intercept (free) term is assumed to be a nonzero value. However, it is necessary to study models related to a number of important practical problems (determination using experimental data additive errors that are considered as the changes of the conversional function of devices and systems relative to some initial values under the impact of certain conditions) where free members are zeroes. The study revealed negative effects of direct using the method of least squares for polynomial regression models without an intercept term of the equation, i.e. total of empirical residuals of a model is usually not zero, which contradicts to the standard assumption of equality to zero of the residuals and makes impossible the variance decomposition and consequently resulting in the incorrect determination of the coefficient of determination. It is proved that software application packages, all versions of Excel in particular, do not take into account these deficiencies. Authors have built a statistical estimation of unknown parameters and explored their properties using the modified least-squares method, so-called conditional least-squares method. It is shown that the mathematical expectation of the sum of squares of the empirical residuals is a fractional number, the whole of which is an appropriate indicator (number of degrees of freedom) for the case of the classical least-squares method. It is shown that it is impossible to get minimal theoretical variances for all the coefficients of a linear regression simultaneously, so that there is no uniform efficiency of estimations, proper for classical least-squares method. There is shown an approach to constructing an empirical regression equation having all the standard errors of the regression coefficients, which are less than the corresponding parameters of the regression equation obtained using the classical least squares method for a fixed sample as an example.