Регресионен модел

от Уикипедия, свободната енциклопедия
Jump to navigation Jump to search

Регресионен модел е понятие от регресионния анализ.

Терминът „регресия“ е въведен от английския антрополог Франсис Галтон. С него той нарича тенденцията родителите с по-висок ръст от нормалния да имат деца с по-близък ръст до средния. Този факт Галтон нарекъл „regression to mediocrity“. От съвременна гледна точка това название е неподходящо [1], имайки предвид сегашния смисъл на регресионния модел, а именно - описание на връзката между множество от входни и друго множество от изходни величини [2], [3]. Понякога входовете се наричат въздействия, независими или описателни променливи/характеристики, атрибути, а ако моделът е статичен, също се наричат фактори, регресори, предиктори и др. Изходите се наричат още: реакции, зависими или описвани променливи/характеристики, признаци и др. Въпреки че някои названия са взаимозаменяеми, важно е да се прави разлика между тях. Например фактори, регресори и предиктори в динамичен регресионен модел обикновено са изместени във времето входно-изходни величини [4] (или техни функции). Затова е желателно, когато се набляга на зависимостта на изхода от множество променливи, те да се наричат фактори, регресори или предиктори. Но когато става дума за външни сигнали, влияещи на описваната система и отчетени от модела, те да се наричат входни въздействия или независими променливи.

В някои източници се прави разлика между фактор и регресор [5], като под регресор се има предвид променлива, която участва в модела, а фактор е реална, физическа величина. В този смисъл, ако даден фактор се трансформира, например с цел получаване на линеен по параметри модел, то трансформираната величина е регресор, а първоначалната - фактор. Естествено, ако даден фактор участва директно в модела, той е и регресор. По-долу не се прави разлика между двете понятия, защото в изложението се акцентира на типа на модела, а не на пътя, по който е получен. Още повече че често в литературата векторът на регресорите се означава с буквата (от фактори) [6].

Общ вид на регресионен модел[редактиране | редактиране на кода]

По-долу индексът на текущото наблюдение е означен с . Ако данните са функция на времето, то наблюдението в предишния дискретен момент е с индекс . Когато се търси статичен модел (който не отразява динамика в поведението на обекта), подредбата на данните във времето не е определяща. Например в набор, съдържащ еднократни (не периодично отчитани) данни за пациенти, наблюденията може да са подредени не по времето на провеждане на медицинските изследвания, а по азбучен ред според имената на пациентите. В този случай индексът отговаря на текущ пациент според въведената подредба, а не на момент от времето.

В общ вид регресионният модел може да се запише като

където е изходът на модела, и са съответно вектор на параметрите и вектор на регресорите, с помощта на които се описва реакцията на обекта в текущия момент (или отговарящ на -тото наблюдение, при статична система). За разлика от случая, когато входът и изходът са скаларни величини, където броят на факторите и параметрите е еднакъв, при многомерните системи (с повече входове и/или изходи) обикновено броят им е различен. Ако случаят е такъв, броят на факторите е означен с , а броят на параметрите - с .

Често регресионните модели се представят като изходът им се замени с измерения изход на системата [7] [8] , т.е.

С други думи зависимостта между изхода на системата и на модела е като е обобщен сигнал, който отразява шума от измерване, смущенията от околната среда и несъвпадението между регресионната функция и реалната връзка между факторите и изхода. За опростяване на употребата на горното представяне е прието да участва адитивно в описанието.

Линеен по параметри модел в общ вид[редактиране | редактиране на кода]

В много случаи с подходящи трансформации на факторите и/или на изхода регресионните модели може да се представят в линеен по параметри вид. Това позволява прилагането на линейната теория, която е добре развита и предлага унифицирани решения, както за изграждане на модела, така и за неговото използване. В някои източници [1], [9] под „линеен“ се разбира модел, изходът на който е линейна функция на параметрите, докато в [10], [11] и др., ако моделът е линеен, то изходът му зависи линейно от входа. По тази причина, ако изходът на модел е линеен по параметри, в статията това изрично се указва.

По-долу се използват съкращенията:

  • MIMO (Multiple Input Multiple Output) - за модел с много входове и много изходи (многомерен модел)
  • MISO (Multiple Input Single Output) - за модел с много входове и един изход (многомерен модел)
  • SISO (Single Input Single Output) - за модел с един вход и един изход (едномерен модел)

MIMO модел[редактиране | редактиране на кода]

В едномерния случай линейният по параметри (SISO) модел може да се запише така:

Тук и са вектори с еднаква размерност, а и са скаларни величини.


Когато системата е с повече изходи, т.е. , тъй като отдясно на равенството се намира вектор, то и резултатът от произведението на факторите и параметрите също трябва да е вектор, отговарящ на изхода на многомерния модел. Това означава, че горното умножение трябва да се извърши между матрица и вектор, както е показано на фигурата. Така възникват две групи представяния на линейните по параметри MIMO регресионни модели записани в общ вид [12], [13]. При едното параметрите се подреждат във вектор, а факторите - в матрица с подходяща структура, докато при другото представяне факторите са във вектор, а параметрите в матрица. Първият запис на MIMO модел в общ вид е

където векторът се състои от параметрите на модела, а матрицата съдържа стойностите на регресорите, описващи изхода на системата в текущия момент. Другото представяне е

при което параметрите са подредени в матрицата , а векторът съдържа стойностите на регресорите [11], [14], [15], [16], [17] . На пръв поглед няма значение как се формира - и в двата случая изходът е линейна функция на параметрите и на факторите. Въпреки това горните две представяния са свързани с различни особености, които са важни още на ниво уточняване на структурата на модела.

Възможни структури на матриците и векторите в общите записи, както и предимствата и недостатъците на представянията са разгледани подробно в [18].

MISO и SISO модели[редактиране | редактиране на кода]

Когато моделът е с един изход, регресорите и параметрите е удобно да се групират във вектори и в този случай общото представяне е

То не се отличава от вече показаното описание на SISO моделите. Съответно изходът, изчислен от модела, е

При наличие на повече входове, двата вектора се разширяват с необходимия брой параметри и регресори.

Представяне на нелинейни модели в линеен по параметри вид[редактиране | редактиране на кода]

Представянето, дори и понякога изкуствено, на различни модели в общ вид дава възможност да се извеждат общи оценители на параметри, общи методи за избор на структурата ми и др. Освен това съществен момент е, че параметрите и регресорите във вида, представен на фиурата, са в отделни матрици и вектори, а това улеснява извеждането на съответните алгоритми.

Нелинейни по параметри модели[редактиране | редактиране на кода]

Под нелинейни модели се има предвид такива, които не може да се представят в линеен по параметри вид. Също така, в някои източници [19] , когато се набляга на връзката между входните и изходните величини, ако тя е нелинейна, такъв модел също се нарича нелинеен, независимо дали изходът е линейна функция на параметрите. Например нека изходът на модела е

Той може да се запише като

където , . Както се вижда, нелинейният модел (като връзка между входа и изхода) е линеен по параметри, а за привеждането му в този общ вид към първоначалните фактори се прилагат нелинейни трансформации. В резултат на това се получават новите фактори във вектора .

За да се разграничат двата случая, когато зависи нелинейно от , изрично ще се указва, че моделът е нелинеен по параметри.

Въпреки удобствата, които предлага линейната теория, има области, където тя е неприложима. Нелинейните по параметри модели не може да се представят във вид, който да позволи унифицирането на задачата за построяване на модел, както и неговото използване. Например оценяването на парамерите на такъв модел е свързано с методи за числена оптимизация. Освен това, ако обектът участва в по-сложна система (например система за управление), нелинейността на неговото описание често е причина за наличието на други нелинейни елементи в системата като нелинеен регулатор, нелинейни компенсиращи звена и т.н. Това значително усложнява, както синтеза, така и анализа на системата за управление.

Пример: логистичен модел[редактиране | редактиране на кода]

Един често използван нелинеен модел в практиката е логистичният. Той се използва във финансите [20] , медицината [21] , автоматиката - за откриване на повреди, в психологията [22] и др.). За описание на свойствата на модела е представен вариант с един изход. MISO логистичният модел има вида

Моделът намира приложение, когато изходът на обекта има смисъл на вероятност. Например в системите за оценка на кредитния риск [20] приема стойности между 0 и 1 (0 - „лош“, 1 - „добър“ кредитополучател). В този случай предствянето като линейна по параметри функция

не е подходящо, тъй като ако оригиналният изход е 0, то , а когато , трансформираният изходен сигнал . Затова моделът не се представя в линеен по параметри вид, а се разглежда като нелинеен регресионен модел. Това води до усложняване на процеса на моделиране, както и на използването и анализа на модела (в сравнение с линейните по параметри модели).

Източници[редактиране | редактиране на кода]

  1. а б Въндев, Д., (2013) Записки по приложна статистика 1
  2. Casella, G., S. Fienberg and I. Olkin, (1998) Applied Regression Analysis - A Research Tool. Springer-Verlag, New York
  3. Chattefuee, S. and A. S. Hadi, (2006) Regression Analysis by Example. John Wiley & Sons, Inc., Hoboken, New Jersey
  4. Nelles, O., (2001) Nonlinear System Identification. From Classical Approaches to Neural Networks and Fuzzy Models. Springer-Verlag, Berlin Heidelberg
  5. Божанов, Е. и И. Вучков, (1973) Статистически методи за моделиране и оптимизране на многофакторни обекти., Техника, София]
  6. Гарипов, E., (2004) Част II. Идентификация чрез дискретни стохастични регресионни модели. ТУ - София, ISBN 954-438-392-1
  7. Isenman, A. J., (2008) Modern Multivariate Statistical Techniques. Regression, Classification, and Manifold Learning. Springer-Verlag
  8. Montgomery, C., Elizabeth P. and G. Vining, (2012) Introduction to Linear Regression Analysis. Wiley, ISBN: 978-0-470-54281-1
  9. Матеев, П., (2012) Линеен регресионен модел. Метод на най-малките квадрати. Теорема на Гаус-Марков, София
  10. Гарипов, E., (2004) Идентификация на системи Част I. Въведение. ТУ - София, ISBN 954-438-391-3
  11. а б Вучков, И., (1996) Идентификация. ИК Юрапел, София
  12. Efremov, A., (2014) General Forms of a Class of Multivariable Regression Models. In: Journal of Information Technologies and Control. Sofia, Bulgaria
  13. Efremov, A., (2013) Generalized representations multivariable linear parameterized models In: International Conference of Automatics and Informatics, pp. I-233 - I-236. Sofia, Bulgaria
  14. Dayal, B. S. and J. F. MacGregor, (1997) Multi-output process identification. In: Journal of Process Control, volume 7, № 4, pp. 269–282
  15. Den Hof, P., (1994) Model sets and parametrizations for identification of multivariable equation error models. In: Automatica, volume 30, № 3, pp. 433–446
  16. Fassois, S. D., (2001) MIMO LMS-ARMAX identification of vibrating structures – part I: the method. In: Mechanical Systems and Signal Processing, volume 15, № 4, pp. 723–735
  17. Yiu, J. and S. Wang, (2007) Multiple ARMAX modelling scheme for forecasting air conditioning system performance, In: Energy Conversion and Management, volume 48, pp. 2276–2285
  18. Ефремов, А., (2013) Идентификация на многомерни системи, DAR-RH, ISBN 978-954-9489-34-7
  19. Ищев, К., (2007) Теория на автоматичното управление. ТУ - София
  20. а б Thomas, L., D. Edelman and J. Crook, (2002) Credit Scoring & Its Applications (Monographs on Mathematical Modeling and Computation), SIAM - society of industrial and applied mathematics, ISBN-13: 978-0898714838
  21. Leonov, V., (2012) Logistic regression in medicine and biology. In Biostatistics, in Russian.
  22. Weiner, I., J. Schinka and W. Velicer, (2003) Handbook of Psychology, Research Methods in Psychology, John Wiley & Sons, Inc.