- Tutorial
Uvod
Ja sam matematičar i programer. Najveći skok koji sam napravio u karijeri je kada sam naučio da kažem: "Ne razumijem ništa!" Sada se ne stidim da kažem svetioniku nauke da mi drži predavanje, da ne razumem šta mi on, svetilo, govori. I to je veoma teško. Da, priznati svoje neznanje je teško i sramotno. Ko voli da prizna da ne zna osnove nečega? Zbog moje profesije, moram prisustvovati velike količine prezentacije i predavanja, gdje, priznajem, u velikoj većini slučajeva želim spavati jer ništa ne razumijem. Ali ne razumem jer veliki problem Trenutna situacija u nauci leži u matematici. Pretpostavlja se da su svi slušaoci upoznati sa apsolutno svim oblastima matematike (što je apsurdno). Priznati da ne znate šta je derivat (o čemu ćemo govoriti malo kasnije) je sramotno.
Ali naučio sam da kažem da ne znam šta je množenje. Da, ne znam šta je podalgebra nad Lijevom algebrom. Da, ne znam zašto su potrebni u životu kvadratne jednačine. Inače, ako ste sigurni da znate, onda imamo o čemu da razgovaramo! Matematika je niz trikova. Matematičari pokušavaju da zbune i zastraše javnost; gdje nema zabune, nema ugleda, nema autoriteta. Da, prestižno je govoriti što apstraktnijim jezikom, što je potpuna glupost.
Znate li šta je derivat? Najvjerovatnije ćete mi reći o granici omjera razlike. Viktor Petrovič Havin mi je rekao na prvoj godini matematike i mehanike na Državnom univerzitetu u Sankt Peterburgu odlučan izvod kao koeficijent prvog člana Taylorovog reda funkcije u tački (ovo je bila posebna gimnastika za određivanje Taylorovog reda bez izvoda). Dugo sam se smijao ovoj definiciji dok konačno nisam shvatio o čemu se radi. Izvod nije ništa drugo nego jednostavna mjera koliko je funkcija koju razlikujemo slična funkciji y=x, y=x^2, y=x^3.
Sada imam čast da držim predavanja studentima koji uplašen matematike. Ako se bojite matematike, mi smo na istom putu. Čim pokušate da pročitate neki tekst i učini vam se da je previše komplikovan, znajte da je loše napisan. Tvrdim da ne postoji nijedna oblast matematike o kojoj se ne može raspravljati "na prste" a da se ne izgubi tačnost.
Zadatak za blisku budućnost: Zadao sam svojim učenicima da shvate šta je linearni kvadratni regulator. Ne stidite se, potrošite tri minuta svog života i pratite link. Ako ništa ne razumete, onda smo na istom putu. Ni ja (profesionalni matematičar-programer) nisam ništa razumio. I uvjeravam vas, ovo možete shvatiti „na prstima“. On ovog trenutka Ne znam šta je to, ali uvjeravam vas da možemo to shvatiti.
Dakle, prvo predavanje koje ću održati svojim studentima nakon što mi dotrče užasnuto i kažu da je linearno-kvadratni regulator strašna stvar koju nikada nećete savladati u životu je metode najmanjih kvadrata . Možete li odlučiti linearne jednačine? Ako čitate ovaj tekst, onda najvjerovatnije ne.
Dakle, date dvije tačke (x0, y0), (x1, y1), na primjer, (1,1) i (3,2), zadatak je pronaći jednadžbu prave koja prolazi kroz ove dvije tačke:
ilustracija
Ova linija bi trebala imati jednačinu poput sljedeće:
Ovdje su nam alfa i beta nepoznate, ali su poznate dvije tačke ove linije:
Ovu jednačinu možemo napisati u matričnom obliku:
Šta bi tu trebalo da se uradi lirska digresija: Šta je matrica? Matrica nije ništa drugo do dvodimenzionalni niz. Ovo je način pohranjivanja podataka; ne treba mu pridavati daljnja značenja. Od nas zavisi kako tačno interpretirati određenu matricu. Periodično ću ga tumačiti kao linearno preslikavanje, periodično kao kvadratni oblik, a ponekad jednostavno kao skup vektora. Ovo će sve biti razjašnjeno u kontekstu.
Zamijenimo konkretne matrice njihovim simboličkim prikazom:
Tada se (alfa, beta) može lako pronaći:
Konkretnije za naše prethodne podatke:
Što dovodi do sljedeće jednačine prave koja prolazi kroz tačke (1,1) i (3,2):
Dobro, ovde je sve jasno. Nađimo jednačinu prave koja prolazi tri tačke: (x0,y0), (x1,y1) i (x2,y2):
Oh-oh-oh, ali imamo tri jednadžbe za dvije nepoznanice! Standardni matematičar će reći da nema rješenja. Šta će reći programer? I prvo će prepisati prethodni sistem jednačina u sljedećem obliku:
U našem slučaju vektori i,j,b trodimenzionalno, dakle (in opšti slučaj) ne postoji rješenje za ovaj sistem. Bilo koji vektor (alpha\*i + beta\*j) leži u ravni koju pokrivaju vektori (i, j). Ako b ne pripada ovoj ravni, onda nema rješenja (jednakost se ne može postići u jednadžbi). sta da radim? Hajde da tražimo kompromis. Označimo sa e (alfa, beta) koliko tačno nismo postigli ravnopravnost:
I mi ćemo pokušati minimizirati ovu grešku:
Zašto kvadrat?
Ne tražimo samo minimum norme, već minimum kvadrata norme. Zašto? Minimalna tačka sama po sebi se poklapa, a kvadrat daje glatku funkciju (kvadratna funkcija argumenata (alfa, beta)), dok jednostavno dužina daje funkciju u obliku konusa, nediferencirajuću u minimalnoj tački. Brr. Kvadrat je pogodniji.
Očigledno, greška je minimizirana kada je vektor e ortogonalno na ravan koju pokrivaju vektori i I j.
Ilustracija
Drugim riječima: tražimo pravu liniju tako da je zbroj kvadrata dužina udaljenosti od svih tačaka do ove prave linije minimalan:
AŽURIRANJE: Ovdje imam problem, udaljenost do prave treba mjeriti vertikalno, a ne ortogonalnom projekcijom. Ovaj komentator je u pravu.
Ilustracija
Potpuno drugačijim riječima (pažljivo, loše formalizirano, ali treba biti jasno): uzimamo sve moguće linije između svih parova tačaka i tražimo prosječnu liniju između svih:
Ilustracija
Drugo objašnjenje je jednostavno: spajamo oprugu između svih tačaka podataka (ovdje imamo tri) i prave linije koju tražimo, a ravna linija ravnotežnog stanja je upravo ono što tražimo.
Minimalni kvadratni oblik
Dakle, s obzirom na ovaj vektor b i ravan koja se proteže vektorima stupaca matrice A(u ovom slučaju (x0,x1,x2) i (1,1,1)), tražimo vektor e sa minimalnim kvadratom dužine. Očigledno, minimum je dostižan samo za vektor e, ortogonalno na ravan koju pokrivaju vektori stupaca matrice A:Drugim riječima, tražimo vektor x=(alfa, beta) takav da:
Da vas podsjetim da je ovaj vektor x=(alfa, beta) minimum kvadratna funkcija||e(alfa, beta)||^2:
Ovdje bi bilo korisno zapamtiti da se matrica može tumačiti i kao kvadratni oblik, na primjer, matrica identiteta ((1,0),(0,1)) se može interpretirati kao funkcija x^2 + y^ 2:
kvadratni oblik
Sva ova gimnastika poznata je pod nazivom linearna regresija.
Laplaceova jednadžba sa Dirichletovim graničnim uvjetom
Sada najjednostavnije pravi izazov: postoji određena trokutasta površina, potrebno ju je zagladiti. Na primjer, učitajmo model mog lica:
Originalno urezivanje je dostupno. Da smanjim vanjske zavisnosti, uzeo sam kod svog softverskog renderera, već na Habré-u. Za rješenja linearni sistem Ja koristim OpenNL, odličan je rešavač, koji je, međutim, veoma težak za instaliranje: potrebno je da kopirate dva fajla (.h+.c) u fasciklu sa vašim projektom. Svo izglađivanje se radi sa sljedećim kodom:
Za (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X, Y i Z koordinate su razdvojive, ja ih izglađujem zasebno. Odnosno, rješavam tri sistema linearnih jednačina, od kojih svaki ima broj varijabli jednak broju vrhova u mom modelu. Prvih n redova matrice A ima samo jednu 1 po redu, a prvih n redova vektora b imaju originalne koordinate modela. Odnosno, vezujem oprugu između nove pozicije temena i stare pozicije temena - novi se ne bi trebali previše udaljavati od starih.
Svi naredni redovi matrice A (faces.size()*3 = broj ivica svih trouglova u mreži) imaju jedno pojavljivanje 1 i jedno pojavljivanje -1, pri čemu vektor b ima nula komponenti nasuprot. To znači da stavljam oprugu na svaku ivicu naše trouglaste mreže: sve ivice pokušavaju da dobiju isti vrh kao njihova početna i završna tačka.
Još jednom: svi vrhovi su varijable, i ne mogu se udaljiti od svog prvobitnog položaja, ali u isto vrijeme pokušavaju da postanu slični jedni drugima.
Evo rezultata:
Sve bi bilo u redu, model je zaista izglađen, ali se udaljio od prvobitne ivice. Promenimo malo kod:
Za (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
U našoj matrici A, za vrhove koji se nalaze na ivici, ne dodajem red iz kategorije v_i = verts[i][d], već 1000*v_i = 1000*verts[i][d]. Šta to mijenja? I ovo mijenja naš kvadratni oblik greške. Sada će jedno odstupanje od vrha na rubu koštati ne jednu jedinicu, kao prije, već 1000*1000 jedinica. Odnosno, okačili smo jaču oprugu na ekstremne vrhove, rješenje će radije istegnuti ostale jače. Evo rezultata:
Udvostručimo snagu opruge između vrhova:
nlKoeficijent(lice[j], 2); nlKoeficijent(lice[(j+1)%3], -2);
Logično je da je površina postala glatkija:
A sada čak sto puta jače:
Šta je ovo? Zamislite da smo umočili žičani prsten u vodu sa sapunom. Kao rezultat toga, rezultirajući film sapuna pokušat će imati najmanju moguću zakrivljenost, dodirujući granicu - naš žičani prsten. Upravo to smo dobili tako što smo popravili ivicu i tražili glatku površinu unutra. Čestitamo, upravo smo riješili Laplaceovu jednačinu sa Dirichletovim graničnim uslovima. Zvuči cool? Ali u stvarnosti, trebate samo riješiti jedan sistem linearnih jednačina.
Poissonova jednadžba
Prisjetimo se još jednog cool imena.Recimo da imam ovakvu sliku:
Svima izgleda dobro, ali mi se stolica ne sviđa.
Preseći ću sliku na pola: 
I ja ću svojim rukama odabrati stolicu: 
Zatim ću sve što je bijelo na maski povući na lijevu stranu slike, a istovremeno ću kroz cijelu sliku reći da razlika između dva susjedna piksela treba biti jednaka razlici između dva susjedna piksela desnog slika:
Za (int i=0; i Evo rezultata: Dostupni kod i slike Jedna od metoda za proučavanje stohastičkih odnosa između karakteristika je regresiona analiza. Najčešće se koristi za procjenu parametara metoda najmanjih kvadrata (LSM).
Problem procjene parametara jednadžbe linearnog para metodom najmanjih kvadrata je kako slijedi: da se dobiju takve procjene parametara , , kod kojih je zbroj kvadrata odstupanja stvarnih vrijednosti rezultujuće karakteristike - y i od izračunatih vrijednosti - minimalan. Hajde da ilustrujemo poentu klasična metoda najmanjih kvadrata grafički. Da bismo to uradili, konstruisaćemo dijagram raspršenja na osnovu podataka posmatranja (x i, y i, i=1; n) u pravougaonom koordinatnom sistemu (takav dijagram raspršenja naziva se korelaciono polje). Pokušajmo odabrati pravu liniju koja je najbliža tačkama korelacionog polja. Prema metodi najmanjih kvadrata, linija se bira tako da zbir kvadrata vertikalnih udaljenosti između tačaka korelacionog polja i ove prave bude minimalan. Procjena bliskosti odnosa između karakteristika
izvršeno korištenjem koeficijenta linearne parne korelacije - r x,y. Može se izračunati pomoću formule: Tabela 1 Metoda najmanjeg kvadrata Metoda najmanjeg kvadrata ( OLS, OLS, Obični najmanji kvadrati)
- jedna od osnovnih metoda regresione analize za procjenu nepoznatih parametara regresionih modela korištenjem uzoraka podataka. Metoda se zasniva na minimiziranju sume kvadrata reziduala regresije. Treba napomenuti da se sama metoda najmanjih kvadrata može nazvati metodom za rješavanje problema u bilo kojoj oblasti ako rješenje leži u ili zadovoljava neki kriterij za minimiziranje sume kvadrata nekih funkcija traženih varijabli. Stoga se metoda najmanjih kvadrata može koristiti i za približnu reprezentaciju (aproksimaciju) date funkcije drugim (jednostavnijim) funkcijama, pri pronalaženju skupa veličina koje zadovoljavaju jednačine ili ograničenja, čiji je broj veći od broja ovih veličina. , itd. Neka se da neki (parametarski) model vjerovatnoće (regresijske) veze između (objašnjene) varijable y i mnogi faktori (objašnjavajuće varijable) x gdje je vektor nepoznatih parametara modela Neka postoje i uzorci zapažanja vrijednosti ovih varijabli. Neka je broj zapažanja (). Zatim su vrijednosti varijabli u opservaciji. Zatim, za date vrijednosti parametara b, moguće je izračunati teorijske (modelske) vrijednosti objašnjene varijable y: Veličina reziduala zavisi od vrednosti parametara b. Suština metode najmanjih kvadrata (obična, klasična) je pronaći parametre b za koje je zbir kvadrata reziduala (eng. Preostali zbir kvadrata) bit će minimalan: U opštem slučaju, ovaj problem se može rešiti metodama numeričke optimizacije (minimizacije). U ovom slučaju govore o nelinearni najmanji kvadrati(NLS ili NLLS - engleski) Nelinearni najmanji kvadrati). U mnogim slučajevima moguće je dobiti analitičko rješenje. Da bi se riješio problem minimizacije, potrebno je pronaći stacionarne tačke funkcije diferenciranjem u odnosu na nepoznate parametre b, izjednačavanjem derivata sa nulom i rješavanjem rezultirajućeg sistema jednačina: Ako su slučajne greške modela normalno raspoređene, imaju istu varijansu i nisu u korelaciji, procjene parametara OLS-a su iste kao procjene maksimalne vjerovatnoće (MLM). Neka je zavisnost regresije linearna: Neka y je vektor stupca zapažanja objašnjene varijable, i matrica zapažanja faktora (redovi matrice su vektori faktorskih vrijednosti u datom zapažanju, kolone su vektor vrijednosti datog faktora u svim zapažanjima). Matrični prikaz linearnog modela je: Tada će vektor procjena objašnjene varijable i vektor reziduala regresije biti jednaki Prema tome, zbir kvadrata reziduala regresije će biti jednak Diferencirajući ovu funkciju u odnosu na vektor parametara i izjednačavajući derivate sa nulom, dobijamo sistem jednačina (u obliku matrice): Rješenje ovog sistema jednadžbi daje opću formulu za procjene najmanjih kvadrata za linearni model: Za analitičke svrhe, potonji prikaz ove formule je koristan. Ako u regresijskom modelu podaci centriran, onda u ovom prikazu prva matrica ima značenje uzorka kovarijanci matrice faktora, a druga je vektor kovarijansi faktora sa zavisnom varijablom. Ako su pored toga i podaci normalizovano na MSE (to jest, na kraju standardizovan), tada prva matrica ima značenje uzorka korelacione matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom. Važno svojstvo OLS procjena za modele sa konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno zadovoljena je jednakost: Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jedinog parametra (same konstante) jednaka srednjoj vrijednosti objašnjene varijable. Odnosno, aritmetička sredina, poznata po dobrim svojstvima iz zakona velikih brojeva, takođe je procjena najmanjih kvadrata - zadovoljava kriterij minimalnog zbira kvadrata odstupanja od nje. U slučaju uparene linearne regresije, formule za izračunavanje su pojednostavljene (možete bez matrične algebre): Prije svega, napominjemo da su za linearne modele procjene OLS linearne procjene, kao što slijedi iz gornje formule. Za nepristrasne OLS procjene, potrebno je i dovoljno da se ispuni najvažniji uslov regresione analize: matematičko očekivanje slučajne greške, uslovljeno faktorima, mora biti jednako nuli. Ovaj uslov je posebno zadovoljen ako Drugi uslov - uslov egzogenosti faktora - je fundamentalan. Ako ovo svojstvo nije ispunjeno, onda možemo pretpostaviti da će gotovo sve procjene biti krajnje nezadovoljavajuće: neće biti čak ni konzistentne (odnosno, čak i vrlo velika količina podataka ne dozvoljava nam da dobijemo visokokvalitetne procjene u ovom slučaju ). U klasičnom slučaju, jača se pretpostavka o determinizmu faktora, za razliku od slučajne greške, što automatski znači da je uslov egzogenosti ispunjen. U opštem slučaju, za konzistentnost procjena, dovoljno je zadovoljiti uslov egzogenosti zajedno sa konvergencijom matrice nekoj nesingularnoj matrici kako se veličina uzorka povećava do beskonačnosti. Da bi, osim konzistentnosti i nepristrasnosti, procjene (običnih) najmanjih kvadrata bile i efikasne (najbolje u klasi linearnih nepristrasnih procjena), moraju biti zadovoljena dodatna svojstva slučajne greške: Ove pretpostavke se mogu formulisati za matricu kovarijanse vektora slučajne greške Linearni model koji zadovoljava ove uslove naziva se klasična. OLS procjene za klasičnu linearnu regresiju su nepristrasne, dosljedne i najefikasnije procjene u klasi svih linearnih nepristrasnih procjena (u engleskoj literaturi ponekad se koristi skraćenica PLAVA (Najbolji linearni nebazirani procjenitelj) - najbolja linearna nepristrasna procjena; u ruskoj književnosti češće se citira Gauss-Markovljeva teorema). Kao što je lako pokazati, matrica kovarijanse vektora procjena koeficijenata bit će jednaka: Metoda najmanjih kvadrata omogućava široku generalizaciju. Umjesto minimiziranja sume kvadrata reziduala, može se minimizirati neki pozitivno definitivni kvadratni oblik vektora reziduala, gdje je neka simetrična matrica pozitive određene težine. Konvencionalni najmanji kvadrati je poseban slučaj ovog pristupa, gdje je matrica težine proporcionalna matrici identiteta. Kao što je poznato iz teorije simetričnih matrica (ili operatora), za takve matrice postoji dekompozicija. Shodno tome, navedeni funkcional se može predstaviti na sljedeći način, odnosno ovaj funkcional može se predstaviti kao zbir kvadrata nekih transformiranih „ostataka“. Dakle, možemo razlikovati klasu metoda najmanjih kvadrata - LS metode (Least Squares). Dokazano je (Aitkenova teorema) da su za generalizirani model linearne regresije (u kojem se ne nameću ograničenja na matricu kovarijanse slučajnih grešaka) najefikasnije (u klasi linearnih nepristrasnih procjena) tzv. generalizirani najmanji kvadrati (GLS - generalizirani najmanji kvadrati)- LS metoda sa težinskom matricom jednakom inverznoj kovarijansnoj matrici slučajnih grešaka: . Može se pokazati da formula za GLS procjene parametara linearnog modela ima oblik Matrica kovarijanse ovih procjena će prema tome biti jednaka Zapravo, suština OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni običnog OLS-a na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne greške već zadovoljavaju klasične pretpostavke. U slučaju dijagonalne matrice težine (a samim tim i matrice kovarijanse slučajnih grešaka), imamo takozvane ponderisane najmanje kvadrate (WLS). U ovom slučaju, ponderisani zbir kvadrata reziduala modela je minimiziran, odnosno svako zapažanje dobija „težinu“ koja je obrnuto proporcionalna varijansi slučajne greške u ovom zapažanju: . U stvari, podaci se transformišu ponderisanjem zapažanja (deljenjem sa količinom proporcionalnom procenjenoj standardnoj devijaciji slučajnih grešaka), a obični OLS se primenjuje na ponderisane podatke. Razmotrimo slučaj kada, kao rezultat proučavanja zavisnosti određene skalarne veličine od određene skalarne veličine (To može biti, na primjer, ovisnost napona o jačini struje: , gdje je konstantna vrijednost, otpor vodič), izvršena su mjerenja ovih veličina, uslijed čega su vrijednosti i njihove odgovarajuće vrijednosti. Podaci mjerenja moraju biti zabilježeni u tabeli. Table. Rezultati mjerenja. Pitanje je: koja se vrijednost koeficijenta može odabrati da najbolje opiše zavisnost? Prema metodi najmanjih kvadrata, ova vrijednost treba biti takva da zbir kvadrata odstupanja vrijednosti od vrijednosti bio minimalan Zbir kvadrata odstupanja ima jedan ekstrem - minimum, što nam omogućava da koristimo ovu formulu. Nađimo iz ove formule vrijednost koeficijenta. Da bismo to učinili, transformiramo njegovu lijevu stranu na sljedeći način: Posljednja formula nam omogućava da pronađemo vrijednost koeficijenta, što je i traženo u zadatku. Sve do početka 19. vijeka. naučnici nisu imali određena pravila za rješavanje sistema jednačina u kojem je broj nepoznatih manji od broja jednačina; Do tada su se koristile privatne tehnike koje su zavisile od vrste jednačina i od pameti kalkulatora, pa su različiti kalkulatori, na osnovu istih podataka posmatranja, dolazili do različitih zaključaka. Gauss (1795) je prvi upotrijebio metodu, a Legendre (1805) ga je samostalno otkrio i objavio pod modernim imenom (franc. Méthode des moindres quarrés
) . Laplas je ovu metodu povezao sa teorijom verovatnoće, a američki matematičar Adrain (1808) je razmatrao njene primene u teoriji verovatnoće. Metoda je široko rasprostranjena i poboljšana daljim istraživanjima Enckea, Bessela, Hansena i drugih. Ideja metode najmanjih kvadrata može se koristiti i u drugim slučajevima koji nisu direktno povezani s regresijskom analizom. Činjenica je da je zbir kvadrata jedna od najčešćih mjera blizine vektora (euklidska metrika u konačnodimenzionalnim prostorima). Jedna aplikacija je "rješenje" sistema linearnih jednadžbi u kojima je broj jednačina veći od broja varijabli gdje matrica nije kvadratne, već pravokutne veličine. Takav sistem jednačina, u opštem slučaju, nema rješenja (ako je rang zapravo veći od broja varijabli). Stoga se ovaj sistem može “riješiti” samo u smislu odabira takvog vektora da se minimizira “udaljenost” između vektora i . Da biste to učinili, možete primijeniti kriterij minimiziranja zbira kvadrata razlika između lijeve i desne strane jednadžbe sistema, tj. Lako je pokazati da rješavanje ovog problema minimizacije vodi do rješavanja sljedećeg sistema jednačina Široko se koristi u ekonometriji u obliku jasne ekonomske interpretacije njenih parametara. Linearna regresija se svodi na pronalaženje jednačine oblika
ili Jednačina oblika Konstrukcija linearne regresije svodi se na procjenu njenih parametara - A I V. Procjene parametara linearne regresije mogu se pronaći korištenjem različitih metoda. Klasičan pristup procjeni parametara linearne regresije temelji se na metoda najmanjih kvadrata(MNC). Metoda najmanjih kvadrata nam omogućava da dobijemo takve procjene parametara A I V, pri čemu je zbir kvadrata odstupanja stvarnih vrijednosti rezultantne karakteristike (y) od izračunatog (teorijskog)
minimum: Da biste pronašli minimum funkcije, morate izračunati parcijalne izvode za svaki od parametara A I b i postavite ih jednakima nuli. Označimo Transformacijom formule dobijamo sledeći sistem normalnih jednačina za procenu parametara A I V: Rješavajući sistem normalnih jednačina (3.5) bilo metodom sekvencijalne eliminacije varijabli ili metodom determinanti, nalazimo tražene procjene parametara A I V. Parametar V naziva se koeficijent regresije. Njegova vrijednost pokazuje prosječnu promjenu rezultata sa promjenom faktora za jednu jedinicu. Jednačina regresije je uvijek dopunjena indikatorom bliskosti veze. Kada se koristi linearna regresija, takav pokazatelj je koeficijent linearne korelacije. Postoje različite modifikacije formule koeficijenta linearne korelacije. Neki od njih su dati u nastavku: Kao što je poznato, koeficijent linearne korelacije je u granicama: -1 ≤
≤
1. Za procjenu kvaliteta odabira linearne funkcije izračunava se kvadrat Koeficijent linearne korelacije tzv koeficijent odlučnosti. Koeficijent determinacije karakterizira udio varijanse rezultirajuće karakteristike y, objašnjeno regresijom, u ukupnoj varijansi rezultirajuće osobine: Shodno tome, vrijednost 1 karakterizira udio varijanse y, uzrokovane uticajem drugih faktora koji nisu uzeti u obzir u modelu. Pitanja za samokontrolu 1. Suština metode najmanjih kvadrata? 2. Koliko varijabli pruža parna regresija? 3. Koji koeficijent određuje bliskost veze između promjena? 4. U kojim granicama se utvrđuje koeficijent determinacije? 5. Procjena parametra b u korelaciono-regresionoj analizi? 1. Christopher Dougherty. Uvod u ekonometriju. - M.: INFRA - M, 2001 - 402 str. 2. S.A. Borodich. Ekonometrija. Minsk DOO “Novo znanje” 2001. 3. R.U. Rakhmetova Kratki kurs iz ekonometrije. Tutorial. Almaty. 2004. -78p. 4. I.I. Eliseeva Econometrics. - M.: “Finansije i statistika”, 2002 5. Mjesečni informativno-analitički časopis. Nelinearni ekonomski modeli.. Transformacija varijabli. Koeficijent elastičnosti. Ako postoje nelinearni odnosi između ekonomskih fenomena, onda se oni izražavaju pomoću odgovarajućih nelinearnih funkcija: na primjer, jednakostranična hiperbola 1. Regresije koje su nelinearne u odnosu na objašnjavajuće varijable uključene u analizu, ali linearne u odnosu na procijenjene parametre, na primjer: Polinomi različitih stepeni - Jednakostranična hiperbola - ; Semilogaritamska funkcija - . 2. Regresije koje su nelinearne u parametrima koji se procjenjuju, na primjer: Snaga - ; Demonstrativna - ; Eksponencijalno - . Ukupan zbroj kvadrata odstupanja pojedinačnih vrijednosti rezultirajuće karakteristike at od prosječne vrijednosti uzrokovano je uticajem mnogih razloga. Uvjetno podijelimo cijeli niz razloga u dvije grupe: faktor koji se proučava x I drugi faktori. Ako faktor ne utječe na rezultat, tada je linija regresije na grafu paralelna s osom Oh I Tada je cijela varijansa rezultirajuće karakteristike posljedica utjecaja drugih faktora i ukupni zbir kvadrata odstupanja će se poklopiti sa ostatkom. Ako drugi faktori ne utiču na rezultat, onda y tied With X funkcionalno i rezidualni zbir kvadrata je nula. U ovom slučaju, zbir kvadrata odstupanja objašnjenih regresijom je isti kao i ukupni zbir kvadrata. Budući da ne leže sve tačke korelacionog polja na regresijskoj liniji, njihovo rasipanje se uvek javlja kao rezultat uticaja faktora X, odnosno regresija at By X, i uzrokovane drugim uzrocima (neobjašnjive varijacije). Pogodnost linije regresije za predviđanje zavisi od toga koji deo ukupne varijacije osobine at objašnjava objašnjenu varijaciju Očigledno, ako je zbir kvadrata odstupanja zbog regresije veći od preostalog zbira kvadrata, tada je jednadžba regresije statistički značajna i faktor X ima značajan uticaj na rezultat u. ,
tj. sa brojem slobode nezavisne varijacije karakteristike. Broj stepeni slobode povezan je sa brojem jedinica populacije n i brojem konstanti koje se iz njega određuju. U odnosu na problem koji se proučava, broj stepeni slobode treba da pokaže koliko je nezavisnih odstupanja od P Procjena značaja regresione jednačine u cjelini data je korištenjem F-Fišerov kriterijum. U ovom slučaju se postavlja nulta hipoteza da je koeficijent regresije jednak nuli, tj. b = 0, a samim tim i faktor X ne utiče na rezultat u. Neposrednom izračunavanju F-testa prethodi analiza varijanse. Centralno mjesto u njemu zauzima dekompozicija ukupnog zbira kvadrata odstupanja varijable at od prosječne vrijednosti at na dva dijela - "objašnjeno" i "neobjašnjeno": Svaki zbir odstupanja na kvadrat povezan je sa brojem stepeni slobode ,
tj. sa brojem slobode nezavisne varijacije karakteristike. Broj stepena slobode povezan je sa brojem populacijskih jedinica n i sa brojem konstanti određenim iz njega. U odnosu na problem koji se proučava, broj stepeni slobode treba da pokaže koliko je nezavisnih odstupanja od P moguće potrebno za formiranje date sume kvadrata. Disperzija po stepenu slobodeD.
F-odnosi (F-test): Ako je nulta hipoteza tačna, tada se faktor i preostale varijanse ne razlikuju jedna od druge. Za H 0 potrebno je opovrgavanje kako bi disperzija faktora nekoliko puta premašila disperziju ostatka. Engleski statističar Snedekor razvio je tabele kritičnih vrednosti F-relacije na različitim nivoima značaja nulte hipoteze i različitog broja stepeni slobode. Vrijednost tabele F-kriterijum je maksimalna vrijednost omjera varijansi koja se može pojaviti u slučaju slučajne divergencije za dati nivo vjerovatnoće prisustva nulte hipoteze. Izračunata vrijednost F-relacije se smatraju pouzdanim ako je o veće od tabele. U ovom slučaju se odbacuje nulta hipoteza o nepostojanju veze između znakova i izvodi se zaključak o značaju ovog odnosa: F činjenica > F tabela H 0 je odbijen. Ako je vrijednost manja od prikazane u tabeli F činjenica ‹, F tabela, tada je vjerovatnoća nulte hipoteze veća od određenog nivoa i ne može se odbaciti bez ozbiljnog rizika od izvođenja pogrešnog zaključka o postojanju veze. U ovom slučaju, jednačina regresije se smatra statistički beznačajnom. Ali on ne odstupa. Standardna greška koeficijenta regresije Da bi se procijenila značajnost koeficijenta regresije, njegova vrijednost se upoređuje sa njegovom standardnom greškom, odnosno utvrđuje se stvarna vrijednost t-Učenički test: Standardna greška parametra A: Značajnost koeficijenta linearne korelacije se provjerava na osnovu veličine greške koeficijent korelacije t r: Ukupna varijansa osobina X: Višestruka linearna regresija Izgradnja modela Višestruka regresija predstavlja regresiju efektivne karakteristike sa dva ili više faktora, odnosno model forme Regresija može dati dobre rezultate u modeliranju ako se zanemari uticaj drugih faktora koji utiču na predmet proučavanja. Ponašanje pojedinih ekonomskih varijabli ne može se kontrolisati, odnosno nije moguće osigurati jednakost svih ostalih uslova za procjenu uticaja jednog faktora koji se proučava. U ovom slučaju, trebali biste pokušati identificirati utjecaj drugih faktora tako što ćete ih uvesti u model, tj. konstruirati jednadžbu višestruke regresije: y = a+b 1 x 1 +b 2 +…+b p x p + .
Osnovni cilj višestruke regresije je da se izgradi model sa velikim brojem faktora, pri čemu se utvrđuje uticaj svakog od njih posebno, kao i njihov kombinovani uticaj na modelirani indikator. Specifikacija modela uključuje dva niza pitanja: izbor faktora i izbor vrste regresijske jednačine Ima mnogo aplikacija, jer omogućava približan prikaz date funkcije drugim jednostavnijim. LSM može biti izuzetno koristan u obradi zapažanja, a aktivno se koristi za procjenu nekih veličina na osnovu rezultata mjerenja drugih koji sadrže slučajne greške. U ovom članku ćete naučiti kako implementirati izračune najmanjih kvadrata u Excelu. Pretpostavimo da postoje dva indikatora X i Y. Štaviše, Y zavisi od X. Budući da nas OLS zanima sa stanovišta regresione analize (u Excelu se njegove metode implementiraju pomoću ugrađenih funkcija), treba odmah preći na razmatranje konkretan problem. Dakle, neka je X maloprodajni prostor prodavnice prehrambenih proizvoda, mjeren kvadratnim metrima, a Y godišnji promet, mjeren milionima rubalja. Potrebno je napraviti prognozu koliki će promet (Y) trgovina imati ako ima ovaj ili onaj maloprodajni prostor. Očigledno, funkcija Y = f (X) raste, jer hipermarket prodaje više robe od tezge. Recimo da imamo tabelu napravljenu koristeći podatke za n prodavnica. Prema matematičkoj statistici, rezultati će biti manje-više tačni ako se ispitaju podaci o najmanje 5-6 objekata. Osim toga, "anomalni" rezultati se ne mogu koristiti. Konkretno, elitni mali butik može imati promet koji je nekoliko puta veći od prometa velikih maloprodajnih objekata klase „masmarket“. Podaci tabele mogu se prikazati na kartezijanskoj ravni u obliku tačaka M 1 (x 1, y 1), ... M n (x n, y n). Sada će se rješenje problema svesti na izbor aproksimirajuće funkcije y = f (x), koja ima graf koji prolazi što bliže tačkama M 1, M 2, .. M n. Naravno, možete koristiti polinom visokog stupnja, ali ova opcija nije samo teška za implementaciju, već je i jednostavno netočna, jer neće odražavati glavni trend koji treba otkriti. Najrazumnije rješenje je traženje prave linije y = ax + b, koja najbolje aproksimira eksperimentalne podatke, tačnije, koeficijente a i b. Uz bilo kakvu aproksimaciju, procjena njegove tačnosti je od posebne važnosti. Označimo sa e i razliku (odstupanje) između funkcionalne i eksperimentalne vrijednosti za tačku x i, tj. e i = y i - f (x i). Očigledno, da biste procijenili tačnost aproksimacije, možete koristiti zbir odstupanja, odnosno, kada birate pravu liniju za približni prikaz zavisnosti X od Y, treba dati prednost onoj s najmanjom vrijednošću zbir e i u svim tačkama koje se razmatraju. Međutim, nije sve tako jednostavno, jer će uz pozitivne devijacije biti i negativnih. Problem se može riješiti korištenjem modula odstupanja ili njihovih kvadrata. Posljednja metoda je najčešće korištena. Koristi se u mnogim oblastima, uključujući regresijsku analizu (implementirana u Excelu pomoću dvije ugrađene funkcije), i odavno je dokazala svoju učinkovitost. Excel, kao što znate, ima ugrađenu funkciju AutoSum koja vam omogućava da izračunate vrijednosti svih vrijednosti koje se nalaze u odabranom rasponu. Dakle, ništa nas neće spriječiti da izračunamo vrijednost izraza (e 1 2 + e 2 2 + e 3 2 + ... e n 2). U matematičkoj notaciji ovo izgleda ovako: Pošto je prvobitno donesena odluka da se aproksimira pomoću prave linije, imamo: Dakle, zadatak pronalaženja prave linije koja najbolje opisuje specifičnu zavisnost veličina X i Y svodi se na izračunavanje minimuma funkcije dvije varijable: Da biste to učinili, morate parcijalne derivacije u odnosu na nove varijable a i b izjednačiti sa nulom, i riješiti primitivni sistem koji se sastoji od dvije jednadžbe sa 2 nepoznate forme: Nakon nekoliko jednostavnih transformacija, uključujući dijeljenje sa 2 i manipulaciju suma, dobijamo: Rješavajući ga, na primjer, Cramerovom metodom, dobijamo stacionarnu tačku sa određenim koeficijentima a * i b *. Ovo je minimum, tj. da se predvidi koliki će promet trgovina imati za određeno područje, prikladna je ravna linija y = a * x + b *, koja je regresijski model za predmetni primjer. Naravno, to vam neće omogućiti da pronađete točan rezultat, ali će vam pomoći da steknete ideju o tome hoće li se kupovina određenog područja na kredit u trgovini isplatiti. Excel ima funkciju za izračunavanje vrijednosti pomoću najmanjih kvadrata. Ima sljedeći oblik: “TREND” (poznate Y vrijednosti; poznate X vrijednosti; nove X vrijednosti; konstanta). Primijenimo formulu za izračunavanje OLS-a u Excelu na našu tablicu. Da biste to učinili, unesite znak “=” u ćeliju u kojoj bi trebao biti prikazan rezultat izračuna primjenom metode najmanjih kvadrata u Excelu i odaberite funkciju “TREND”. U prozoru koji se otvori popunite odgovarajuća polja, naglašavajući: Dodatno, formula sadrži logičku varijablu “Const”. Ako u odgovarajuće polje unesete 1, to će značiti da trebate izvršiti proračune, pod pretpostavkom da je b = 0. Ako trebate saznati prognozu za više od jedne vrijednosti x, onda nakon unosa formule ne biste trebali pritisnuti "Enter", već morate upisati kombinaciju "Shift" + "Control" + "Enter" na tastaturi. Regresiona analiza može biti dostupna čak i lutkama. Excel formulu za predviđanje vrijednosti niza nepoznatih varijabli – TREND – mogu koristiti čak i oni koji nikada nisu čuli za najmanje kvadrate. Dovoljno je samo znati neke od karakteristika njegovog rada. posebno: Implementirano korištenjem nekoliko funkcija. Jedna od njih se zove “PREDIKCIJA”. Sličan je "TREND", tj. daje rezultat proračuna metodom najmanjih kvadrata. Međutim, samo za jedan X, za koji je vrijednost Y nepoznata. Sada znate formule u Excelu za lutke koje vam omogućavaju da predvidite buduću vrijednost određenog indikatora prema linearnom trendu.
Regresiona analiza je izvođenje regresione jednačine, uz pomoć koje se pronalazi prosječna vrijednost slučajne varijable (atribut rezultata) ako je poznata vrijednost druge (ili druge) varijabli (faktor-atributa). Uključuje sljedeće korake:
Najčešće se linearni oblik koristi za opisivanje statističkog odnosa karakteristika. Fokus na linearnim odnosima objašnjava se jasnim ekonomskim tumačenjem njegovih parametara, ograničenom varijacijom varijabli i činjenicom da se u većini slučajeva nelinearni oblici odnosa pretvaraju (logaritmom ili zamjenom varijabli) u linearni oblik za obavljanje proračuna. .
U slučaju linearne parne veze, jednačina regresije će imati oblik: y i =a+b·x i +u i . Parametri a i b ove jednačine su procijenjeni iz statističkih podataka posmatranja x i y. Rezultat takve procjene je jednadžba: , gdje su procjene parametara a i b , je vrijednost rezultirajućeg atributa (varijable) dobijene iz jednačine regresije (izračunata vrijednost).
Metoda najmanjih kvadrata daje najbolje (dosljedne, efikasne i nepristrasne) procjene parametara regresione jednačine. Ali samo ako su ispunjene određene pretpostavke u vezi sa slučajnim članom (u) i nezavisnom varijablom (x) (vidi OLS pretpostavke).
Formalno OLS test može se napisati ovako: 
.Klasifikacija metoda najmanjih kvadrata
Matematička notacija za ovaj problem: 
.
Poznate su nam vrijednosti y i i x i =1...n; ovo su podaci opservacije. U S funkciji predstavljaju konstante. Varijable u ovoj funkciji su potrebne procjene parametara - , . Da bismo pronašli minimum funkcije dvije varijable, potrebno je izračunati parcijalne izvode ove funkcije za svaki od parametara i izjednačiti ih sa nulom, tj. 
.
Kao rezultat, dobijamo sistem od 2 normalne linearne jednadžbe: 
Rješavajući ovaj sistem, nalazimo potrebne procjene parametara: 
Ispravnost proračuna parametara regresione jednačine može se provjeriti poređenjem iznosa (može doći do neslaganja zbog zaokruživanja proračuna).
Da biste izračunali procjene parametara, možete napraviti tabelu 1.
Znak koeficijenta regresije b ukazuje na smjer odnosa (ako je b >0, odnos je direktan, ako je b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalno, vrijednost parametra a je prosječna vrijednost y sa x jednakim nuli. Ako faktor-atribut nema i ne može imati nultu vrijednost, onda gornja interpretacija parametra a nema smisla.
. Osim toga, koeficijent korelacije linearnog para može se odrediti preko koeficijenta regresije b: 
.
Raspon prihvatljivih vrijednosti koeficijenta linearne korelacije para je od –1 do +1. Znak koeficijenta korelacije ukazuje na smjer odnosa. Ako je r x, y >0, onda je veza direktna; ako je r x, y<0, то связь обратная.
Ako je ovaj koeficijent po veličini blizu jedinice, onda se odnos između karakteristika može tumačiti kao prilično blizak linearni. Ako je njegov modul jednak jednom ê r x , y ê =1, tada je odnos između karakteristika funkcionalno linearan. Ako su karakteristike x i y linearno nezavisne, tada je r x,y blizu 0.
Za izračunavanje r x,y možete koristiti i tabelu 1.
Da biste procijenili kvalitetu rezultirajuće regresione jednačine, izračunajte teoretski koeficijent determinacije - R 2 yx: N zapažanja x i y i x i ∙y i
1
x 1 y 1 x 1 y 1
2
x 2 y 2 x 2 y 2
...
n x n y n x n y n
Column Sum ∑x ∑y ∑xy
Prosječna vrijednost
,
gdje je d 2 varijansa y objašnjena jednadžbom regresije;
e 2 - rezidualna (neobjašnjena jednadžbom regresije) varijansa y;
s 2 y - ukupna (ukupna) varijansa y.
Koeficijent determinacije karakteriše udio varijacije (disperzije) rezultujućeg atributa y objašnjen regresijom (i, posljedično, faktorom x) u ukupnoj varijaciji (disperziji) y. Koeficijent determinacije R 2 yx ima vrijednosti od 0 do 1. Shodno tome, vrijednost 1-R 2 yx karakterizira udio varijanse y uzrokovane utjecajem drugih faktora koji nisu uzeti u obzir u modelu i greškama u specifikaciji.
U parnoj sobi linearna regresija R 2 yx =r 2 yx.
Suština MNC-a
OLS u slučaju linearnog modela
Primjer: najjednostavnija (parna) regresija
Svojstva OLS estimatora
Generalizovani OLS
Weighted OLS
Neki posebni slučajevi korištenja MNC-a u praksi
Aproksimacija linearne zavisnosti
Mjerenje br.
1
2
3
4
5
6
Priča
Alternativne upotrebe OLS-a
dozvoljava na osnovu specificiranih vrijednosti parametara X imaju teorijske vrijednosti rezultantne karakteristike, zamjenjujući stvarne vrijednosti faktora u nju X.
kroz S, onda:
Nelinearni ekonomski modeli. Modeli nelinearne regresije. Transformacija varijabli.
,
parabole drugog stepena 
i sl.Postoje dvije klase nelinearnih regresija:
, ;
- ukupan zbir kvadrata odstupanja;
- zbir kvadrata odstupanja objašnjenih regresijom;
- rezidualni zbir kvadrata odstupanja.
koji se zatim poredi sa tabelarnom vrednošću na određenom nivou značajnosti i broju stepeni slobode ( n- 2).
Iskazivanje problema na konkretnom primjeru
Nekoliko riječi o ispravnosti početnih podataka korištenih za predviđanje
Suština metode
Procjena tačnosti
Metoda najmanjeg kvadrata
Kako implementirati najmanje kvadrate u Excelu
Neke karakteristike
Funkcija PREDICTION