Maskinlæring er en gren av kunstig intelligens som fokuserer på utvikling av algoritmer og statistiske modeller som kan lære av og forutsi data. Lineær regresjon er også en type maskinlæringsalgoritme mer spesifikt en overvåket maskinlæringsalgoritme som lærer av de merkede datasettene og kartlegger datapunktene til de mest optimaliserte lineære funksjonene. som kan brukes til prediksjon på nye datasett.

Først av alt bør vi vite hva overvåket maskinlæringsalgoritmer er. Det er en type maskinlæring hvor algoritmen lærer fra merkede data. Merkede data betyr datasettet hvis respektive målverdi allerede er kjent. Veiledet læring har to typer:

• Klassifisering : Den forutsier klassen til datasettet basert på den uavhengige inngangsvariabelen. Klasse er de kategoriske eller diskrete verdiene. som om bildet av et dyr er en katt eller hund?
• Regresjon : Den forutsier de kontinuerlige utdatavariablene basert på den uavhengige inngangsvariabelen. som prediksjon av boligpriser basert på forskjellige parametere som boligalder, avstand fra hovedveien, beliggenhet, område, etc.

Her vil vi diskutere en av de enkleste regresjonstypene, dvs. Lineær regresjon.

Innholdsfortegnelse

• Hva er lineær regresjon?
• Typer lineær regresjon
• Hva er den beste Fit Line?
• Kostnadsfunksjon for lineær regresjon
• Forutsetninger om enkel lineær regresjon
• Forutsetninger om multippel lineær regresjon
• Evalueringsmålinger for lineær regresjon
• Python-implementering av lineær regresjon
• Regulariseringsteknikker for lineære modeller
• Anvendelser av lineær regresjon
• Fordeler og ulemper med lineær regresjon
• Lineær regresjon – ofte stilte spørsmål (FAQs)

Hva er lineær regresjon?

Lineær regresjon er en type overvåket maskinlæring algoritme som beregner det lineære forholdet mellom den avhengige variabelen og en eller flere uavhengige funksjoner ved å tilpasse en lineær ligning til observerte data.

Når det bare er en uavhengig funksjon, er den kjent som Enkel lineær regresjon , og når det er mer enn én funksjon, er det kjent som Multippel lineær regresjon .

På samme måte, når det bare er én avhengig variabel, vurderes den Univariat lineær regresjon , mens når det er mer enn én avhengig variabel, er det kjent som Multivariat regresjon .

Hvorfor er lineær regresjon viktig?

Tolkbarheten av lineær regresjon er en bemerkelsesverdig styrke. Modellens ligning gir klare koeffisienter som belyser virkningen av hver uavhengig variabel på den avhengige variabelen, og letter en dypere forståelse av den underliggende dynamikken. Dens enkelhet er en dyd, siden lineær regresjon er gjennomsiktig, enkel å implementere og fungerer som et grunnleggende konsept for mer komplekse algoritmer.

Lineær regresjon er ikke bare et prediktivt verktøy; den danner grunnlaget for ulike avanserte modeller. Teknikker som regularisering og støttevektormaskiner henter inspirasjon fra lineær regresjon, og utvider nytten. I tillegg er lineær regresjon en hjørnestein i antagelsestesting, som gjør det mulig for forskere å validere viktige antakelser om dataene.

Typer lineær regresjon

Det er to hovedtyper av lineær regresjon:

Enkel lineær regresjon

Dette er den enkleste formen for lineær regresjon, og den involverer bare én uavhengig variabel og én avhengig variabel. Ligningen for enkel lineær regresjon er:
y=eta_{0}+eta_{1}X
hvor:

• Y er den avhengige variabelen
• X er den uavhengige variabelen
• β0 er skjæringspunktet
• β1 er skråningen

Multippel lineær regresjon

Dette involverer mer enn én uavhengig variabel og én avhengig variabel. Ligningen for multippel lineær regresjon er:
y=eta_{0}+eta_{1}X+eta_{2}X+………eta_{n}X
hvor:

• Y er den avhengige variabelen
• X1, X2, …, Xp er de uavhengige variablene
• β0 er skjæringspunktet
• β1, β2, …, βn er bakkene

Målet med algoritmen er å finne beste Fit Line ligning som kan forutsi verdiene basert på de uavhengige variablene.

I regresjon er sett med poster tilstede med X- og Y-verdier, og disse verdiene brukes til å lære en funksjon, så hvis du vil forutsi Y fra en ukjent X, kan denne innlærte funksjonen brukes. I regresjon må vi finne verdien av Y, så det kreves en funksjon som forutsier kontinuerlig Y i tilfelle regresjon gitt X som uavhengige egenskaper.

Hva er den beste Fit Line?

Vårt primære mål ved bruk av lineær regresjon er å finne den best passende linjen, noe som innebærer at feilen mellom de predikerte og faktiske verdiene bør holdes på et minimum. Det vil være minst feil i best-fit-linjen.

Den beste tilpasningslinjeligningen gir en rett linje som representerer forholdet mellom de avhengige og uavhengige variablene. Helningen på linjen angir hvor mye den avhengige variabelen endres for en enhetsendring i den eller de uavhengige variablene.

Lineær regresjon

Her kalles Y en avhengig eller målvariabel og X kalles en uavhengig variabel også kjent som prediktoren til Y. Det finnes mange typer funksjoner eller moduler som kan brukes til regresjon. En lineær funksjon er den enkleste typen funksjon. Her kan X være en enkelt funksjon eller flere funksjoner som representerer problemet.

Lineær regresjon utfører oppgaven å forutsi en avhengig variabelverdi (y) basert på en gitt uavhengig variabel (x)). Derfor er navnet lineær regresjon. I figuren over er X (input) arbeidserfaringen og Y (output) er lønnen til en person. Regresjonslinjen er den linjen som passer best for modellen vår.

Vi bruker kostnadsfunksjonen til å beregne de beste verdiene for å få den beste tilpasningslinjen siden ulike verdier for vekter eller koeffisienten av linjer resulterer i ulike regresjonslinjer.

Hypotesefunksjon i lineær regresjon

Som vi har antatt tidligere at vår uavhengige funksjon er erfaringen, dvs. X og den respektive lønnen Y er den avhengige variabelen. La oss anta at det er et lineært forhold mellom X og Y, så kan lønnen forutsies ved å bruke:

freddie mercury født

hat{Y} = heta_1 + heta_2X

ELLER

hat{y}_i = heta_1 + heta_2x_i

Her,

• y_i epsilon Y ;; (i= 1,2, cdots , n) er etiketter til data (overvåket læring)
• x_i epsilon X ;; (i= 1,2, cdots , n) er inngangsuavhengige treningsdata (univariat – én inngangsvariabel (parameter))
• hat{y_i} epsilon hat{Y} ;; (i= 1,2, cdots , n) er de predikerte verdiene.

Modellen får den beste regresjonstilpasningslinjen ved å finne den beste θ₁og θ₂verdier.

• Jeg ₁ : avskjære
• Jeg ₂ : koeffisient av x

Når vi finner den beste θ₁og θ₂verdier, får vi den linjen som passer best. Så når vi endelig bruker modellen vår for prediksjon, vil den forutsi verdien av y for inngangsverdien til x.

Hvordan oppdatere θ ₁ og θ ₂ verdier for å få den best passende linjen?

For å oppnå best-fit regresjonslinjen, har modellen som mål å forutsi målverdienhat{Y} slik at feilforskjellen mellom den predikerte verdienhat{Y} og den sanne verdien Y er minimum. Så det er veldig viktig å oppdatere θ₁og θ₂verdier, for å nå den beste verdien som minimerer feilen mellom den anslåtte y-verdien (pred) og den sanne y-verdien (y).

minimizefrac{1}{n}sum_{i=1}^{n}(hat{y_i}-y_i)^2

Kostnadsfunksjon for lineær regresjon

De kostnadsfunksjon eller tapsfunksjon er ingenting annet enn feilen eller forskjellen mellom den forutsagte verdienhat{Y} og den sanne verdien Y.

I lineær regresjon er Mean Squared Error (MSE) kostnadsfunksjonen brukes, som beregner gjennomsnittet av kvadratfeilene mellom de predikerte verdienehat{y}_i og de faktiske verdiene{y}_i . Hensikten er å bestemme de optimale verdiene for avskjæringen heta_1 og koeffisienten til inngangsfunksjonen heta_2 gir den best passende linjen for de gitte datapunktene. Den lineære ligningen som uttrykker dette forholdet erhat{y}_i = heta_1 + heta_2x_i .

MSE-funksjonen kan beregnes som:

ext{Cost function}(J) = frac{1}{n}sum_{n}^{i}(hat{y_i}-y_i)^2

Ved å bruke MSE-funksjonen brukes den iterative prosessen med gradientnedstigning for å oppdatere verdiene til heta_1 & heta_2 . Dette sikrer at MSE-verdien konvergerer til de globale minima, noe som indikerer den mest nøyaktige tilpasningen av den lineære regresjonslinjen til datasettet.

Denne prosessen innebærer kontinuerlig justering av parameterne ( heta_1) og ( heta_2) basert på gradientene beregnet fra MSE. Sluttresultatet er en lineær regresjonslinje som minimerer de totale kvadratiske forskjellene mellom de predikerte og faktiske verdiene, og gir en optimal representasjon av det underliggende forholdet i dataene.

Gradientnedstigning for lineær regresjon

En lineær regresjonsmodell kan trenes ved hjelp av optimaliseringsalgoritmen gradient nedstigning ved å iterativt modifisere modellens parametere for å redusere gjennomsnittlig kvadratfeil (MSE) av modellen på et treningsdatasett. For å oppdatere θ₁og θ₂verdier for å redusere kostnadsfunksjonen (minimere RMSE-verdien) og oppnå den best passende linjen modellen bruker Gradient Descent. Tanken er å starte med tilfeldig θ₁og θ₂verdier og deretter iterativt oppdatere verdiene, og nå minimumskostnad.

En gradient er ikke annet enn en derivert som definerer effektene på utgangene av funksjonen med litt variasjon i innganger.

La oss skille kostnadsfunksjonen (J) med hensyn til heta_1

egin {aligned} {J}’_{ heta_1} &=frac{partial J( heta_1, heta_2)}{partial heta_1} &= frac{partial}{partial heta_1} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(1+0-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2 ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) end {aligned}

La oss skille kostnadsfunksjonen (J) med hensyn til heta_2

egin {aligned} {J}’_{ heta_2} &=frac{partial J( heta_1, heta_2)}{partial heta_2} &= frac{partial}{partial heta_2} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(0+x_i-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2x_i ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i end {aligned}

Å finne koeffisientene til en lineær ligning som passer best til treningsdataene er målet for lineær regresjon. Ved å bevege seg i retning av Mean Squared Error negative gradient i forhold til koeffisientene, kan koeffisientene endres. Og den respektive skjæringspunktet og koeffisienten til X vil være ifalpha er læringsraten.

Gradient Nedstigning

egin{aligned} heta_1 &= heta_1 – alpha left( {J}’_{ heta_1} ight) &= heta_1 -alpha left( frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) ight) end{aligned} egin{aligned} heta_2 &= heta_2 – alpha left({J}’_{ heta_2} ight) &= heta_2 – alpha left(frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i ight) end{aligned}

Forutsetninger om enkel lineær regresjon

Lineær regresjon er et kraftig verktøy for å forstå og forutsi oppførselen til en variabel, men den må oppfylle noen få betingelser for å være nøyaktige og pålitelige løsninger.

1. Linearitet : De uavhengige og avhengige variablene har en lineær sammenheng med hverandre. Dette innebærer at endringer i den avhengige variabelen følger endringer i de uavhengige variablene på en lineær måte. Dette betyr at det skal være en rett linje som kan trekkes gjennom datapunktene. Hvis forholdet ikke er lineært, vil ikke lineær regresjon være en nøyaktig modell.
   
2. Selvstendighet : Observasjonene i datasettet er uavhengige av hverandre. Dette betyr at verdien av den avhengige variabelen for en observasjon ikke er avhengig av verdien av den avhengige variabelen for en annen observasjon. Hvis observasjonene ikke er uavhengige, vil ikke lineær regresjon være en nøyaktig modell.
3. Homoskedastisitet : På tvers av alle nivåer av de uavhengige variablene er variansen til feilene konstant. Dette indikerer at mengden av de uavhengige variablene ikke har noen innvirkning på variansen til feilene. Hvis variansen til residualene ikke er konstant, vil lineær regresjon ikke være en nøyaktig modell.
   

   Homoscedastisitet i lineær regresjon

4. Normalitet : Restene skal være normalfordelte. Dette betyr at restene skal følge en klokkeformet kurve. Hvis residualene ikke er normalfordelt, vil ikke lineær regresjon være en nøyaktig modell.

Forutsetninger om multippel lineær regresjon

For multippel lineær regresjon gjelder alle fire forutsetningene fra enkel lineær regresjon. I tillegg til dette, nedenfor er noen flere:

1. Ingen multikollinearitet : Det er ingen høy korrelasjon mellom de uavhengige variablene. Dette indikerer at det er liten eller ingen korrelasjon mellom de uavhengige variablene. Multikollinearitet oppstår når to eller flere uavhengige variabler er sterkt korrelert med hverandre, noe som kan gjøre det vanskelig å bestemme den individuelle effekten av hver variabel på den avhengige variabelen. Hvis det er multikollinearitet, vil ikke multippel lineær regresjon være en nøyaktig modell.
2. Additivitet: Modellen antar at effekten av endringer i en prediktorvariabel på responsvariabelen er konsistent uavhengig av verdiene til de andre variablene. Denne antakelsen innebærer at det ikke er noen interaksjon mellom variabler i deres effekter på den avhengige variabelen.
3. Funksjonsvalg: Ved multippel lineær regresjon er det viktig å nøye velge de uavhengige variablene som skal inkluderes i modellen. Å inkludere irrelevante eller overflødige variabler kan føre til overfitting og komplisere tolkningen av modellen.
4. Overmontering: Overtilpasning oppstår når modellen passer treningsdataene for tett, og fanger opp støy eller tilfeldige svingninger som ikke representerer det sanne underliggende forholdet mellom variablene. Dette kan føre til dårlig generaliseringsytelse på nye, usynlige data.

Multikollinearitet

Multikollinearitet er et statistisk fenomen som oppstår når to eller flere uavhengige variabler i en multippel regresjonsmodell er sterkt korrelert, noe som gjør det vanskelig å vurdere de individuelle effektene av hver variabel på den avhengige variabelen.

Å oppdage multikollinearitet inkluderer to teknikker:

• Korrelasjonsmatrise: Å undersøke korrelasjonsmatrisen blant de uavhengige variablene er en vanlig måte å oppdage multikollinearitet på. Høye korrelasjoner (nær 1 eller -1) indikerer potensiell multikollinearitet.
• VIF (Varians Inflation Factor): VIF er et mål som kvantifiserer hvor mye variansen til en estimert regresjonskoeffisient øker hvis prediktorene dine er korrelert. En høy VIF (vanligvis over 10) antyder multikollinearitet.

Evalueringsmålinger for lineær regresjon

En rekke evalueringstiltak kan brukes til å bestemme styrken til en hvilken som helst lineær regresjonsmodell. Disse vurderingsmålene gir ofte en indikasjon på hvor godt modellen produserer de observerte resultatene.

De vanligste målingene er:

Mean Square Error (MSE)

Mean Squared Error (MSE) er en evalueringsmetrikk som beregner gjennomsnittet av kvadrerte forskjeller mellom de faktiske og anslåtte verdiene for alle datapunktene. Forskjellen er kvadratisk for å sikre at negative og positive forskjeller ikke opphever hverandre.

MSE = frac{1}{n}sum_{i=1}^{n}left ( y_i – widehat{y_{i}} ight )^2

Her,

• n er antall datapunkter.
• og_Jeger den faktiske eller observerte verdien for i^thdatapunkt.
• widehat{y_{i}} er den anslåtte verdien for i^thdatapunkt.

MSE er en måte å kvantifisere nøyaktigheten til en modells spådommer. MSE er sensitiv for uteliggere da store feil bidrar betydelig til den totale poengsummen.

Gjennomsnittlig absolutt feil (MAE)

Gjennomsnittlig absolutt feil er en evalueringsmetrik som brukes til å beregne nøyaktigheten til en regresjonsmodell. MAE måler den gjennomsnittlige absolutte forskjellen mellom de predikerte verdiene og faktiske verdier.

Matematisk uttrykkes MAE som:

MAE =frac{1}{n} sum_{i=1}^{n}|Y_i – widehat{Y_i}|

Her,

• n er antall observasjoner
• OG_Jegrepresenterer de faktiske verdiene.
• widehat{Y_i} representerer de predikerte verdiene

Lavere MAE-verdi indikerer bedre modellytelse. Det er ikke følsomt for uteliggere da vi vurderer absolutte forskjeller.

Root Mean Squared Error (RMSE)

Kvadratroten av residualenes varians er Root Mean Squared Feil . Den beskriver hvor godt de observerte datapunktene samsvarer med de forventede verdiene, eller modellens absolutte tilpasning til dataene.

I matematisk notasjon kan det uttrykkes som:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{n}
I stedet for å dele hele antallet datapunkter i modellen med antall frihetsgrader, må man dele summen av de kvadrerte residualene for å få et objektivt estimat. Deretter blir denne figuren referert til som Residual Standard Error (RSE).

I matematisk notasjon kan det uttrykkes som:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{(n-2)}

RSME er ikke en like god metrikk som R-kvadrat. Root Mean Squared Error kan svinge når enhetene til variablene varierer siden verdien er avhengig av variablenes enheter (det er ikke et normalisert mål).

Bestemmelseskoeffisient (R-kvadrat)

R-kvadrat er en statistikk som indikerer hvor mye variasjon den utviklede modellen kan forklare eller fange opp. Det er alltid i området fra 0 til 1. Generelt, jo bedre modellen samsvarer med dataene, desto større er R-kvadratnummeret.
I matematisk notasjon kan det uttrykkes som:
R^{2}=1-(^{frac{RSS}{TSS}})

• Restsum av kvadrater (RSS): The summen av kvadrater av residuet for hvert datapunkt i plottet eller dataene er kjent som restsummen av kvadrater, eller RSS. Det er en måling av forskjellen mellom resultatet som ble observert og det som ble forventet.
  RSS=sum_{i=2}^{n}(y_{i}-b_{0}-b_{1}x_{i})^{2}
• Total sum av kvadrater (TSS): Summen av datapunktenes feil fra svarvariabelens gjennomsnitt er kjent som totalsummen av kvadrater, eller TSS.
  TSS= sum_{}^{}(y-overline{y_{i}})^2

R kvadratmetrikk er et mål på andelen varians i den avhengige variabelen som er forklart de uavhengige variablene i modellen.

Justert R-Squared Error

Justert R²måler andelen varians i den avhengige variabelen som forklares med uavhengige variabler i en regresjonsmodell. Justert R-kvadrat redegjør for antall prediktorer i modellen og straffer modellen for å inkludere irrelevante prediktorer som ikke bidrar vesentlig til å forklare variansen i de avhengige variablene.

Matematisk, justert R²er uttrykt som:

Adjusted , R^2 = 1 – (frac{(1-R^2).(n-1)}{n-k-1})

Her,

• n er antall observasjoner
• k er antall prediktorer i modellen
• R²er koeeficient for besluttsomhet

Justert R-firkant bidrar til å forhindre overtilpasning. Det straffer modellen med ytterligere prediktorer som ikke bidrar vesentlig til å forklare variansen i den avhengige variabelen.

Python-implementering av lineær regresjon

Importer de nødvendige bibliotekene:

Last inn datasettet og separer input- og målvariabler

Her er lenken til datasettet: Datasettkobling

Bygg den lineære regresjonsmodellen og plott regresjonslinjen

Trinn:

• I foroverforplantning brukes lineær regresjonsfunksjon Y=mx+c ved først å tildele tilfeldig verdi av parameteren (m & c).
• Vi har skrevet funksjonen for å finne kostnadsfunksjonen, dvs. gjennomsnittet