Maskinlæring er en gren av kunstig intelligens, som lar maskiner utføre dataanalyse og lage spådommer. Men hvis maskinlæringsmodellen ikke er nøyaktig, kan den lage prediksjonsfeil, og disse prediksjonsfeilene er vanligvis kjent som Bias and Variance. I maskinlæring vil disse feilene alltid være tilstede da det alltid er en liten forskjell mellom modellprediksjonene og faktiske prediksjonene. Hovedmålet til ML/datavitenskapsanalytikere er å redusere disse feilene for å få mer nøyaktige resultater. I dette emnet skal vi diskutere skjevhet og varians, avveining av skjevhet-varians, undertilpasning og overtilpasning. Men før vi begynner, la oss først forstå hva feil i maskinlæring er?

Feil i maskinlæring?

I maskinlæring er en feil et mål på hvor nøyaktig en algoritme kan lage spådommer for det tidligere ukjente datasettet. På grunnlag av disse feilene velges den maskinlæringsmodellen som kan yte best på det aktuelle datasettet. Det er hovedsakelig to typer feil i maskinlæring, som er:

Reduserbare feil:Disse feilene kan reduseres for å forbedre modellens nøyaktighet. Slike feil kan videre klassifiseres i skjevhet og varians.
Ureduserbare feil:Disse feilene vil alltid være tilstede i modellen

uavhengig av hvilken algoritme som er brukt. Årsaken til disse feilene er ukjente variabler hvis verdi ikke kan reduseres.

Hva er Bias?

Generelt analyserer en maskinlæringsmodell dataene, finner mønstre i dem og lager spådommer. Under trening lærer modellen disse mønstrene i datasettet og bruker dem til å teste data for prediksjon. Når du gjør spådommer, oppstår det en forskjell mellom prediksjonsverdier laget av modellen og faktiske verdier/forventede verdier , og denne forskjellen er kjent som skjevhetsfeil eller feil på grunn av skjevhet . Det kan defineres som en manglende evne til maskinlæringsalgoritmer som lineær regresjon til å fange opp det sanne forholdet mellom datapunktene. Hver algoritme begynner med en viss mengde skjevhet fordi skjevhet oppstår fra antakelser i modellen, noe som gjør målfunksjonen enkel å lære. En modell har enten:

hvordan gi nytt navn til en katalog linux

Lav skjevhet:En lav skjevhetsmodell vil gjøre færre antakelser om formen til målfunksjonen.Høy skjevhet:En modell med høy skjevhet gjør flere forutsetninger, og modellen blir ute av stand til å fange opp de viktige egenskapene til datasettet vårt. En high bias-modell kan heller ikke gi gode resultater på nye data.

Generelt har en lineær algoritme en høy skjevhet, da den får dem til å lære raskt. Jo enklere algoritmen er, desto høyere bias er det sannsynlig at den blir introdusert. Mens en ikke-lineær algoritme ofte har lav skjevhet.

Noen eksempler på maskinlæringsalgoritmer med lav skjevhet er beslutningstrær, k-nærmeste naboer og støttevektormaskiner . Samtidig er en algoritme med høy skjevhet Lineær regresjon, lineær diskrimineringsanalyse og logistisk regresjon.

Måter å redusere høy skjevhet:

Høy skjevhet oppstår hovedsakelig på grunn av en mye enkel modell. Nedenfor er noen måter å redusere den høye skjevheten på:

• Øk inngangsfunksjonene ettersom modellen er undermontert.
• Reduser regulariseringsperioden.
• Bruk mer komplekse modeller, for eksempel å inkludere noen polynomtrekk.

Hva er en variansfeil?

Variansen vil spesifisere mengden variasjon i prediksjonen hvis de forskjellige treningsdataene ble brukt. Med enkle ord, varians forteller at hvor mye en tilfeldig variabel er forskjellig fra forventet verdi. Ideelt sett bør en modell ikke variere for mye fra ett treningsdatasett til et annet, noe som betyr at algoritmen bør være god til å forstå den skjulte kartleggingen mellom innganger og utdatavariabler. Variansfeil er enten av lav varians eller høy varians.

Lav varians betyr at det er en liten variasjon i prediksjonen av målfunksjonen med endringer i treningsdatasettet. Samtidig, Høy variasjon viser stor variasjon i prediksjonen av målfunksjonen med endringer i treningsdatasettet.

En modell som viser høy varians lærer mye og presterer godt med treningsdatasettet, og generaliserer dårlig med det usette datasettet. Som et resultat gir en slik modell gode resultater med treningsdatasettet, men viser høye feilrater på testdatasettet.

Siden modellen med høy varians lærer for mye av datasettet, fører det til overtilpasning av modellen. En modell med høy varians har følgende problemer:

• En modell med høy varians fører til overtilpasning.
• Øk modellens kompleksitet.

Vanligvis har ikke-lineære algoritmer mye fleksibilitet for å passe modellen, har høy varians.

3d i autocad

Noen eksempler på maskinlæringsalgoritmer med lav varians er, Lineær regresjon, logistisk regresjon og lineær diskriminantanalyse . Samtidig er algoritmer med høy varians det beslutningstre, Support Vector Machine og K-nærmeste naboer.

Måter å redusere høy varians på:

• Reduser inngangsfunksjonene eller antall parametere ettersom en modell er overmontert.
• Ikke bruk en mye kompleks modell.
• Øk treningsdataene.
• Øk Regulariseringsperioden.

Ulike kombinasjoner av bias-varians

Det er fire mulige kombinasjoner av skjevheter og varianser, som er representert av diagrammet nedenfor:

Lav skjevhet, lav varians:
Kombinasjonen av lav skjevhet og lav varians viser en ideell maskinlæringsmodell. Det er imidlertid ikke praktisk mulig.Lav skjevhet, høy varians:Med lav skjevhet og høy varians er modellprediksjoner inkonsistente og nøyaktige i gjennomsnitt. Dette tilfellet oppstår når modellen lærer med et stort antall parametere og dermed fører til en overmontering Høy skjevhet, lav varians:Med høy skjevhet og lav varians er spådommer konsistente, men unøyaktige i gjennomsnitt. Dette tilfellet oppstår når en modell ikke lærer godt med opplæringsdatasettet eller bruker få tall av parameteren. Det fører til undertilpasning problemer i modellen.Høy skjevhet, høy varians:
Med høy skjevhet og høy varians er spådommer inkonsekvente og også unøyaktige i gjennomsnitt.

Hvordan identifisere høy varians eller høy skjevhet?

Høy varians kan identifiseres hvis modellen har:

applet applet

• Lav treningsfeil og høy testfeil.

Høy skjevhet kan identifiseres hvis modellen har:

• Høy treningsfeil og testfeilen er nesten lik treningsfeil.

Bias-Varians Trade-Off

Når du bygger maskinlæringsmodellen, er det veldig viktig å ta vare på skjevheter og variasjoner for å unngå over- og undertilpasning i modellen. Hvis modellen er veldig enkel med færre parametere, kan den ha lav varians og høy skjevhet. Mens, hvis modellen har et stort antall parametere, vil den ha høy varians og lav skjevhet. Så det er nødvendig å gjøre en balanse mellom skjevhets- og variansfeil, og denne balansen mellom skjevhetsfeil og variansfeil er kjent som avveiningen Bias-Variance.

For en nøyaktig prediksjon av modellen trenger algoritmer en lav varians og lav skjevhet. Men dette er ikke mulig fordi skjevhet og varians er relatert til hverandre:

• Hvis vi reduserer variansen, vil det øke skjevheten.
• Hvis vi reduserer skjevheten, vil det øke variansen.

Bias-Variance trade-off er et sentralt tema i veiledet læring. Ideelt sett trenger vi en modell som nøyaktig fanger regelmessighetene i treningsdata og som samtidig generaliserer godt med det usynlige datasettet. Dessverre er det ikke mulig å gjøre dette samtidig. Fordi en algoritme med høy varians kan fungere godt med treningsdata, men det kan føre til overtilpasning til støyende data. Mens høy bias-algoritme genererer en mye enkel modell som kanskje ikke engang fanger opp viktige regelmessigheter i dataene. Så vi må finne et søtt sted mellom skjevhet og variasjon for å lage en optimal modell.

Derav Avveining mellom skjevhet og variasjon handler om å finne det gode stedet for å skape en balanse mellom skjevhet og variansfeil.