SSIS-opplæringen gir grunnleggende og avanserte konsepter for SQL Server Integration Services. Vår SSIS-opplæring er designet for nybegynnere og profesjonelle.
SQL Server Integration Service er et raskt og fleksibelt datavarehusverktøy som brukes til datautvinning, transformasjon og datalasting. Det gjør det enkelt å laste dataene fra en database til en annen database som SQL Server, Oracle, Excel-fil, etc.
I denne opplæringen vil vi diskutere følgende emner:
- Hva er SSIS
- Hva er dataintegrasjon
- Hvorfor SSIS
- Hvordan SSIS fungerer
- Krav til SQL Server Integration Service
- Hva er SSIS-pakken
- SSIS oppgaver
- Eksempel på dataflytoppgave
- Eksempel på Utfør SQL-oppgave
Hva er SSIS?
- SSIS står for SQL Server Integration Services.
- Det er en komponent som er tilgjengelig i Microsoft SQL Server-databaseprogramvaren som brukes til å utføre et bredt spekter av integreringsoppgaver.
- Det er et datavarehusverktøy som brukes til datautvinning, lasting av data til en annen database, transformasjoner som rengjøring, aggregering, sammenslåing av data, etc.
- SSIS-verktøyet inneholder også grafiske verktøy og arbeidsflytfunksjoner for vindusveivisere som sending av e-postmeldinger, ftp-operasjoner, datakilder.
- SSIS brukes til å utføre et bredt spekter av transformasjons- og integrasjonsoppgaver. Som helhet brukes SSIS-verktøyet i datamigrering.
SSIS er et verktøy som hovedsakelig brukes til å utføre to funksjoner:
SSIS utfører dataintegrasjon ved å kombinere dataene fra flere kilder og gir enhetlige data til brukerne.
Arbeidsflyt kan brukes til å utføre flere ting. Noen ganger må vi utføre noen spesifikke trinn eller en bestemt bane som enten er basert på tidsperioden eller parameteren som sendes til pakken eller dataene som spørres fra databasen. Den kan brukes til å automatisere vedlikeholdet av SQL Server-databaser og gir oppdateringen til de flerdimensjonale analytiske dataene.
Hva er dataintegrasjon?
Dataintegrasjon er en prosess du følger for å integrere data fra flere kilder. Dataene kan enten være heterogene data eller homogene data. Dataene kan være strukturerte, semistrukturerte eller ustrukturerte. I dataintegrasjon integreres dataene fra forskjellige forskjellige datakilder for å danne noen meningsfulle data.
Noen metoder brukes for å oppnå dataintegrasjon:
Fordeler med dataintegrering:
Det reduserer datakompleksiteten, noe som betyr at dataene kan leveres til ethvert system. Dataintegrasjon opprettholder kompleksiteten, strømlinjeformede tilkoblinger og gjør det enkelt å levere dataene til ethvert system.
Dataintegritet spiller en stor rolle i dataintegrasjon. Den omhandler rensing og validering av data. Alle ønsker høy kvalitet og robuste data, så for å oppnå dette brukes dataintegrasjonskonseptet. Dataintegrasjon er nyttig for å fjerne feil, inkonsekvens og duplisering.
Tilgjengelighet kommer inn under datasamarbeid. Tilgjengelighet betyr at dataene enkelt kan transformeres, og folk kan enkelt integrere dataene i prosjekter, dele resultatene sine og holde dataene oppdatert.
Det gir deg også mulighet til å ta smartere avgjørelser. En integrert data refererer til overføringsprosessen i et selskap slik at vi lettere kan forstå informasjonen. En integrert data er mye enklere og informativ.
Hvorfor SSIS?
SSIS brukes på grunn av følgende årsaker:
SSIS brukes til å kombinere data fra flere datakilder for å generere en enkelt struktur i en enhetlig visning. I utgangspunktet er det ansvarlig for å samle inn dataene, trekke ut dataene fra flere datakilder og slå sammen til en enkelt datakilde.
SSSIS er en plattform som har muligheten til å laste en stor mengde data fra excel til en SQL Server-database.
SSSIS-verktøyet gir tett integrasjon med andre produkter fra Microsoft.
SSSIS-verktøyet er billigere enn de fleste andre verktøyene. Den kan motstå med andre basisprodukter, deres håndterbarhet, forretningsintelligens, etc.
SSSIS lar deg håndtere den komplekse feilen i en dataflyt. Du kan starte og stoppe dataflyten basert på alvorlighetsgraden av feilen. Du kan til og med sende en e-post til admin når en feil oppstår. Når en feil er løst, kan du velge banen mellom arbeidsflyten.
Hvordan fungerer SSIS?
Vi vet at SSIS er en plattform for to funksjoner, dvs. dataintegrasjon og arbeidsflyt. Både oppgavene Datatransformasjoner og arbeidsflytoppretting utføres ved å bruke SSIS-pakken. SSIS-pakken består av tre komponenter:
Driftsdata
Driftsdata er en database som brukes til å integrere dataene fra flere datakilder for å utføre ytterligere operasjoner på dataene. Det er stedet hvor dataene er lagret for gjeldende drift før de sendes til datavarehuset for lagring, rapportering eller arkivering.
arrayliste
ETL
- ETL er den viktigste prosessen i SSIS-verktøyet. ETL brukes til å trekke ut, transformere og laste dataene inn i et datavarehus.
- ETL er en prosess som er ansvarlig for å trekke ut dataene fra flere datakilder, transformere dataene til nyttige data og deretter lagre dataene i et datavarehus. Dataene kan være i et hvilket som helst format xml-fil, flat fil eller hvilken som helst databasefil.
- Det sikrer også at dataene som er lagret i datavarehuset er relevante, nøyaktige, høy kvalitet og nyttige for forretningsbrukerne.
- Det er lett tilgjengelig slik at datavarehuset kan brukes effektivt og effektivt.
- Det hjelper også organisasjonen med å ta datadrevne beslutninger ved å hente de strukturerte og ustrukturerte dataene fra flere datakilder.
En ETL er et konsept med tre ord, men det er delt inn i fire faser:
Ta opp: Capture phase er også kjent som Extract phase. I denne fasen velger den kildedata eller metadata, og dataene kan være i et hvilket som helst format som xml-fil, flat fil eller hvilken som helst databasefil.
Skrubbe: I denne fasen kontrolleres de opprinnelige dataene. Den sjekker dataene, om de består av feil eller ikke. Den sjekker for feil eller inkonsekvens i data ved å bruke noen kunstig intelligens-teknikker. Kort sagt, det verifiserer om kvaliteten på produktet er oppfylt eller ikke.
Forvandle: Det er den tredje fasen i ETL. Transformasjon er prosessen der originalformatet konverteres til et ønsket format du ønsker. Transformasjon er å modellere eller endre dataene i henhold til brukerkravene. Endringene kan enten være endringer i antall kolonner eller rader.
Last og indekser: Den fjerde fasen er Last og indeks. Den laster dataene og validerer antall rader som har blitt behandlet. Når innlastingen av data er fullført, brukes indekseringen. Indeksering hjelper deg med å spore antall rader som er lastet inn i datavarehuset. Indeksering hjelper også med å identifisere dataene, enten de er i riktig format eller ikke.
Datavarehus
Datavarehus er et enkelt, komplett og konsistent datalager som er formulert ved å kombinere dataene fra flere datakilder.
Forskjellen mellom database og datavarehus
Svaret kan være ja så vel som nei. Både databasen og datavarehuset har en stor enhet med data og lignende fysisk representasjon, men responstiden for komplekse spørsmål i Datavarehuset er raskere enn databasen.
Krav til SQL Server Integration Services
Følgende er kravene for å installere SQL Server Integration Services:
- Installer SQL Server
- Installer SQL Server Data Tools
Følg trinnene nedenfor for å installere SQL Server Data-verktøyene:
Trinn 1: Klikk på lenken https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 for å laste ned SQL Server-dataverktøyene.
Steg 2: Når du klikker på lenken ovenfor, vises skjermen nedenfor:
I skjermbildet ovenfor velger du versjonen av SSDT du vil installere.
Trinn 3: Når nedlastingen er fullført, kjør den nedlastede filen. Når du kjører den nedlastede filen, vises skjermen som vises nedenfor:
Trinn 4: Klikk på Neste-knappen.
Trinn 5: Velg Visual Studio-forekomsten og verktøyene du vil installere i Visual Studio 2017.
Trinn 6: Klikk på Installere knapp.
Hva er SSIS-pakken?
Pakken er en grunnleggende blokk hvor du koder i SSIS. Her betyr ikke kode at du koder på et eller annet programmeringsspråk; det betyr utviklingen du gjør. Utviklingen gjøres i SSIS-pakken. SSIS brukes hovedsakelig til ETL-prosessen, og ETL-prosessen utføres inne i SSIS-pakken.
SSIS-pakken består av tre deler:
SSIS-pakken vil ha noen tilkoblinger, og disse tilkoblingene brukes til å koble til ulike datakilder.
SSIS-pakken består av to elementer, dvs. kontrollflytelementer og dataflytelementer. Kontrollflytelementer håndterer arbeidsflyter. Arbeidsflyt betyr at vi utfører noen oppgaver i trinn, så sekvensen gjøres gjennom kontrollflyt.
Dataflytelementene utfører transformasjoner.
SSIS oppgaver
I SSIS-pakken kan vi legge til oppgavene. En oppgave er en arbeidsenhet og vi vil ha ulike typer oppgaver for å utføre ulike typer arbeid. Det finnes ulike typer oppgaver, men vi vil diskutere de vanligste oppgavene som brukes i SSIS:
Den brukes til å utføre SQL-setningene mot en relasjonsdatabase.
Den brukes hovedsakelig til å lese dataene fra en eller flere datakilder, transformere dataene og kan også laste dataene til en eller flere destinasjoner.
Den brukes til å behandle objekter av en SSAS-kube eller tabellmodell.
Denne oppgaven brukes til å kalle de andre pakkene innenfor samme prosjekt. Du kan til og med sende variabelverdiene til den kalte pakken.
Den lar deg kjøre en applikasjon eller batch-skript som en SQL Server Integration Services. Den kan brukes til å åpne standardapplikasjonen som Microsoft Excel, Microsoft Word osv. Den brukes også til å pakke ut den komprimerte filen.
Den kan brukes til å utføre manipulasjonene i filsystemet som å flytte filer, slette filer, gi nytt navn til filene, endre katalogen osv.
IFTP-oppgaver brukes til å utføre operasjonene på filer og mapper. For eksempel, hvis du ønsker å sende eller motta filen fra FTP-serveren til den lokale katalogen, brukes SSIS FTP-oppgaven.
Denne oppgaven lar deg skrive .Net-koden du vil utføre.
Denne oppgaven brukes til å sende en e-post. Den brukes hovedsakelig når du vil varsle brukerne om statusen til oppgaven om den er i kjørende tilstand eller om det har oppstått en feil.
La oss se et fungerende eksempel på en dataintegrasjonstjeneste.
Eksempel på dataflytoppgave
Trinn 1: Først lager vi en excel-fil i Microsoft Excel. Anta at jeg oppretter studentdatabasen i Microsoft Excel, og feltene i elevtabellen er student_id, student_name, merker og kjønn.
Steg 2: Åpne det visuelle studioet (SQL Server Data Tools).
Trinn 3: Klikk på Fil-alternativet og flytt deretter til Nytt->Prosjekt.
Trinn 4: Når du klikker på prosjektet, vises skjermen, som vises som nedenfor:
I skjermbildet ovenfor klikker du på Integration Services som vises helt til venstre i panelet og klikker deretter på Integration Services Project.
Trinn 5: Etter å ha klikket på Integrasjonstjenesteprosjektet alternativet, vises skjermen vist som nedenfor:
Skjermbildet ovenfor består av fem faner som kontrollflyt, dataflyt, parametere, hendelsesbehandler og pakkeutforsker. Vi har allerede diskutert kontrollflyten og dataflyten, både kontrollflyten og dataflyten finnes inne i SSIS-pakken.
trinn 6: For å importere dataene, må vi først lage databasen der vi lager tabellen i SQL Server-databasen. Ettersom vi vet at studentdata er tilgjengelig inne i Excel-filen, og vi ønsker å importere dataene i SQL Server-databasen. For å oppnå dette må vi først lage tabellen i SQL Server. Åpne SQL Server Management studio.
Trinn 7: Opprett student database. Høyreklikk på databasen, og klikk deretter på Ny database alternativ.
Trinn 8: Skriv inn databasenavnet i skjermbildet nedenfor:
Jeg har gitt StudentWarehouse som databasenavn.
Trinn 9: Klikk på OK knapp.
python rstrip
Trinn 10: Nå lager vi tabellen i en Studentlager database. Høyreklikk på tabellene, og klikk deretter på Ny tabell.
Trinn 11: Nå legger vi til feltene i en tabell som student_id, student_name, merker og kjønn. Vi setter student_id som en primærnøkkel som identifiserer hver rad unikt.
Skjermbildet ovenfor viser at vi legger til fire felt i en tabell. Etter å ha lagt til alle feltene i en tabell, lagrer vi tabellen ved å gi et nyttig navn. Anta at jeg har oppgitt studenten som et tabellnavn.
Trinn 12: Gå tilbake til det visuelle studioet. Kontrollflyt inneholder dataflytoppgaven, dra og slipp dataflytoppgaven i hovedvinduet.
Trinn 13: Når vi dobbeltklikker på Data Flow Task, flytter kontrollen automatisk til Data Flow fra Control Flow, slik at vi kan si at Control Flow er en beholder med Data Flow.
Trinn 14: Nå kan vi utføre transformasjonene i Data Flow. Vi ønsker å trekke ut dataene fra Excel-filen som vi opprettet tidligere, så dra og slipp Excel-kilden fra de andre kildene som vises helt til venstre i panelet.
Fra skjermbildet ovenfor ser vi at det røde krysset vises inne i Excel-kilden, det betyr at komponenten er konfigurert med Excel-kilden.
Trinn 15: For å konfigurere komponenten, høyreklikk på Excel-kilden og klikk på Rediger-alternativet som vist i skjermbildet nedenfor:
Trinn 16: Fyll ut detaljene vist i skjermbildet nedenfor:
Trinn 17: Etter å ha lagt inn alle detaljene, vises skjermen vist som nedenfor:
Trinn 18: Klikk på Excel-kilden.
Skjermen ovenfor viser to piler, rød og blå pil. Den blå pilen definerer de faktiske dataene vi mottar fra Excel-filen, og den røde pilen angir feilene vi har. Nå må vi utføre transformasjonene, og før vi utfører transformasjonene, må vi laste databasen.
Trinn 19: For å laste databasen, klikk på Andre destinasjoner og klikk deretter på destinasjonen.
Trinn 20: Etter å ha lagt til destinasjonen, koble kilden til destinasjonen.
Trinn 21: I trinnet ovenfor la vi merke til det røde krysset i ADO NET Destination, som betyr at det ikke er konfigurert med en komponent. Høyreklikk på ADO NET-destinasjonen og klikk deretter på Rediger-alternativet som vist på skjermbildet nedenfor:
Trinn 22: Du må spesifisere konfigurasjonsbehandlingen.
Trinn 23: Klikk på Ny for å legge til tilkoblingsbehandleren. Når du klikker på Ny knappen, vises skjermen vist nedenfor:
Trinn 24: Legg til servernavnet og velg databasenavnet fra SQL Server.
Trinn 25: Klikk på OK-knappen.
Trinn 26: Legg til tabellnavnet der du vil laste inn dataene.
Trinn 27: I skjermbildet nedenfor tilordner du feltet for inngangskilden til feltet til destinasjonskilden.
formater en dato i java
Trinn 28: Etter å ha lagt til en kartlegging, kobles kilden til destinasjonen, som vist i skjermbildet nedenfor:
Trinn 29: Klikk på Start for å kjøre Integration Services Project. Når du kjører prosjektet, blir dataene lastet til destinasjonen, dvs. SQL Server .
Eksempel på Utfør SQL-oppgave
- Følg trinnene fra trinn 2 til trinn 5 i forrige eksempel.
- Dra og slipp Utfør SQL-oppgave vises i panelet lengst til venstre til hovedvinduet.
I skjermbildet ovenfor ser vi at det røde krysset vises i Utfør SQL-oppgaven, noe som betyr at Tilkoblingsbehandling er ikke konfigurert med Utfør SQL-oppgave . For å konfigurere det, må vi legge til Connection Manager.
- For å legge til Connection Manager, høyreklikk på Connection Manager og klikk deretter på New Connection Manager som vist i skjermbildet nedenfor:
- Velg OLEDB som en Connection Manager-type og klikk deretter på Legg til knappen som vist i skjermbildet nedenfor:
- Etter å ha klikket på Legg til knappen, vises skjermen vist i skjermbildet nedenfor:
I skjermbildet ovenfor ser vi at datatilkoblingen til Studentlager databasen er allerede tilgjengelig slik vi opprettet i forrige trinn. Klikk på OK knapp.
- Når du klikker på OK-knappen, vises skjermen som vist nedenfor:
I skjermbildet ovenfor må du skrive inn detaljene som navnet på oppgaven din, beskrivelse, SQL-setning (SQL-oppgave du må utføre på bordet).
- Jeg skrev inn følgende detaljer i skjermbildet ovenfor:
I tilfellet ovenfor har jeg gitt insert-kommandoen i SQLStatement.
- Klikk på OK knapp.
- Når du konfigurerer komponenten med Execute SQL Task, forsvinner det røde krysset som vist på skjermbildet nedenfor:
- Kjør prosjektet ved å klikke på Start .
- Når du klikker på Start , vises skjermen vist som nedenfor:
I skjermbildet ovenfor viser hakemerket at SQL-oppgaven din er fullført. Insert-setningen som vi la til i de foregående trinnene er utført, og dataene er lagt til i tabellen. dvs. student1.
- Utdata fra denne oppgaven er vist nedenfor
Forutsetning
Før du lærer SSIS, må du ha grunnleggende kunnskap om SQL Server.
Publikum
Vår SSIS-veiledning er utviklet for å hjelpe nybegynnere og profesjonelle.
Problem
Vi forsikrer at du ikke vil finne noe problem i denne SSIS-opplæringen. Men hvis det er noen feil eller feil, vennligst legg inn feilen i kontaktskjemaet.