Video: Enterprise Information System using SSIS 2024
Rond 1995 begonnen verkopers hun software te positioneren als tools voor virtuele data warehousing. Het fundamentele uitgangspunt was dat het soms gewoon niet logisch is om een heleboel gegevens te kopiëren en manipuleren, voor het geval iemand het nodig heeft. Waarom geen toegang tot gegevens rechtstreeks vanuit de bron op basis van behoefte?
Helaas is toegang tot gegevens via een netwerk bij de bron de minst uitdagende van de problemen gebleken bij het proberen om een soort in-place data warehousing te bieden. Dezelfde uitdagingen waarmee een datawarehousing-omgeving wordt geconfronteerd (zoals omgaan met de kwaliteit van de gegevens, beslissen welke soorten transformaties moeten plaatsvinden en de manier waarop met die transformaties moet worden omgegaan wanneer verschillende bronnen inconsistent zijn) zijn nog steeds aanwezig.
Alleen al omdat je bij de bron (in bijna elke database of bestandsstructuur) bij gegevens kunt komen, wil dat nog niet zeggen dat gegevens de nodige bedrijfsinformatie opleveren als het in jouw handen ligt.
Om deze problemen met de gegevenskwaliteit op te lossen, zijn veel gegevensarchitecten begonnen met het uitvoeren van bottom-up data mart-constructie om een componentgebaseerd datawarehouse te ontwikkelen. In plaats van een enkele database waarin u alle gegevens invoert (het creëren van uw datawarehouse), behandelt een reeks componenten elk een bepaalde reeks functies (zoals het beantwoorden van specifieke zakelijke vragen) of bepaalde onderwerpen. Samen omvatten deze datamarts (of componenten) een data warehousing-omgeving.
Deze op componenten gebaseerde, dynamische toegangsgegevensarchitectuur is de basis voor virtuele data warehousing en, meer specifiek, wat Enterprise Information Integration (EII) -servers aanbieden aan de markt.
Deze afbeelding toont een omgeving waarin afzonderlijke componenten op een bottom-up manier binnen de data warehousing-omgeving worden gecreëerd. In plaats van de componenten te combineren in één grote database (en alle gegevens opnieuw te kopiëren), creëert EII een data warehousing-omgeving waarin gebruikers toegang hebben tot de inhoud van elke component vanuit een business intelligence-tool zoals ze allemaal samen werden opgeslagen, ook al zijn ze niet.
Bedenk hoe u een webbrowser op uw bureaublad gebruikt. U klikt op een koppeling of typt een specifieke URL en de omgeving, achter de schermen actief, brengt u naar de juiste plaats voor de inhoud waar u om vroeg. Stel je nu voor dat internet veel sneller draait.
Wanneer u naar verschillende sites gaat, hebt u geen toegang tot advertenties voor de nieuwste vierwielaandrijving die u begeerde, sportuitslagen, Dilbert-cartoons of wat u ook nog meer op internet doet.U brengt stukjes gegevens terug die vervolgens worden gecombineerd en teruggestuurd naar uw browser. Dat is virtual data warehousing - het is net als internet!
Het is geen goed idee om een omgeving voor virtuele datawarehousing te bouwen om rechtstreeks toegang te krijgen tot brongegevens, in de oorspronkelijke indeling. Uw uitdaging is niet uitzoeken hoe u platformonafhankelijke databases kunt verbinden (bijvoorbeeld het combineren van IMS-gegevens met DB2-gegevens) en het verwerken van die typen transformatie op systeemniveau, het zorgt ervoor dat de kwaliteit van de gegevens hoog is en niet vereist de gebruiker om de gegevens handmatig te reinigen.
Elke toepassing moet daarom in het magazijn zijn ingeschakeld en een gegevensuitgever bevatten die verantwoordelijk is voor alle middleware-services (zoals extractie en kwaliteitsborging), zoals gespecificeerd in de bedrijfsregels van de omgeving.
De gegevensuitgever zou bijna in real-time modus kunnen werken, zoals in een operationeel gegevensarchief, of zou kunnen werken in een periodieke (batchgeoriënteerde) modus als onmiddellijke updates niet nodig zijn. In deze situatie is de gegevensuitgever een mini-middlewareproduct dat is ingesloten in de toepassing (of een service die door de toepassing wordt gebruikt).
Als u denkt aan de opslag van virtuele gegevens, vervangt u de vraag "Kan ik de gegevens ophalen? "Met de vraag" Kan ik tot bruikbare gegevens komen? "De uitgever van gegevens speelt een belangrijke rol en mag niet worden verwaarloosd.
U kunt ook de gegevensarchitectuur niet verwaarlozen. Alleen omdat u componenten bottom-up ontwikkelt en ze worden gebruikt op hun plaats, in plaats van te worden gekopieerd naar een grotere datawarehouse-database, betekent dit niet dat u deze functie kunt negeren.
Stel dat één component klant-ID's als vijfcijferige getallen opslaat nadat de transformatie heeft plaatsgevonden en alleen klanten bevat die in de afgelopen zes maanden aankopen hebben gedaan. En een ander onderdeel, dat alle klanten bevat die ooit de producten van uw bedrijf hebben gekocht, maakt gebruik van alfanumerieke identificaties van zeven tekens. In deze situatie kunt u hetzelfde type problemen hebben met betrekking tot gegevensmismatch als u toegang zou hebben tot gegevens rechtstreeks van de bronnen.
Hoewel EII verschillen tussen componentinhoud mogelijk maakt, moet u de verschillen begrijpen en beheren, zodat u de Business Intelligence-missie niet belemmert.
