Video: Beursupdate - Februari 2019 - Wierda en Partners Vermogensbeheer 2024
Gegevens in databases, documenten, e-mails en andere gegevensbestanden voor voorspellende analyse kunnen worden ingedeeld in gestructureerde of ongestructureerde gegevens. Gestructureerde gegevens zijn goed geordend, volgen een consistente volgorde, zijn relatief eenvoudig te doorzoeken en te bevragen en kunnen gemakkelijk worden benaderd en begrepen door een persoon of een computerprogramma.
Een klassiek voorbeeld van gestructureerde gegevens is een Excel-spreadsheet met gelabelde kolommen. Dergelijke gestructureerde gegevens zijn consistent; kolomkoppen - meestal korte, nauwkeurige beschrijvingen van de inhoud in elke kolom - vertellen u precies wat voor soort inhoud u mag verwachten.
Gestructureerde gegevens worden meestal opgeslagen in duidelijk gedefinieerde schema's, zoals databases. Het is meestal een tabel, met kolommen en rijen die de kenmerken duidelijk definiëren.
Ongestructureerde gegevens zijn daarentegen vrij in de vrije vorm, niet-tabulair, verspreid en niet gemakkelijk terug te vinden; dergelijke gegevens vereisen een doelbewuste interventie om het te begrijpen. Diverse e-mails, documenten, webpagina's en bestanden (zowel tekst, audio en / of video) op verspreide locaties zijn voorbeelden van ongestructureerde gegevens.
Het is moeilijk om de inhoud van ongestructureerde gegevens te categoriseren. Het is meestal tekst, meestal gemaakt in een mengelmoes van vrije-vormstijlen en het vinden van attributen die je kunt gebruiken om het te beschrijven of te groeperen is geen kleine taak.
De inhoud van ongestructureerde gegevens is moeilijk om mee te werken of programmatisch te begrijpen. Computerprogramma's kunnen geen rapporten over dergelijke gegevens analyseren of genereren, eenvoudig omdat het geen structuur heeft, geen onderliggend dominant kenmerk heeft en afzonderlijke gegevensitems geen gemeenschappelijke basis hebben.
Over het algemeen is er een hoger percentage ongestructureerde gegevens dan gestructureerde gegevens in de wereld. Ongestructureerde gegevens vereisen meer werk om het bruikbaar te maken, dus krijgt het meer aandacht - en heeft dus de neiging meer tijd te verbruiken.
Onderschat niet het belang van gestructureerde gegevens en de kracht die dit biedt voor uw analyse. Het is veel efficiënter om gestructureerde gegevens te analyseren dan om ongestructureerde gegevens te analyseren. Ongestructureerde gegevens kunnen ook duur zijn om voor te bereiden voor analyse terwijl u een project voor voorspellende analyse aan het bouwen bent. De selectie van relevante gegevens, de opschoning ervan en daaropvolgende transformaties kunnen lang en vervelend zijn.
De resulterende nieuw georganiseerde gegevens van die noodzakelijke voorbewerkingsstappen kunnen vervolgens worden gebruikt in een voorspellend analysemodel. De grootschalige transformatie van ongestructureerde gegevens moet echter mogelijk wachten tot uw voorspellende analysemodel operationeel is.
Datamining en tekstanalyse zijn twee benaderingen voor het structureren van tekstdocumenten, het koppelen van hun inhoud, het groeperen en samenvatten van hun gegevens en het ontrafelen van patronen in die gegevens. Beide disciplines bieden een rijk raamwerk van algoritmen en technieken om de tekst te ontginnen verspreid over een zee van documenten.
Het is ook vermeldenswaard dat zoekmachineplatformen gemakkelijk beschikbare hulpmiddelen bieden voor het indexeren van gegevens en het doorzoekbaar te maken.
Laten we de gestructureerde en ongestructureerde gegevens vergelijken.
| Kenmerken | Structured | Unstructured |
|---|---|---|
| Association | Organized | Verspreid en verspreid |
| Uiterlijk | Formeel gedefinieerd | Vrije vorm |
| Toegankelijkheid | Eenvoudig te bewerken toegang en query | Moeilijk toegankelijk en query |
| Beschikbaarheid | Percentagewijs lager | Percentagewijs hoger |
| Analyse | Efficiënt om te analyseren | Aanvullende voorverwerking is nodig |
Ongestructureerde gegevens niet volledig gebrek aan structuur - je moet het gewoon uitzoeken. Zelfs de tekst in digitale bestanden heeft nog steeds een bepaalde structuur die eraan is gekoppeld en wordt vaak weergegeven in de metagegevens, zoals documenttitels, datums waarop de bestanden voor het laatst zijn gewijzigd en de namen van hun auteurs.
Hetzelfde geldt voor e-mails: de inhoud kan ongestructureerd zijn, maar hieraan zijn gestructureerde gegevens gekoppeld - bijvoorbeeld de datum en tijd waarop ze zijn verzonden, de namen van hun afzenders en ontvangers, of ze bijlagen bevatten.
De scheidingslijn tussen de twee gegevenstypen is niet altijd duidelijk. Over het algemeen kunt u altijd enkele kenmerken vinden van ongestructureerde gegevens die kunnen worden beschouwd als gestructureerde gegevens. Of die structuur een afspiegeling is van de inhoud van die gegevens - of nuttig is bij data-analyse - is op zijn best onduidelijk.
Overigens kunnen gestructureerde gegevens ongestructureerde gegevens bevatten. In een webformulier kunnen gebruikers bijvoorbeeld worden gevraagd feedback te geven over een product door een antwoord te kiezen uit meerdere keuzes - maar ze krijgen ook een opmerkingvak waarin ze aanvullende feedback kunnen geven.
De antwoorden van meerdere keuzes zijn gestructureerd; het commentaarveld is ongestructureerd vanwege zijn vrije vorm. Dergelijke gevallen worden het best begrepen als een mix van gestructureerde en ongestructureerde gegevens. De meeste gegevens zijn een samenstelling van beide.
Voor een succesvol project voor voorspellende analyse moeten zowel uw gestructureerde als ongestructureerde gegevens worden gecombineerd in een logisch formaat dat kan worden geanalyseerd.
