Hoe u uw voorspellende analysegegevens kunt zoeken - dummies

uw voorspellende analytische gegevens die u nodig heeft om te weten hoe u de informatie vindt die u wilt vinden. Er zijn twee hoofdconcepten van het doorzoeken van uw gegevens ter voorbereiding op het gebruik ervan in voorspellende analyses:

• Voorbereid zijn om verder te gaan dan het zoeken op basiszoekwoord

• Uw gegevens semantisch doorzoekbaar maken

Zoekmachine op basis van voorspellende termen gebruiken analytics

Stel u voor dat u de opdracht kreeg om grote hoeveelheden gegevens te zoeken. Een manier om het probleem te benaderen is om een ​​zoekopdracht uit te voeren die (uiteraard) uit woorden bestaat. De zoekfunctie zoekt naar overeenkomende woorden in de database, het datawarehouse of bladert door alle tekst waarin uw gegevens zich bevinden.

Stel dat u de volgende zoekopdracht uitvoert: bezoekt de president van de Verenigde Staten in Afrika . De zoekresultaten zullen bestaan ​​uit tekst die exact één of een combinatie van de woorden President, Verenigde Staten, bezoeken, Afrika bevat. U krijgt mogelijk de exacte informatie die u zoekt, maar niet altijd.

Wat dacht je van de documenten die geen van de eerder genoemde woorden bevatten, maar een combinatie van: Obama's reis naar Kenia .

Geen van de woorden die u in eerste instantie zocht, staan ​​erin - maar de zoekresultaten zijn semantisch (zinvol) nuttig. Hoe kunt u uw gegevens voorbereiden om semantisch op te halen te zijn? Hoe kun je verder gaan dan de traditionele trefwoordzoekopdracht? Je antwoorden zijn te vinden als je doorgaat met lezen.

Semantische zoekopdrachten in voorspellende analyses gebruiken

Een illustratie van hoe semantisch zoeken werkt, is een project dat Anasse Bari leidde bij de Wereldbankgroep, een internationale organisatie met als belangrijkste missie is om armoede over de hele wereld te bestrijden.

Het project was gericht op het onderzoeken van bestaande grootschalige enterprise search en analyse op de markt en het bouwen van een prototype voor een geavanceerd framework dat de gegevens van de Wereldbank zou organiseren - waarvan de meeste een ongestructureerde verzameling documenten, publicaties, projectverslagen zou zijn, briefs en case studies.

Deze enorme waardevolle kennis is een hulpbron die wordt gebruikt in de richting van de belangrijkste missie van de Bank om de armoede in de wereld te verminderen. Maar het feit dat het ongestructureerd is, maakt het een uitdaging om toegang te krijgen tot, vast te leggen, te delen, te begrijpen, te zoeken, gegevens te delven en te visualiseren.

De Wereldbank is een immense organisatie met vele divisies over de hele wereld. Een van de belangrijkste afdelingen streefde naar een raamwerk en was klaar om middelen toe te wijzen om het Bari-team te helpen was het Human Development Network binnen de Wereldbank.

De vice-president van het Human Development Network schetste een probleem dat voortkwam uit dubbelzinnigheid: zijn divisie gebruikte verschillende termen en concepten die dezelfde algemene betekenis hadden, maar verschillende nuances.

Bijvoorbeeld, termen zoals klimatologie, klimaatverandering, gasozonedepletie, en broeikasuitstoot waren allemaal semantisch verwant maar niet identiek qua betekenis. Hij wilde een zoekmogelijkheid die slim genoeg was om documenten met gerelateerde concepten te extraheren wanneer iemand naar een van deze termen zocht.

Het prototype 'raamwerk voor die mogelijkheid dat het Bari-team selecteerde, was de Unstructured Information Management Architecture (UIMA), een op software gebaseerde oplossing. Oorspronkelijk ontworpen door IBM Research, is UIMA beschikbaar in IBM-software zoals IBM Content Analytics, een van de tools die IBM Watson aandreef, de beroemde computer die de Jeopardy-game won.

Het Bari-team heeft de krachten gebundeld met een zeer getalenteerd team van IBM Content Management en Enterprise Search en later met een IBM Watson-team om aan dit project samen te werken.

Een Unstructured Information Management (UIM) -oplossing is een softwaresysteem dat grote hoeveelheden ongestructureerde informatie (tekst, audio, video, afbeeldingen, enzovoort) analyseert om relevante kennis te vinden, te ordenen en af ​​te leveren. de klant of de eindgebruiker van de toepassing.

De ontologie van een domein is een array van concepten en gerelateerde termen die specifiek zijn voor een domein. Een UIMA-gebaseerde oplossing maakt gebruik van ontologieën om semantische tagging te bieden, waarmee verrijkt zoeken onafhankelijk van gegevensindeling (tekst, spraak, PowerPoint-presentatie, e-mail, video, enzovoort) mogelijk wordt gemaakt. UIMA voegt een andere laag toe aan de vastgelegde gegevens en voegt vervolgens metagegevens toe om gegevens te identificeren die kunnen worden gestructureerd en semantisch worden doorzocht.

Semantic search is gebaseerd op de contextuele betekenis van zoektermen zoals deze voorkomen in de doorzoekbare gegevensruimte die door UIMA wordt gemaakt. Semantisch zoeken is nauwkeuriger dan het gebruikelijke zoekwoordzoekwoord omdat een gebruikersvraag zoekresultaten van niet alleen documenten met de zoektermen retourneert, maar ook van documenten die semantisch relevant zijn voor de zoekopdracht.

Als u op zoek bent naar biodiversiteit in Afrika , retourneert een standaard (op trefwoord gebaseerde) zoekopdracht documenten met de exacte woorden biodiversiteit en Afrika . Een op UIMA gebaseerde semantische zoekopdracht zal niet alleen de documenten teruggeven die deze twee woorden hebben, maar ook alles wat semantisch relevant is voor "biodiversiteit in Afrika" documenten die woordencombinaties bevatten als "plantaardige hulpbronnen in Afrika", "dierlijke bronnen in Marokko, "of" genetische bronnen in Zimbabwe. "

Door middel van semantische tagging en het gebruik van ontologieën wordt informatie semantisch ophaalbaar, onafhankelijk van de taal of het medium waarin de informatie is gemaakt (Word, PowerPoint, e-mail, video, enzovoort). Deze oplossing biedt een enkele hub waar gegevens kunnen worden vastgelegd, georganiseerd, uitgewisseld en semantisch opvraagbaar worden gemaakt.

Woordenboeken van synoniemen en verwante termen zijn open-source (gratis beschikbaar) - of u kunt uw eigen woordenboeken ontwikkelen die specifiek zijn voor uw domein of uw gegevens. U kunt een spreadsheet samenstellen met het hoofdwoord en bijbehorende verwante woorden, synoniemen en bredere termen. De spreadsheet kan worden geüpload naar een zoekfunctie zoals IBM Content Analytics (ICA) om enterprise search en content analytics mogelijk te maken.