Algoritmen in bedrijf nemen - dummies

Het menselijke ras bevindt zich nu op een ongelooflijk kruispunt van ongekende hoeveelheden gegevens, gegenereerd door steeds kleinere en krachtige hardware, en geanalyseerd door algoritmen die hetzelfde proces heeft geholpen ontwikkelen. Het is niet alleen een kwestie van volume, wat op zichzelf een moeilijke uitdaging is. Zoals het onderzoeksbureau Gartner het in 2001 heeft geformaliseerd en vervolgens heeft gerepresenteerd en uitgebreid door andere bedrijven, zoals IBM, kunnen big data worden samengevat met vier

V s die de belangrijkste kenmerken vertegenwoordigen:

Volume:

• De hoeveelheid gegevens Velocity:
• De snelheid waarmee gegevens worden gegenereerd Variëteit:
• Het aantal en de typen gegevensbronnen Waarheidsgetrouwheid:
• De kwaliteit en gezaghebbende stem van de gegevens (kwantificeren van fouten, slechte gegevens en ruis vermengd met signalen), een maat voor de onzekerheid van de gegevens Elke big data-karakteristiek biedt een uitdaging en een kans. Volume houdt bijvoorbeeld rekening met de hoeveelheid bruikbare gegevens. Wat de ene organisatie als big data beschouwt, kunnen kleine gegevens voor een andere zijn. Het onvermogen om de gegevens op één machine te verwerken, maakt de gegevens niet groot. Wat big data onderscheidt van de business-as-usual-gegevens, is dat het een organisatie dwingt om de gangbare methoden en oplossingen te herzien en de huidige technologieën en algoritmen vooruit te kijken.

Variety maakt het gebruik van big data mogelijk om de wetenschappelijke methode uit te dagen, zoals uitgelegd door deze mijlpaal en veelbesproken artikel geschreven door Chris Anderson,

Wired 's hoofdredacteur op dat moment, over hoe grote hoeveelheden gegevens wetenschappelijke ontdekkingen kunnen helpen die buiten de wetenschappelijke methode liggen. De auteur vertrouwt op het voorbeeld van Google in de sectoren reclame en vertaling, waar het bedrijf prominentie kon bereiken zonder specifieke modellen of theorieën te gebruiken, maar door algoritmen toe te passen om van gegevens te leren. Net als bij reclame kunnen wetenschappelijke (natuurkunde, biologie) gegevens innovatie ondersteunen, waardoor wetenschappers problemen zonder hypothesen kunnen benaderen, maar door de variaties in grote hoeveelheden gegevens en door detectiealgoritmen te beschouwen.

Het waarheidskenmerk helpt de democratisering van gegevens zelf. In het verleden verzamelden organisaties gegevens omdat het kostbaar en moeilijk te verkrijgen was. Op dit punt creëren verschillende bronnen gegevens in zulke groeiende hoeveelheden dat het hamsteren ervan zinloos is (90 procent van de gegevens in de wereld zijn de afgelopen twee jaar gemaakt), dus er is geen reden om de toegang te beperken. Data veranderen in zo een commodity dat er veel open dataprogramma's over de hele wereld gaan.(De Verenigde Staten hebben een lange traditie van open toegang: de eerste open dataprogramma's dateren uit de jaren 70 toen de National Oceanic and Atmospheric Administration, NOAA, begon met het gratis vrijgeven van weergegevens aan het publiek.) Maar omdat data een handelswaar is geworden, de onzekerheid van die gegevens is een probleem geworden. U weet niet langer of de gegevens volledig waar zijn omdat u de bron misschien niet eens weet.

Gegevens zijn zo alomtegenwoordig dat de waarde ervan niet langer in de feitelijke informatie zit (zoals gegevens die zijn opgeslagen in de database van een bedrijf). De waarde van gegevens bestaat in de manier waarop u deze gebruikt. Hier komen algoritmen om de hoek kijken en veranderen de game. Een bedrijf als Google feeds zichzelf van vrij beschikbare gegevens, zoals de inhoud van websites of de tekst gevonden in publiek beschikbare teksten en boeken. De waarde die Google aan de gegevens ontleent, is echter grotendeels afgeleid van de algoritmen. Als voorbeeld ligt de gegevenswaarde in het PageRank-algoritme (geïllustreerd in hoofdstuk 11), wat de basis is van het bedrijf van Google. De waarde van algoritmen geldt ook voor andere bedrijven. De aanbevelingsmotor van Amazon draagt ​​een aanzienlijk deel van de inkomsten van het bedrijf bij. Veel financiële bedrijven gebruiken algoritmische handel en robo-advies, waarbij ze gebruikmaken van vrij beschikbare aandelen en economische informatie voor investeringen.