Video: You Will Never Do Anything Remarkable 2024
wetenschappers jarenlang hebben gevochten tegen indrukwekkende hoeveelheden gegevens voordat iemand de term bedacht big data. Op dit moment produceerde internet niet de enorme bedragen voor gegevens die het vandaag doet. Het is handig om te onthouden dat big data niet zomaar een modeverschijnsel is dat door software- en hardwareleveranciers wordt gemaakt, maar een basis heeft in veel van de volgende velden:
- Astronomie: Beschouw de gegevens die van ruimtevaartuigen op een missie zijn ontvangen (zoals Voyager of Galileo) en alle gegevens ontvangen van radiotelescopen, die gespecialiseerde antennes zijn die worden gebruikt om radiogolven van astronomische lichamen te ontvangen. Een bekend voorbeeld is het project Search for Extraterrestrial Intelligence (SETI), dat op zoek is naar buitenaardse signalen door radiofrequenties te observeren die vanuit de ruimte aankomen. De hoeveelheid ontvangen gegevens en de computercapaciteit die wordt gebruikt om een gedeelte van de lucht gedurende één uur te analyseren, is indrukwekkend. Als buitenaardse wezens daar zijn, is het erg moeilijk om ze te herkennen. (De film Contact onderzoekt wat er zou kunnen gebeuren als mensen een signaal zouden onderscheppen.)
- Meteorologie: Denk eraan om het weer voor de nabije toekomst te voorspellen, gezien het grote aantal vereiste maatregelen, zoals temperatuur, atmosferische druk, vochtigheid, wind en neerslag op verschillende tijdstippen, locaties en hoogten. Weersvoorspelling is echt een van de eerste problemen in big data en best relevant. Volgens Weather Analytics, een bedrijf dat klimaatgegevens levert, wordt meer dan 33 procent van het wereldwijde bruto binnenlands product (bbp) bepaald door de invloed van weersomstandigheden op de landbouw, visserij, toerisme en transport, om maar een paar te noemen. De eerste supercomputers uit die tijd dateren uit de jaren vijftig en werden gebruikt om zoveel mogelijk gegevens te verzamelen, omdat in de meteorologie hoe meer gegevens, hoe nauwkeuriger de voorspelling was. Dat is de reden dat iedereen meer opslag- en verwerkingscapaciteit verzamelt, zoals je in dit verhaal over de Koreaanse Meteorologische Associatie kunt lezen voor weersvoorspellingen en het bestuderen van klimaatverandering.
- Fysica: Overweeg de grote hoeveelheden gegevens die zijn geproduceerd door experimenten met deeltjesversnellers in een poging om de structuur van materie, ruimte en tijd te bepalen. De Large Hadron Collider, de grootste deeltjesversneller ooit gemaakt, produceert bijvoorbeeld elk jaar 15 PB (petabytes) aan gegevens als gevolg van deeltjesbotsingen.
- Genomica: Sequencing van een enkele DNA-streng, wat betekent dat het bepalen van de precieze volgorde van de vele combinaties van de vier basen - adenine, guanine, cytosine en thymine - die de structuur van het molecuul vormen, vrij veel vereist Van de gegevens.Een enkel chromosoom, een structuur die het DNA in de cel bevat, kan bijvoorbeeld 50 MB tot 300 MB vereisen. Een mens heeft 46 chromosomen en de DNA-gegevens voor slechts één persoon verbruiken een hele dvd. Stelt u zich eens de enorme opslag voor die nodig is om de DNA-gegevens van een groot aantal mensen te documenteren of om andere levensvormen op aarde te sequensen.
- Oceanografie: Vanwege de vele sensoren die in de oceanen zijn geplaatst om temperatuur, stroming en, met behulp van hydrofonen, zelfs geluiden te meten voor akoestische monitoring voor wetenschappelijke doeleinden (ontdekken van vissen, walvissen en plankton) en militaire defensiedoeleinden (het vinden van sneaky onderzeeërs uit andere landen). U kunt een kijkje nemen in dit oude surveillanceprobleem, dat steeds complexer en digitaal wordt.
- Satellieten: Beelden opnemen van de hele wereld en ze terugzenden naar de aarde om het aardoppervlak en de atmosfeer te bewaken is geen nieuw bedrijf (TIROS 1, de eerste satelliet om afbeeldingen en gegevens terug te sturen, dateert uit 1960). In de loop der jaren heeft de wereld echter meer dan 1, 400 actieve satellieten gelanceerd die zorgen voor aardobservatie. De hoeveelheid data die op aarde aankomt is verbazingwekkend en dient zowel militaire (surveillance) als civiele doeleinden, zoals het volgen van de economische ontwikkeling, het monitoren van de landbouw en het bewaken van veranderingen en risico's. De satelliet Sentinel 1A van één Europees ruimtevaartagentschap genereert 5PB aan gegevens gedurende twee jaar gebruik.
Naast deze oudere datatrends, worden nu nieuwe hoeveelheden gegevens gegenereerd of overgedragen door het internet, waardoor nieuwe problemen ontstaan en oplossingen nodig zijn in termen van zowel gegevensopslag als algoritmen voor verwerking:
- As gemeld door de National Security Agency (NSA), bedroeg de hoeveelheid informatie die dagelijks via internet over de hele wereld stroomt, 1, 826PB aan gegevens in 2013, en 1. 6 procent daarvan bestond uit e-mails en telefoongesprekken. Om de nationale veiligheid te verzekeren, moet de NSA de inhoud van ten minste 0,225 procent van alle e-mails en telefoontjes controleren (op zoek naar kernwoorden die zoiets als een terroristisch complot kunnen signaleren). Dat is nog steeds 25PB per jaar, wat neerkomt op 37, 500 CD-ROM's per jaar aan gegevens die zijn opgeslagen en geanalyseerd (en die groeien). Je kunt het hele verhaal lezen.
- Het internet der dingen (IoT) wordt realiteit. Je hebt de term in de afgelopen 15 jaar vele malen gehoord, maar nu zal de groei van de dingen die verbonden zijn met internet exploderen. Het idee is om sensoren en zenders op alles te zetten en de gegevens te gebruiken om zowel beter te controleren wat er in de wereld gebeurt als om objecten slimmer te maken. Zendtoestellen worden steeds kleiner, goedkoper en minder veeleisend; sommige zijn al zo klein dat ze overal kunnen worden geplaatst. (Kijk maar naar de mierengrote radio ontwikkeld door technici van Stanford.) Experts schatten dat tegen 2020 er zes keer zoveel verbonden dingen op aarde zullen zijn als er mensen zullen zijn, maar veel onderzoeksbedrijven en denktanks zijn die cijfers al aan het herlezen..
