Data Science Tools - dummies

Of je nu gegevens nodig hebt om een ​​bedrijfsanalyse of een aanstaand stuk journalistiek te ondersteunen, web-scraping kan je helpen interessante en unieke gegevensbronnen op te sporen. In webschrapen stelt u geautomatiseerde programma's in en laat u ze vervolgens doorzoeken op de gegevens die u nodig hebt. Hier zijn szome-gratis hulpmiddelen die u kunt gebruiken om gegevens of afbeeldingen te schrapen, inclusief importeren. io, ImageQuilts en DataWrangler.

Gegevens schrapen met import. io

Heeft u ooit geprobeerd een tabel van internet te kopiëren en in een Microsoft Office-document te plakken en de kolommen niet correct te kunnen uitlijnen? Frustrerend, toch? Dit is precies het pijnpunt dat wordt geïmporteerd. io is ontworpen om aan te pakken.

import. io - uitgesproken als "import-eye-oh" - is een gratis desktop-applicatie die je kunt gebruiken om een ​​deel van een webpagina pijnloos te kopiëren, plakken, op te ruimen en op te maken met slechts een paar klikken van de muis. U kunt zelfs importeren gebruiken. io om automatisch gegevens te crawlen en extraheren uit lijsten met meerdere pagina's.

Import gebruiken. io, u kunt gegevens van een eenvoudige of gecompliceerde reeks webpagina's schrapen:

• Eenvoudig: Toegang verkrijgen tot de webpagina's via eenvoudige hyperlinks die worden weergegeven op pagina 1, pagina 2, pagina 3.

• Ingewikkeld: > Vul een formulier in of kies uit een vervolgkeuzelijst en verzend vervolgens uw schrapverzoek naar de tool. import. De meest indrukwekkende functie van io is de mogelijkheid om uw muisklikken te observeren om te leren wat u wilt, en vervolgens manieren aan te bieden waarmee uw taken automatisch voor u kunnen worden voltooid. Hoewel importeren. io leert en stelt taken voor, het onderneemt geen actie voor die taken tot nadat u de suggestie als correct hebt gemarkeerd. Bijgevolg verlagen deze mens-verhoogde interacties het risico dat de machine een onjuiste conclusie trekt als gevolg van overschatten.

Afbeeldingen verzamelen met ImageQuilts

ImageQuilts is een Chrome-extensie die gedeeltelijk is ontwikkeld door de legendarische Edward Tufte, een van de eerste grote pioniers in datavisualisatie - hij populariseerde het gebruik van de data-naar- inktverhouding om de effectiviteit van diagrammen te beoordelen.

De taak die ImageQuilts uitvoert, is bedrieglijk eenvoudig te beschrijven, maar zeer complex om te implementeren. ImageQuilts maakt collages van tientallen afbeeldingen en verwerkt ze allemaal tot één "quilt" die uit meerdere rijen van gelijke hoogte bestaat. Deze taak kan ingewikkeld zijn omdat de bronafbeeldingen bijna nooit dezelfde hoogte hebben. ImageQuilts schraapt en vergroot of verkleint de afbeeldingen voordat ze samengevoegd worden tot één uitvoerafbeelding.

De getoonde afbeelding van het quiltje is afgeleid van een zoekopdracht 'Geëtiketteerd voor hergebruik' in Google Afbeeldingen van de term

data science . Met ImageQuilts kunt u zelfs de volgorde van afbeeldingen kiezen of ze willekeurig plaatsen. U kunt de tool gebruiken om elke afbeelding naar elke plaats te slepen en neer te zetten, een afbeelding te verwijderen, alle afbeeldingen tegelijkertijd in te zoomen of afzonderlijk in te zoomen.

U kunt de tool zelfs gebruiken om tussen de afbeeldingskleuren te verbergen - van kleur tot grijstinten of omgekeerde kleuren (wat handig is voor het maken van contactpagina's met negatieven, als u een van die zeldzame mensen bent die nog steeds analoge fotografie verwerkt).

Wrangling-gegevens met DataWrangler

DataWrangler is een online tool die wordt ondersteund door het Interactive Data Lab van de universiteit van Washington (toen DataWrangler werd ontwikkeld, heette deze groep de Stanford Visualization Group). Deze zelfde groep heeft Lyra ontwikkeld, een interactieve omgeving voor gegevensvisualisatie die u kunt gebruiken om complexe visualisaties zonder programmeerervaring te maken.

Als het uw doel is om

uw gegevensset te maken - of dingen op te ruimen door dingen te verplaatsen zoals een beeldhouwer dat zou doen (dit deel in twee delen splitsen, dat stukje afsnijden en daarheen verplaatsen, duw dit naar beneden) zodat alles eronder wordt verschoven naar rechts, enzovoort) - DataWrangler is de tool voor jou. U kunt manipulaties uitvoeren met DataWrangler, vergelijkbaar met wat u in Excel kunt doen met Visual Basic. U kunt bijvoorbeeld DataWrangler of Excel met Visual Basic gebruiken om informatie uit lijsten op internet te kopiëren, plakken en opmaken.

DataWrangler suggereert zelfs acties op basis van uw gegevensset en kan complexe acties in hele gegevenssets herhalen - acties zoals het elimineren van overgeslagen rijen, het splitsen van gegevens van de ene kolom in twee of het veranderen van een kop in kolomgegevens. DataWrangler kan u ook laten zien waar uw gegevensset gegevens mist.

Ontbrekende gegevens kunnen wijzen op een formatteringsfout die moet worden opgeschoond.