Hadoop en Hive - dummies
Om een lang verhaal kort te maken, Hive biedt Hadoop een brug naar de RDBMS-wereld en biedt een SQL dialect bekend als Hive Query Language (HiveQL), dat kan worden gebruikt om SQL-achtige taken uit te voeren. Dat is het grote nieuws, maar er is meer bijenkorf dan op het eerste gezicht lijkt, zoals ze zeggen, of meer toepassingen van ...
Edge Nodes in Hadoop Clusters - dummies
Edge nodes zijn de interface tussen de Hadoop-cluster en het externe netwerk. Om deze reden worden ze soms gateway-knooppunten genoemd. Meestal worden randknooppunten gebruikt om clienttoepassingen en clusterbeheerprogramma's uit te voeren. Ze worden ook vaak gebruikt als verzamelruimten voor gegevens die worden overgebracht naar de Hadoop-cluster. Als zodanig zijn Oozie, ...
Fraude Detectie met Hadoop - dummies
Het enorme aantal transacties maakt het moeilijker om fraude te herkennen vanwege de hoeveelheid gegevens, Ironisch genoeg kan dezezelfde uitdaging helpen om betere voorspellende modellen voor fraude te creëren - een gebied waar Hadoop schijnt. In de onderling verbonden wereld van vandaag, maakt het enorme volume en de complexiteit van transacties het moeilijker dan ooit om fraude te vinden. Wat gebruikt ...
Grafiek Verwerking In Hadoop - dummies
Omvat een van de opwindendere opkomende NoSQL-technologieën de opslag en verwerking van grafiekgegevens. Je zou kunnen denken dat deze verklaring oud nieuws is, omdat computerwetenschappers al decennia grafische analysetechnieken ontwikkelen. Wat u zegt, is misschien waar, maar wat nieuw is, is dat u met Hadoop een grafiek kunt maken ...
Hadoop Distributed File System (HDFS) Federation - dummies
De oplossing voor het onbeperkt uitbreiden van Hadoop clusters is om te federeren de NameNode. Voordat Hadoop 2 de scène betrad, moesten Hadoop-clusters leven met het feit dat NameNode grenzen stelde aan de mate waarin ze konden schalen. Er waren maar weinig clusters die meer dan 3, 000 of 4.000 knooppunten konden schalen. De behoefte van NameNode om records bij te houden voor ...
Hadoop Distributed File System (HDFS) Hoge beschikbaarheid - dummies
Vaak in de kindertijd van Hadoop, een grote hoeveelheid van discussie was gecentreerd op de weergave van de NameNode van een enkel punt van mislukking. Hadoop heeft over het algemeen altijd een robuuste en fouttolerante architectuur gehad, met uitzondering van dit belangrijke gebied. Zonder de NameNode is er geen Hadoop-cluster. Met behulp van Hadoop 2 kun je HDFS zo configureren dat er ...
Hadoop als een gegevensvoorbewerkingsmotor - dummies
Een van de vroegste use-cases voor Hadoop in de onderneming was als een programmatische transformatie-engine die wordt gebruikt om gegevens voor te bewerken die zijn bestemd voor een datawarehouse. In essentie maakt deze use case gebruik van de kracht van het Hadoop-ecosysteem om transformaties naar gegevens te manipuleren en toe te passen voordat deze in een datawarehouse worden geladen. Hoewel de eigenlijke transformatie ...
Hadoop als een queryarchief van Cold Warehouse-gegevens - dummies
Een veelvoud aan onderzoeken tonen aan dat de meeste gegevens in een enterprise datawarehouse wordt zelden gevraagd. Databaseleveranciers hebben op dergelijke observaties gereageerd door hun eigen methoden te implementeren om uit te zoeken welke gegevens waar worden geplaatst. Eén methode bestelt het gegevensuniversum in aanduidingen van heet, warm of koud, waarbij hete gegevens (ook wel actief genoemd ...
Hadoop als bestemming voor archiveringsgegevens - dummies
De voordelige opslagkosten voor Hadoop plus de mogelijkheid om Hadoop-gegevens op te vragen met SQL maakt Hadoop de belangrijkste bestemming voor archiefgegevens. Deze gebruikscasus heeft een lage impact op uw organisatie omdat u uw Hadoop-vaardigheidsset kunt bouwen op gegevens die niet zijn opgeslagen op systemen die de prestaties van een bedrijf dekken. Wat meer is, doe je niet ...
Hadoop Administration Commands - dummies
Elke Hadoop-beheerder die zijn zout waard is, moet een uitgebreide reeks commando's beheersen voor clusterbeheer. De volgende lijst bevat een overzicht van de belangrijkste opdrachten, die aangeven wat de opdracht doet, evenals syntaxis en voorbeelden. Ken ze, en je zult een heel eind verder gaan op het pad naar Hadoop-wijsheid. balancer: voert het clusterbalanceringshulpprogramma uit. ...
Hadoop Distributed File System (HDFS) voor Big Data Projecten - dummies
Het Hadoop Distributed File Systeem is een veelzijdige, veerkrachtige, geclusterde benadering voor het beheren van bestanden in een big data-omgeving. HDFS is niet de eindbestemming voor bestanden. Het is eerder een dataservice die een unieke reeks mogelijkheden biedt die nodig zijn wanneer datavolumes en -snelheid hoog zijn. Omdat de gegevens eenmaal zijn geschreven en ...
Hadoop MapReduce voor Big Data - dummies
Om de mogelijkheden van Hadoop MapReduce volledig te begrijpen, is het belangrijk om onderscheid te maken tussen MapReduce ( het algoritme) en een implementatie van MapReduce. Hadoop MapReduce is een implementatie van het algoritme dat is ontwikkeld en wordt onderhouden door het Apache Hadoop-project. Het is handig om na te denken over deze implementatie als een MapReduce-engine, want dat is precies hoe het ...
Hadoop-rackoverwegingen - Dummy's
Een kernprincipe van Hadoop is schaalvergroting met extra slave-knooppunten om te voldoen aan de toenemende gegevensopslag en - verwerkingseisen. In een schaalmodel moet u het clusterontwerp zorgvuldig overwegen, omdat tientallen en zelfs honderden slave-knooppunten uiteindelijk moeten worden hersteld, gevoed, in een netwerk en gekoeld. Server-vormfactoren Een van de eerste keuzes ...
Hadoop-integratie met R-dummies
In het begin waren big data en R geen natuurlijke vrienden. R-programmering vereist dat alle objecten in het hoofdgeheugen van een enkele machine worden geladen. De beperkingen van deze architectuur worden snel gerealiseerd wanneer big data een deel van de vergelijking wordt. In tegenstelling missen gedistribueerde bestandssystemen zoals Hadoop sterke ...
Hoe je Apache Oozie kunt opzetten in Hadoop - dummies
Apache Oozie is opgenomen in elke grote Hadoop distributie, inclusief Apache Bigtop. Installeer de Oozie-server in uw Hadoop-cluster op een randknooppunt, waar u ook andere clienttoepassingen tegen de gegevens van het cluster uitvoert, zoals weergegeven. Edge-knooppunten zijn ontworpen als gateway voor het externe netwerk naar het Hadoop-cluster. Deze ...
Gegevens importeren met Sqoop - dummies
Klaar om in Sqoop te duiken om gegevens te importeren? Begin met een kijkje in de figuur, die de stappen illustreert in een typische Sqoop-importbewerking vanuit een RDBMS of een datawarehouse-systeem. Niets is te gecompliceerd hier - slechts een typische productgegevenstabel van een (typisch) fictief bedrijf dat wordt geïmporteerd in een typische ...
Image Classificatie met Hadoop - dummies
Beeldclassificatie vereist een aanzienlijke hoeveelheid gegevensverwerkingsresources, maar dit heeft de schaal beperkt van implementaties. Beeldclassificatie is een hot topic in de Hadoop-wereld omdat geen enkele gangbare technologie in staat was - tot Hadoop kwam - deuren te openen voor dit soort dure verwerking op zo'n enorme en efficiënte manier ...
Lokale en gedistribueerde speltypes voor het uitvoeren van varkensscripts in Hadoop - dummies
Voordat u uw eerste run kunt uitvoeren Pig-script in Hadoop, je moet weten hoe Pig-programma's kunnen worden verpakt met de Pig-server. Pig heeft twee modi voor het uitvoeren van scripts: Lokale modus: alle scripts worden uitgevoerd op een enkele machine zonder Hadoop MapReduce en HDFS te gebruiken. Dit kan handig zijn voor ...
Invoersplitsingen in Hadoop's MapReduce - dummies
De manier waarop HDFS is opgezet, het breekt erg grote bestanden in grote blokken (bijvoorbeeld 128 MB) en slaat drie exemplaren van deze blokken op verschillende knooppunten in de cluster op. HDFS is zich niet bewust van de inhoud van deze bestanden. In YARN, wanneer een MapReduce-taak wordt gestart, de Resource Manager (de ...
Aansluiten bij Tables with Hive - dummies
U weet waarschijnlijk al dat experts in relationele databasemodellering en -ontwerp doorgaans veel van hun tijd voor het ontwerpen van genormaliseerde databases of schema's. Database-normalisatie is een techniek die beschermt tegen gegevensverlies, redundantie en andere anomalieën wanneer gegevens worden bijgewerkt en opgehaald. De experts volgen een aantal regels om te komen tot een ...
Big Data beheren met Hadoop: HDFS en MapReduce - dummies
Hadoop, een open source softwareframework , gebruikt HDFS (het Hadoop Distributed File System) en MapReduce om big data te analyseren op clusters van commodity-hardware, dat wil zeggen in een gedistribueerde computeromgeving. Het Hadoop Distributed File System (HDFS) is ontwikkeld om bedrijven in staat te stellen op een eenvoudige en praktische manier gemakkelijker grote hoeveelheden gegevens te beheren. Hadoop ...
Netwerken en Hadoop-clusters - dummies
Net als met elk gedistribueerd systeem, kan een netwerk een Hadoop-cluster maken of breken: niet "Ga goedkoop. "Er vindt veel gekraak plaats tussen de masterknooppunten en slaafknooppunten in een Hadoop-cluster die essentieel is om het cluster draaiend te houden, dus switches van ondernemingsklasse zijn absoluut aan te bevelen. Voor elk rek in uw cluster, u ...
Loggegevensanalyse met Hadoop - dummies
Logboekanalyse is een veelvoorkomende gebruikssituatie voor een inauguraal Hadoop-project. Inderdaad, de vroegste toepassingen van Hadoop waren voor de grootschalige analyse van clickstream-logs - logs die gegevens registreren over de webpagina's die mensen bezoeken en in welke volgorde ze die bezoeken. Alle logs met gegevens die door uw IT-infrastructuur worden gegenereerd ...
Loggegevens met flume in HDFS - dummies
Sommige gegevens die in het Hadoop Distributed File System terechtkomen ( HDFS) kan daar terechtkomen via laadbewerkingen van de database of andere soorten batchprocessen, maar wat als u de gegevens wilt vastleggen die in high-throughput datastromen, zoals applicatielogboekgegevens, binnenkomen? Apache Flume is de huidige standaardmanier om ...
Gegevensblokken bijhouden met NameNode in HDFS - dummies
De NameNode fungeert als het adresboek voor Hadoop Distributed File System (HDFS) omdat het niet alleen weet welke blokken individuele bestanden vormen, maar ook waar elk van deze blokken en hun replica's worden opgeslagen. Wanneer een gebruiker een bestand opslaat in HDFS, wordt het bestand verdeeld in datablokken en drie exemplaren van ...
Varkenslatijn in Hadoop's varkensprogramma's - dummies
Varken Latijn is de taal voor varkensprogramma's. Pig vertaalt het Pig Latin-script naar MapReduce-taken dat het in het Hadoop-cluster kan worden uitgevoerd. Bij het bedenken van Pig Latin volgde het ontwikkelingsteam drie belangrijke ontwerpprincipes: houd het simpel. Pig Latin biedt een gestroomlijnde methode voor interactie met Java MapReduce. Het is een ...
NoSQL-gegevensopslag tegenover Hadoop - dummies
NoSQL-gegevensopslagplaatsen waren oorspronkelijk geabonneerd op het begrip "Just Say No to SQL" ( parafraseren van een anti-drugs reclamecampagne in de jaren tachtig), en ze waren een reactie op de waargenomen beperkingen van (SQL-gebaseerde) relationele databases. Het is niet dat deze mensen een hekel hadden aan SQL, maar ze waren het zat om vierkante pinnen in ronde gaten te forceren door ...
Repliceren van datablokken in het Hadoop Distributed File System - dummies
Hadoop Distributed File System (HDFS) is ontworpen om gegevens op te slaan over goedkope en meer onbetrouwbare hardware. Goedkoop heeft een aantrekkelijk tintje, maar het roept wel vragen op over de betrouwbaarheid van het systeem als geheel, vooral om de hoge beschikbaarheid van de gegevens te waarborgen. Vooruit plannen voor een ramp, hebben de hersenen achter HDFS gemaakt ...
Bestanden beheren met de Hadoop-bestandssysteemopdrachten - dummies
HDFS is een van de twee hoofdcomponenten van de Hadoop-raamwerk; de andere is het computationele paradigma dat bekend staat als MapReduce. Een gedistribueerd bestandssysteem is een bestandssysteem dat opslag beheert op een netwerk van verschillende machines. HDFS slaat gegevens op in blokken, eenheden waarvan de standaardgrootte 64 MB is. Bestanden die u wilt opslaan in ...
R op Hadoop en de R-taal - dummies
De discipline voor het leren van machines heeft een rijke en uitgebreide catalogus met technieken . Mahout brengt een reeks statistische hulpmiddelen en algoritmen naar de tafel, maar het bevat slechts een fractie van die technieken en algoritmen, omdat het een uitdaging is om deze modellen om te zetten naar een MapReduce-raamwerk. In de loop van de tijd is Mahout er zeker van ...
Regio's in HBase - dummies
RegionServers zijn één ding, maar je moet ook kijken naar hoe individuele regio's werken. In HBase is een tabel zowel verspreid over een aantal RegionServers als samengesteld uit afzonderlijke regio's. Naarmate tabellen worden gesplitst, worden de splitsingen regio's. Regio's slaan een bereik van sleutel / waarde-paren op en elke ...
Machine Leren met Mahout in Hadoop - dummies
Machine learning verwijst naar een tak van kunstmatige intelligentie technieken die hulpmiddelen biedt die het mogelijk maken computers om hun analyse te verbeteren op basis van eerdere gebeurtenissen. Deze computersystemen maken gebruik van historische gegevens uit eerdere pogingen om een taak op te lossen om de prestaties van toekomstige pogingen bij vergelijkbare taken te verbeteren. In termen van verwachte resultaten, machine learning ...
Toepassingen uitvoeren vóór Hadoop 2 - dummies
Omdat veel bestaande Hadoop-implementaties nog geen gebruik maken van Yet Another Resource Negotiator ( YARN), bekijk snel hoe Hadoop zijn gegevensverwerking beheerde vóór de dagen van Hadoop 2. Concentreer u op de rol die JobTracker-master daemons en TaskTracker-slaafdaemons hebben gespeeld bij het verwerken van MapReduce. Het hele punt van het gebruik van gedistribueerde systemen ...
Risicomodellen met Hadoop - dummies
Risicomodellering is een ander belangrijk gebruik dat door Hadoop wordt gestimuleerd. U zult merken dat het nauw aansluit bij het gebruik van fraudedetectie omdat het een op modellen gebaseerde discipline is. Hoe meer gegevens u hebt en hoe meer u "de punten kunt verbinden", hoe vaker uw resultaten betere risicovoorspellingsmodellen opleveren. Het allesomvattende woord ...
Hoofdknooppunten in Hadoop-clusters - dummies
De hoofdknooppunten in gedistribueerde Hadoop-clusters bevatten de verschillende opslag- en verwerkingsbeheerdiensten; beschreven in deze lijst, voor de hele Hadoop-cluster. Redundantie is van cruciaal belang bij het voorkomen van enkele faalpunten, dus u ziet twee schakelaars en drie hoofdknooppunten. NameNode: beheert HDFS-opslag. Om een hoge beschikbaarheid te garanderen, hebt u beide een actieve ...
Gebruiken Statistische modellen draaien in Hadoop's MapReduce - dummies
Die statistische modellen converteren om parallel te draaien, is een uitdagende taak. In het traditionele paradigma voor parallelle programmering wordt geheugentoegang geregeld door het gebruik van threads - subprocessen die door het besturingssysteem zijn gemaakt om een enkel gedeeld geheugen over meerdere processors te distribueren. Factoren zoals raceomstandigheden tussen concurrerende threads - wanneer twee of ...
Scripting met Pig Latin in Hadoop - dummies
Hadoop is een rijk en snel evoluerend ecosysteem met een groeiend aantal nieuwe toepassingen. In plaats van te proberen alle vereisten voor nieuwe mogelijkheden bij te houden, is Pig ontworpen om uitbreidbaar te zijn via door de gebruiker gedefinieerde functies, ook wel UDF's genoemd. UDF's kunnen worden geschreven in een aantal programmeertalen, waaronder Java, Python en ...
Slave-knooppunt en schijfdefecten in HDFS - dummies
Zoals overlijden en belastingen, schijfstoringen (en voldoende tijd gegeven , zelfs node- of rack-fouten), zijn onvermijdelijk in Hadoop Distributed File System (HDFS). In het getoonde voorbeeld zou het cluster kunnen blijven functioneren, zelfs als een rack zou falen. Prestaties zouden eronder lijden omdat je de helft van je verwerkingsbronnen hebt verloren, maar het systeem is nog steeds online ...
Uw Hadoop-cluster op maat maken
Elk gegevensverwerkingssysteem dimensioneren is net zo goed een wetenschap als een kunst. Met Hadoop overweegt u dezelfde informatie als u zou doen met een relationele database, bijvoorbeeld. Het belangrijkste is dat u moet weten hoeveel gegevens u hebt, de verwachte groeipercentages kunt schatten en een bewaarbeleid kunt opstellen (hoe lang tot ...
De Hadoop-omgeving instellen met Apache Bigtop - dummies
Als u vertrouwd bent met het werken met VM's en Linux , voel je vrij om Bigtop op een andere VM te installeren dan wat wordt aanbevolen. Als je echt gedurfd bent en de hardware hebt, ga je gang en probeer Bigtop te installeren op een cluster van machines in volledig gedistribueerde modus! Stap 1: Het downloaden van een VM Hadoop draait op alle populaire Linux ...
Bewerkers keuze
Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies
Wanneer het komt om het voordeel dat u van LinkedIn krijgt te maximaliseren, bent u uw grootste pleitbezorger. Hoewel je netwerk van connecties je helpt te groeien, gebeurt veel van je marketing zonder dat je erbij betrokken bent. Nadat je je profiel hebt aangemaakt, worden die en andere LinkedIn-activiteit van je gelezen en beoordeeld door de ...
Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies
Deze dagen, wanneer u naar een nieuwe stad moet verhuizen, kunt u er veel plannen voor maken op LinkedIn en op internet. Je kunt de buurten onderzoeken, de schoolsystemen bekijken en online naar huizen gaan. Je kunt een stap verder gaan als je van plan bent om naar een andere ...
Hoe u uw LinkedIn-contactinstellingen controleert - dummies
U zeker wilt dat u de juiste instellingen selecteert contactinstellingen voor uw LinkedIn-profiel. Als u bijvoorbeeld op zoek bent naar een nieuwe baan, wilt u er zeker van zijn dat de optie voor Carrièremogelijkheden is gecontroleerd. Wanneer u klaar bent om uw contactinstellingen te controleren, volgt u deze stappen: Ga naar ...
Bewerkers keuze
Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies
Uw Canon EOS Rebel XS / 1000D heeft alle functies die u kunt gebruiken om fantastische foto's te maken. Je moet de beeldmodus instellen op het onderwerp van je foto en de Canon EOS Rebel XS / 1000D laat je volledig of gedeeltelijk automatisch gaan met de belichtingsinstellingen.
Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies
Live-modus Met autofocus kunt u de focus instellen op uw Canon EOS Rebel T3 of T3i zonder tijdelijk het voorbeeld van de monitor te verliezen. Bovendien, in plaats van het selecteren van negen autofocuspunten, verplaatst u eenvoudig een enkel scherpstelpunt over uw onderwerp. Aan de andere kant is de autofocus van de Live-modus merkbaar langzamer dan in de Quick-modus, en ...
Bewerkers keuze
Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies
Tekstgrootte wordt ingesteld in uw Word 2016 document gebaseerd over de meting van de oude letterzetter, ook wel punten genoemd. Hier zijn enkele aandachtspunten waarmee u rekening moet houden bij het opmaken van tekst in Word: hoe groter de puntgrootte, hoe groter de tekst. De meeste gedrukte tekst is 10 of 12 punten lang. Koppen zijn meestal 14 ...
Grammatica controleren in Word 2007 - dummies
Naast het controleren op correcte spelling, kunt u met Word 2007 ook om uw documenten te bewijzen om grammaticale fouten te voorkomen. U kunt de grammaticasuggesties van Word bekijken terwijl u door het document bladert, of u kunt een traditionele spellingcontrole uitvoeren. Word biedt u zelfs de kans om de gemarkeerde fout te onderzoeken en meer te leren van ...
Spelling controleren terwijl u typt in Word 2013 - dummies
Woord 2013 heeft een interne bibliotheek vol met ontelbare woorden, allemaal correct gespeld. Telkens wanneer u een woord typt, wordt het vergeleken met dat woordenboek. Wanneer het woord niet wordt gevonden, wordt dit als verdacht gemarkeerd in uw document. Het merk is een rode zigzaglijn. Mijn advies: blijf typen. Laat de "rode zigzag van een ...
