Kenmerken van een Big Data Analysis Framework - dummies

Hoewel er nieuwe sets hulpprogramma's beschikbaar blijven om u te helpen bij het beheren en analyseren van uw big data-framework, kunt u mogelijk niet krijgen wat u nodig hebt. Bovendien kan een reeks technologieën big data-analyse en vereisten ondersteunen, zoals beschikbaarheid, schaalbaarheid en hoge prestaties. Sommige hiervan omvatten big data-apparatuur, kolomvormige databases, in-memory databases, niet-relationele databases en massaal parallelle verwerkingsengines.

Wat zoeken zakelijke gebruikers als het gaat om big data-analyse? Het antwoord op die vraag hangt af van het type bedrijfsprobleem dat ze proberen op te lossen. Enkele belangrijke overwegingen bij het selecteren van een big data-toepassingsanalysekader zijn onder andere:

• Ondersteuning voor meerdere gegevenstypen: Veel organisaties nemen alle soorten gegevens op of verwachten dit te integreren als onderdeel van hun big data-implementaties, inclusief gestructureerde, semi-gestructureerde en ongestructureerde data.

• Behandel batchverwerking en / of realtime gegevensstromen: Action orientation is een product van analyse op real-time datastreams, terwijl beslissingsoriëntatie op adequate wijze kan worden gediend door batchverwerking. Sommige gebruikers zullen beide nodig hebben, omdat ze evolueren naar verschillende vormen van analyse.

• Gebruikmaken van wat al bestaat in uw omgeving: Om de juiste context te krijgen, kan het belangrijk zijn om bestaande gegevens en algoritmen te gebruiken in het big data-analysekader.

• Ondersteuning van NoSQL en andere nieuwere vormen van toegang tot gegevens: Hoewel organisaties SQL zullen blijven gebruiken, kijken veel ook naar nieuwere vormen van gegevenstoegang om snellere responstijden of snellere beslissingen te ondersteunen.

• Lage latentie overwinnen: Als u te maken krijgt met een hoge gegevenssnelheid, heeft u een raamwerk nodig dat de vereisten voor snelheid en prestaties ondersteunt.

• Zorg voor goedkope opslag: Big data betekent potentieel veel opslagruimte - afhankelijk van hoeveel gegevens u wilt verwerken en / of bewaren.

• Integreer met cloudimplementaties: De cloud kan op aanvraag opslagcapaciteit bieden en capaciteit berekenen. Meer en meer bedrijven gebruiken de cloud als een analyse-sandbox. "De cloud wordt steeds meer een belangrijk implementatiemodel om bestaande systemen te integreren met cloudimplementaties in een hybride model.

Hoewel al deze kenmerken belangrijk zijn, is de waargenomen en werkelijke waarde van het maken van toepassingen vanuit een raamwerk sneller bij implementatie.Met al deze mogelijkheden in gedachten, overweeg dan een applicatie framework voor big data-analyse van een bedrijf met de naam Continuïteit.

De Continuity AppFabric is een raamwerk dat de ontwikkeling en implementatie van big data-applicaties ondersteunt. De AppFabric zelf is een set technologieën die specifiek is ontworpen om de grillen van low-level big data-technologieën weg te abstraheren. De applicatiebouwer is een Eclipse-invoegtoepassing waarmee de ontwikkelaar lokaal en in een vertrouwde omgeving kan bouwen, testen en debuggen.

AppFabric-mogelijkheden omvatten het volgende:

• Stream-ondersteuning voor realtime analyse en reactie

• Uniforme API, waardoor schrijven naar big data-infrastructuren overbodig is

• Query-interfaces voor eenvoudige resultaten en ondersteuning voor inplugbare queryprocessors

• Gegevensverzamelingen die doorzoekbare gegevens en tabellen weergeven die toegankelijk zijn vanuit de Unified API

• Gegevens lezen en schrijven onafhankelijk van invoer- of uitvoerformaten of onderliggende componentspecificaties

• Transactie-gebaseerde gebeurtenisverwerking

• Multimodale implementatie naar een enkel knooppunt of de cloud

Deze aanpak krijgt meer grip op de ontwikkeling van big data-applicaties, voornamelijk vanwege de overvloed aan tools en technologieën die nodig zijn om een ​​big data-omgeving te creëren.

Gebrek aan samenwerking kan op veel manieren kostbaar zijn. Grote organisaties kunnen profiteren van tools die samenwerkingen bevorderen. Heel vaak zijn mensen die vergelijkbaar werk doen niet op de hoogte van elkaars inspanningen die leiden tot dubbel werk.

Een ander goed voorbeeld van een toepassingsraamwerk is OpenChorus. Naast de snelle ontwikkeling van toepassingen voor big data-analyse ondersteunt het ook samenwerking en biedt het vele andere belangrijke functies voor softwareontwikkelaars, zoals toolintegratie, versiebeheer en configuratiebeheer.

Open Chorus is een project dat wordt beheerd door EMC Corporation en is beschikbaar onder de licentie van Apache 2. 0. EMC produceert en ondersteunt ook een commerciële versie van Chorus. Zowel Open Chorus als Chorus hebben levendige partnernetwerken en een groot aantal individuele en zakelijke bijdragers.

Open koor is een generiek raamwerk. De leidende functie is de mogelijkheid om een ​​gemeenschappelijke "hub" te creëren voor het delen van big data-bronnen, inzichten, analysetechnieken en visualisaties. Open Chorus biedt het volgende:

• Repository met analysehulpprogramma's, artefacten en technieken met volledige versiebeheer, wijzigingen bijhouden en archiveren

• Werkruimten en sandboxes die zelf zijn ingericht en eenvoudig kunnen worden onderhouden door communityleden

• Visualisaties, inclusief warmtekaarten, tijdreeksen, histogrammen, enzovoort

• Federatief zoeken naar alle gegevensactiva, inclusief Hadoop, metagegevens, SQL-bibliotheken en opmerkingen

• Samenwerking via sociale netwerkachtige elementen die ontdekking, delen en brainstormen stimuleren

• Uitbreidbaarheid voor integratie van componenten en technologieën van derden