Innehållsförteckning:
Definition - Vad betyder MapReduce?
MapReduce är en programmeringsmodell som introducerats av Google för bearbetning och generering av stora datauppsättningar på datorer.
Google formulerade först ramverket för att servera Googles indexering av webbsidor, och det nya ramverket ersatte tidigare indexeringsalgoritmer. Nybörjarutvecklare tycker att MapReduce-ramverket är fördelaktigt eftersom bibliotekrutiner kan användas för att skapa parallella program utan att oroa sig för infra-klusterkommunikation, uppgiftsövervakning eller felhanteringsprocesser.
MapReduce körs på ett stort kluster av handelsmaskiner och är mycket skalbar. Den har flera former för implementering som tillhandahålls av flera programmeringsspråk, som Java, C # och C ++.
Techopedia förklarar MapReduce
MapReduce-ramverket har två delar:
- En funktion som kallas "Karta", som gör att olika punkter i det distribuerade klustret kan distribuera sitt arbete
- En funktion som kallas "Minska", som är utformad för att minska den slutliga formen av klusterens resultat till en utgång
Den största fördelen med MapReduce-ramverket är dess feltolerans, där periodiska rapporter från varje nod i klustret förväntas när arbetet är slutfört.
En uppgift överförs från en nod till en annan. Om huvudnoden märker att en nod har varit tyst under ett längre intervall än väntat utför huvudnoden omfördelningsprocessen till den frusna / fördröjda uppgiften.
MapReduce-ramverket är inspirerat av funktionerna "Map" och "Reduce" som används i funktionell programmering. Beräkningsbearbetning sker på data lagrade i ett filsystem eller i en databas, som tar en uppsättning ingångsnyckelvärden och producerar en uppsättning utgångsnyckelvärden.
Varje dag körs flera MapReduce-program och MapReduce-jobb i Googles kluster. Program parallelliseras och körs automatiskt på ett stort kluster av handelsmaskiner. Runtime-systemet behandlar partitionering av inmatningsdata, schemaläggning av programmets körning över en uppsättning maskiner, maskinfelhantering och hantering av nödvändig kommunikation mellan maskiner. Programmerare utan någon erfarenhet av parallella och distribuerade system kan enkelt använda resurserna för ett stort distribuerat system.
MapReduce används vid distribuerad grep, distribuerad sortering, web-länk-graf-omvändning, statistik för åtkomst av loggar för webb, dokumentklustering, maskininlärning och statistisk maskinöversättning.
