Innehållsförteckning:
Definition - Vad betyder Job Chaining?
Jobbkedjning är en term i MapReduce som avser att starta flera steg i samma MapReduce-uppgift. Med jobbkedjan skickar det första jobbet utdata till ett jobb, som skickar utdata till nästa jobb i kedjan, och så vidare tills jobbet är klart. Det är en form av rörledning för MapReduce-jobb för att göra dem mer hanterbara.
Techopedia förklarar Job Chaining
Jobbkedjan i MapReduce avser att köra flera uppgifter i ett enda MapReduce-jobb.
En jobbkedja kan till exempel bestå av:
Karta1> Minska1> Karta2> Minska2
Fördelen med jobbkedjan är att det eliminerar behovet av mellanliggande data mellan alla steg i en pipeline. I den meningen är jobbkedjan liknande inmatnings- / utgångs omdirigering i Unix-skalet. Output från en länk i kedjan flyter till ingången i nästa jobb i kedjan. MapReduce gör det möjligt för utvecklare att ange beroenden, eller vilka jobb som måste slutföras innan de bearbetar nästa jobb i kedjan genom att använda metodsamtalet addDependingJob ().
Detta gör det enklare för en utvecklare att skriva ett MapReduce-program som kan behandla stora datamängder.
