MapReduce: egyszerűsített adatfeldolgozás nagy klasztereken

a MapReduce egy programozási modell és egy kapcsolódó megvalósítás nagy adatkészletek feldolgozásához és előállításához. A felhasználók megadnak egy leképezési függvényt, amely egy kulcs / érték pár feldolgozásával köztes kulcs / érték párokat hoz létre, valamint egy reduce függvényt, amely egyesíti az azonos köztes kulcshoz társított összes köztes értéket. Ebben a modellben számos valós feladat kifejezhető, amint azt a cikk mutatja.

az ebben a funkcionális stílusban írt programokat automatikusan párhuzamosítják és végrehajtják az árucikkek nagy csoportján. A futásidejű rendszer gondoskodik a bemeneti adatok particionálásának részleteiről, a program végrehajtásának ütemezéséről egy sor gépen, a géphibák kezeléséről és a szükséges gépek közötti kommunikáció kezeléséről. Ez lehetővé teszi a párhuzamos és elosztott rendszerekkel kapcsolatos tapasztalat nélküli programozók számára, hogy könnyen kihasználhassák egy nagy elosztott rendszer erőforrásait.

a MapReduce implementációja árucikkek nagy csoportján fut, és nagymértékben skálázható: egy tipikus MapReduce számítás több terabájtnyi adatot dolgoz fel több ezer gépen. A programozók könnyen használhatónak találják a rendszert: több száz MapReduce programot hajtottak végre, és naponta több ezer MapReduce munkát hajtanak végre a Google klaszterein.

HTML diák