Top Big Data Technologies, hogy meg kell tudni

Big Data Technologies, a Buzz-szó, amely kapsz hallani sokat az elmúlt napokban. Ebben a cikkben megvitatjuk azokat az úttörő technológiákat, amelyek miatt a Big Data elterjedte ágait, hogy nagyobb magasságokat érjen el.

• mi az A Big Data technológia?
• a Big Data technológia típusai
• Top Big Data technológiák
• feltörekvő Big Data technológiák

mi a Big Data technológia?

a Big Data technológia olyan szoftver-segédprogramként definiálható, amelyet arra terveztek, hogy elemezze, feldolgozza és kinyerje az információkat egy rendkívül összetett és nagy adatkészletből, amellyel a hagyományos adatfeldolgozó szoftver soha nem tudna foglalkozni.

nagy adatfeldolgozási technológiákra van szükségünk, hogy elemezzük ezt a hatalmas mennyiségű valós idejű adatot, és következtetéseket és előrejelzéseket hozzunk létre a jövőbeni kockázatok csökkentése érdekében.

most nézzük meg azokat a kategóriákat, amelyekben a Big Data technológiák osztályozottak:

a Big Data technológiák típusai:

a Big Data technológiát elsősorban két típusba sorolják:

1. működési Big Data technológiák
2. analitikai Big Data technológiák

először is, az operatív Big Data a szokásos napi adatokról szól, amelyeket generálunk. Ez lehet az Online tranzakciók, a közösségi média, vagy egy adott szervezet adatai stb. Akkor is úgy, hogy ez egyfajta nyers adatok, amelyek használják a takarmány az analitikus Big Data technológiák.

néhány példa a működési Big Data technológiákra a következő:

• Online jegyfoglalás, amely magában foglalja a vasúti jegyeket, repülőjegyeket, mozijegyeket stb.
• Online vásárlás, amely az Amazon, Flipkart, Walmart, Snap deal és még sok más.
• adatok a közösségi média oldalakról, mint a Facebook, az Instagram, a What ‘ s app és még sok más.
• bármely multinacionális vállalat munkavállalói adatai.

tehát ezzel lépjünk be az analitikus Big Data technológiákba.

az analitikus Big Data olyan, mint a Big Data technológiák fejlett változata. Ez egy kicsit bonyolult, mint a működési Big Data. Röviden, Az analitikus big data az, ahol a tényleges teljesítmény része a képbe kerül, és a kritikus valós idejű üzleti döntéseket az operatív Big Data elemzésével hozzák meg.

néhány példa az analitikus Big Data technológiákra a következő:

• Stock marketing
• az űrmissziók végrehajtása, ahol minden egyes információ létfontosságú.
• időjárás-előrejelzési információk.
• orvosi területek, ahol egy adott beteg egészségi állapota nyomon követhető.

vessünk egy pillantást az informatikai iparágakban használt legfontosabb Big Data technológiákra.

Top Big Data Technologies

Top big data technologies vannak osztva 4 területen, amelyek a következők szerint osztályozzák:

• Adattárolás
• adatbányászat
• Adatelemzés
• adatmegjelenítés

most foglalkozzunk azokkal a technológiákkal, amelyek e kategóriák mindegyikébe tartoznak, azok tényeivel és képességeivel, valamint azokkal a vállalatokkal, amelyek ezeket használják.

kezdjük el a Big Data technológiákat az adattárolásban.

Adattárolás

Hadoop

Hadoop Framework célja az volt, hogy tárolja és feldolgozza az adatokat egy elosztott adatfeldolgozó környezetben áru hardver egy egyszerű programozási modell. Nagy sebességgel és alacsony költséggel képes tárolni és elemezni a különböző gépekben lévő adatokat.

• • • • • által kifejlesztett: Apache Software Foundation Az Év 2011 december 10.
        • írva: JAVA
        • jelenlegi stabil verzió: Hadoop 3.11

a Hadoopot használó vállalatok:

MongoDB

a NoSQL dokumentum adatbázisok, mint a MongoDB, közvetlen alternatívát kínálnak a relációs adatbázisokban használt merev sémával szemben. Ez lehetővé teszi a MongoDB számára, hogy rugalmasságot kínáljon, miközben sokféle adattípust kezel nagy mennyiségben és elosztott architektúrákon keresztül.

• • • • • által kifejlesztett: MongoDB az Év 2009 február 11
        • írt: C++, Go, JavaScript, Python
        • jelenlegi stabil verzió: MongoDB 4.0.10

a MongoDB-t használó vállalatok:

Rainstor

a RainStor egy szoftvercég, amely egy azonos nevű adatbázis-kezelő rendszert fejlesztett ki, amely nagyvállalatok nagy adatainak kezelésére és elemzésére szolgál. Deduplikációs technikákat alkalmaz a nagy mennyiségű adat referenciaként történő tárolásának megszervezésére.

• • • • • által kifejlesztett: RainStor Software company az év 2004.
        • úgy működik, mint: SQL
        • jelenlegi stabil verzió: RainStor 5.5

a Rainstort használó vállalatok:

Nagydarab

a Hunk lehetővé teszi a távoli Hadoop-klaszterek adatainak elérését virtuális indexeken keresztül, és lehetővé teszi a Splunk Search feldolgozási nyelv használatát az adatok elemzéséhez. A Hunk segítségével nagy összegeket jelenthet és Vizualizálhat a Hadoop és a NoSQL adatforrásokból.

• • • • • által kifejlesztett: Splunk INC Az Év 2013.
        • írva: JAVA
        • jelenlegi stabil verzió: Splunk Hunk 6.2

most térjünk át az Adatbányászatban használt Big Data technológiákra.

adatbányászat

Presto

Presto egy nyílt forráskódú elosztott SQL lekérdező motor futó interaktív analitikus lekérdezések ellen adatforrások minden méretben kezdve gigabájt petabájt. A Presto lehetővé teszi az adatok lekérdezését A Hive, Cassandra, relációs adatbázisokban és saját Adattárolókban.

• • • • • Fejlesztő: Apache Foundation 2013 – ban.
        • írva: JAVA
        • jelenlegi stabil verzió: Presto 0.22

a Presto-t használó vállalatok:

gyors bányász

RapidMiner egy központosított megoldás, amely tartalmaz egy nagyon erős és robusztus grafikus felhasználói felület, amely lehetővé teszi a felhasználók számára, hogy hozzon létre, szállít, és fenntartani a prediktív analitika. Lehetővé teszi a nagyon fejlett munkafolyamatok létrehozását, a szkriptek támogatását több nyelven.

• • • • • által kifejlesztett: RapidMiner 2001-ben
        • írva: JAVA
        • jelenlegi stabil verzió: RapidMiner 9.2

a RapidMiner-t használó vállalatok:

Elasticsearch

az Elasticsearch a Lucene könyvtáron alapuló keresőmotor. Ez egy elosztott, MultiTenant-képes, teljes szöveges keresőmotort biztosít HTTP webes felülettel és Sémamentes JSON dokumentumokkal.

• • • • • által kifejlesztett: Rugalmas NV 2012 – ben.
        • írva: JAVA
        • jelenlegi stabil verzió: ElasticSearch 7.1

az Elasticsearch-et használó vállalatok:

ezzel most áttérhetünk az adatelemzésben használt Big Data technológiákra.

Adatelemzés

Kafka

az Apache Kafka egy elosztott Streaming platform. A streaming platformnak három kulcsfontosságú képessége van, amelyek a következők:

• • • • • kiadó
        • Előfizető
        • fogyasztó

ez hasonló egy Üzenetsorhoz vagy egy vállalati üzenetküldő rendszerhez.

• által kifejlesztett: Apache Software Foundation Az Év 2011
• írt: Scala, JAVA
• jelenlegi stabil verzió: Apache Kafka 2.2.0

a Kafkát használó vállalatok:

Splunk

a Splunk valós idejű adatokat rögzít, indexel és korrelál egy kereshető adattárban, ahonnan grafikonokat, jelentéseket, riasztásokat, irányítópultokat és Adatmegjelenítéseket hozhat létre. Alkalmazáskezelésre, biztonságra és megfelelőségre, valamint üzleti és webes elemzésre is használják.

• • • • • által kifejlesztett: Splunk INC Az Év 2014 május 6
        • írt: AJAX, C++, Python, XML
        • jelenlegi stabil verzió: Splunk 7.3

Splunkot használó vállalatok:

KNIME

a KNIME lehetővé teszi a felhasználók számára, hogy vizuálisan hozzanak létre adatfolyamokat, szelektíven hajtsanak végre néhány vagy az összes elemzési lépést, és ellenőrizzék az eredményeket, modelleket és interaktív nézeteket. A KNIME Java nyelven íródott, az Eclipse alapján, és kiterjesztési mechanizmusát használja a Bővítmények hozzáadásához, további funkciókat biztosítva.

• • • • • által kifejlesztett: KNIME az Év 2008
        • írt: JAVA
        • jelenlegi stabil verzió: KNIME 3.7.2

a KNIME-t használó vállalatok:

Spark

a Spark memórián belüli számítási képességeket biztosít a sebesség biztosításához, egy általánosított végrehajtási modellt az alkalmazások széles skálájának támogatásához, valamint a Java, A Scala és a Python API-kat a fejlesztés megkönnyítése érdekében.

• • • • • Fejlesztő: Apache Software Foundation
        • írta: Java, Scala, Python, R
        • jelenlegi stabil verzió: Apache Spark 2.4.3

a Sparkot használó vállalatok:

R-nyelv

R egy programozási nyelv és szabad szoftver környezet statisztikai számítástechnika és Grafika. Az R nyelvet széles körben használják a statisztikusok és az adatbányászok a statisztikai szoftverek fejlesztésében és főként az adatelemzésben.

• • • • • által kifejlesztett: R-Alapítvány az év 2000 február 29
        • írt: Fortran
        • jelenlegi stabil verzió: R-3.6.0

az R-nyelvet használó vállalatok:

Blockchain

a BlockChain-t olyan alapvető funkciókban használják, mint a fizetés, a letéti és a cím is csökkentheti a csalást, növelheti a pénzügyi adatvédelmet, felgyorsíthatja a tranzakciókat és nemzetközivé teheti a piacokat.

a BlockChain az alábbiak elérésére használható üzleti hálózati környezetben:

• • • • • megosztott főkönyv: Itt hozzáfűzzük az elosztott nyilvántartási rendszert egy üzleti hálózaton keresztül.
        • intelligens szerződés: az Üzleti feltételek beágyazódnak a tranzakciós adatbázisba, és tranzakciókkal kerülnek végrehajtásra.
        • adatvédelem: a megfelelő láthatóság biztosítása, a tranzakciók biztonságosak, hitelesítettek és ellenőrizhetők
        • konszenzus: az üzleti hálózatban részt vevő valamennyi fél beleegyezik a hálózat által ellenőrzött tranzakciókba.

• által kifejlesztett: Bitcoin
• írt: JavaScript, C++, Python
• jelenlegi stabil verzió: Blockchain 4.0

Blockchain-t használó vállalatok:

ezzel az Adatmegjelenítésbe lépünk Big Data technologies

adatmegjelenítés

tabló

a Tableau egy erőteljes és leggyorsabban növekvő adatmegjelenítő eszköz, amelyet az üzleti intelligencia iparban használnak. Az adatok elemzése nagyon gyors a Tableau-val, és a létrehozott Vizualizációk irányítópultok és munkalapok formájában készülnek.

• • • • • által kifejlesztett: TableAU 2013 május 17
        • írt: JAVA, C++, Python, C
        • jelenlegi stabil verzió: tabló 8.2

a Tableau-t használó vállalatok:

Plotly

elsősorban arra használják, hogy a grafikonok létrehozása gyorsabb és hatékonyabb legyen. API könyvtárak Python, R, MATLAB, csomópont.js, Julia, és Arduino és egy pihenő API. Plotly is fel lehet használni, hogy a stílus interaktív grafikonok Jupyter notebook.

• • • • • által kifejlesztett: Plotly az év 2012
        • írt: JavaScript
        • jelenlegi stabil verzió: Plotly 1.47.4

a Plotly-t használó vállalatok:

most beszéljünk a feltörekvő Big Data technológiákról

feltörekvő Big Data technológiák

TensorFlow

a TensorFlow eszközök, könyvtárak és közösségi erőforrások átfogó, rugalmas ökoszisztémájával rendelkezik, amely lehetővé teszi a kutatók számára, hogy a legmodernebb gépi tanulást fejlesszék, és a fejlesztők könnyen építhetnek és telepíthetnek gépi tanulással működő alkalmazásokat.

• • • • • által kifejlesztett: Google Brain Csapat Az év 2019
        • írt: Python, C++, CUDA
        • jelenlegi stabil verzió: TensorFlow 2.0 béta

a TensorFlow-t használó vállalatok:

Beam

az Apache Beam hordozható API réteget biztosít kifinomult párhuzamos adatfeldolgozó csővezetékek felépítéséhez, amelyek végrehajthatók a végrehajtó motorok vagy futók sokféleségében.

• • • • • által kifejlesztett: Apache Software Foundation Az Év 2016 június 15
        • írt: JAVA, Python
        • jelenlegi stabil verzió: Apache Beam 0.1.0 inkubálás.

a Beam-et használó vállalatok:

Docker

a Docker egy olyan eszköz, amely megkönnyíti az alkalmazások létrehozását, telepítését és futtatását Tárolók használatával. A konténerek lehetővé teszik a fejlesztő számára, hogy csomagoljon egy alkalmazást az összes szükséges alkatrészével, például könyvtárakkal és egyéb függőségekkel, és az egészet egy csomagként szállítsa ki.

• • • • • által kifejlesztett: Docker INC Az Év 2003 március 13.
        • írva: Go
        • jelenlegi stabil verzió: Docker 18.09

a Dockert használó vállalatok:

Airflow

az Apache Airflow egy munkafolyamat-Automatizálási és ütemezési rendszer, amely adatfolyamok létrehozására és kezelésére használható. Az Airflow a feladatok irányított aciklikus Grafikonjaiból (dag) készült munkafolyamatokat használja. A munkafolyamatok kódban történő meghatározása megkönnyíti a karbantartást, a tesztelést és a verziószámozást.

• • • • • Fejlesztő: Apache Software Foundation on May 15th 2019
        • írva: Python
        • jelenlegi stabil verzió: Apache AirFlow 1.10.3

az AirFlow-t használó vállalatok:

Kubernetes

a Kubernetes egy szállítói agnosztikus Klaszter-és konténerkezelő eszköz, amelyet a Google 2014-ben nyitott meg. Platformot biztosít az Alkalmazástárolók automatizálásához, telepítéséhez, méretezéséhez és működéséhez a gazdagép-klaszterek között.

• • • • • Fejlesztő: Cloud Native Computing Foundation 2015 július 21-én
        • írva: Go
        • jelenlegi stabil verzió: Kubernetes 1.14

a Kubernetes-t használó vállalatok:

ezzel a cikk végére értünk. Remélem, hogy rávilágítottam a Big Data-ról és Technológiáiról szóló ismereteire.

most, hogy megértette a nagy adatokat és technológiáit, nézze meg az Edureka, egy megbízható online tanulási cég Hadoop képzését, amely több mint 250 000 elégedett tanulóval rendelkezik az egész világon. Az Edureka Big Data Hadoop tanúsítási tanfolyam segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőjévé válni, valós idejű felhasználási esetek használatával a kiskereskedelemben, a közösségi médiában, a repülésben, a turizmusban, a pénzügyekben.