Top Big Data technologie, které potřebujete vědět

Big Data Technologies, Buzz-slovo, které dostanete slyšet hodně v posledních dnech. V tomto článku se Budeme diskutovat, přelomové technologie, které udělal Big Data rozšířila své pobočky k dosažení větší výšky.

• co je technologie velkých dat?
• typy technologií velkých dat
• špičkové technologie velkých dat
• vznikající technologie velkých dat

co je technologie velkých dat?

Big Data Technologie může být definován jako Software-Nástroj, který je navržen tak, aby Analyzovat, Zpracovat a Extrahovat informace z extrémně složité a rozsáhlé datové sady, které Tradiční Software pro Zpracování Dat nikdy řešit.

potřebujeme Big Data Technologie Zpracování pro Analýzu tohoto obrovského množství dat v Reálném čase a přijít se Závěry a Předpovědi na snížení rizika v budoucnosti.

nyní se podívejme na kategorie, ve kterých jsou technologie velkých dat klasifikovány:

Typy Technologií pro Velká Data:

Big Data Technologie je především rozděleny do dvou typů:

1. Provozní Big Data Technologií
2. Analytických Technologií pro Velká Data

za Prvé, Provozní Big Data je vše o normální každodenní údaje, které budeme vytvářet. Mohou to být online transakce, sociální média nebo data od konkrétní organizace atd. Můžete to dokonce považovat za druh surových dat, která se používají k napájení analytických velkých datových technologií.

pár příkladů z Provozní Big Data Technologie jsou následující:

• on-Line rezervace, která obsahuje vaše Železniční jízdenky, letenky, vstupenky do kina atd.
• online nakupování, což je váš Amazon, Flipkart, Walmart, Snap deal a mnoho dalších.
• Data ze sociálních médií, jako je Facebook, Instagram, co je aplikace a mnohem více.
• údaje o zaměstnancích jakékoli nadnárodní společnosti.

takže s tím pojďme do analytických velkých datových technologií.

Analytická velká Data jsou jako pokročilá verze technologií velkých dat. Je to trochu složitější než provozní Big Data. Stručně řečeno, Analytické big data je místo, kde skutečný výkon část přichází do obrazu a zásadní real-time obchodní rozhodnutí jsou přijímána na základě analýzy Provozních Big Data.

Několik příkladů z Analytické Big Data Technologie jsou následující:

• Skladem marketing
• Plnění Vesmírných misí, kde každý bit informace je zásadní.
• informace o předpovědi počasí.
• lékařské obory, kde lze sledovat konkrétní zdravotní stav pacientů.

podívejme se na špičkové technologie velkých dat používané v IT průmyslu.

špičkové technologie velkých dat

špičkové technologie velkých dat jsou rozděleny do 4 polí, která jsou klasifikována následovně:

• Data Storage
• Data Mining
• Data Analytics
• Vizualizace Dat

Nyní pojďme jednat s technologií spadající pod každou z těchto kategorií s jejich skutečností a možností, spolu s firmami, které je využívají.

začněme s velkými datovými technologiemi v ukládání dat.

Data Storage

Hadoop

Hadoop Rámec byl navržen tak, aby ukládat a zpracovávat data v distribuovaném Zpracování Dat Prostředí s komoditní hardware pomocí jednoduchého programovacího modelu. Může ukládat a analyzovat data přítomná v různých strojích s vysokými rychlostmi a nízkými náklady.

• • • • • zpracoval: Apache Software Foundation v roce 2011 10. Prosince.
        • napsáno v: JAVA
        • aktuální stabilní verze: Hadoop 3.11

Společnosti Pomocí Hadoop:

MongoDB

NoSQL Document Databází, jako jsou MongoDB, nabídka přímá alternativa k tuhé schématu používá u Relačních Databází. To umožňuje MongoDB nabídnout flexibilitu při manipulaci s širokou škálou datových typů ve velkých objemech a napříč distribuovanými architekturami.

• • • • • zpracoval: MongoDB v roce 2009 11 Feb
        • Napsáno v: C++, Go, JavaScript, Python
        • Aktuální stabilní verze: MongoDB 4.0.10

Společnosti Pomocí MongoDB:

Rainstor

RainStor je softwarová společnost, která vyvinula Systém Správy Databáze se stejným názvem, určený pro Správu a Analýzu Velkých Dat pro velké podniky. Používá Deduplikační techniky k organizaci procesu ukládání velkého množství dat pro referenci.

• • • • • zpracoval: RainStor Softwarové společnosti v roce 2004.
        • Funguje jako: SQL
        • Aktuální stabilní verze: RainStor 5.5

Firem, které Využívají RainStor:

Kus

Kus umožňuje přístup k datům ve vzdáleném Hadoop Klastry prostřednictvím virtuální indexy a umožňuje používat Splunk Search Zpracování Jazyka analyzovat vaše data. S Hunk, můžete hlásit a vizualizovat velké množství z vašich datových zdrojů Hadoop a NoSQL.

• • • • • zpracoval: Splunk INC v roce 2013.
        • Napsáno: JAVA
        • Aktuální stabilní verze: Splunk Kus 6.2

Nyní, pojďme se přesunout do Big Data Technologií používaných v Data Mining.

Data Mining

Presto

Presto je open source Distribuované SQL Query Engine pro běh Interaktivní Analytické Dotazy vůči zdroje dat všech velikostí od Gb až po Petabyty. Presto umožňuje dotazování dat v Hive, Cassandra, relačních databázích a proprietárních datových skladech.

• • • • • zpracoval: Apache Foundation v roce 2013.
        • napsáno v: JAVA
        • aktuální stabilní verze: Presto 0.22

Firem, které Využívají Presto:

Rapid Miner

RapidMiner je Centralizované řešení, které má velmi silný a robustní Grafické Uživatelské Rozhraní, které umožňuje uživatelům Vytvářet, Poskytovat a udržovat Predictive Analytics. Umožňuje vytvářet velmi pokročilé pracovní postupy, podporu skriptování v několika jazycích.

• • • • • vyvinutý společností: RapidMiner v roce 2001
        • Napsáno: JAVA
        • Aktuální stabilní verze: RapidMiner 9.2

Společnosti Pomocí RapidMiner:

Elasticsearch

Elasticsearch je vyhledávač založen na Lucene Knihovna. Poskytuje distribuovaný, MultiTenant-schopný, fulltextový vyhledávač s webovým rozhraním HTTP a dokumenty JSON bez schématu.

• • • • • vyvinutý společností: Elastic NV v roce 2012.
        • Napsáno: JAVA
        • Aktuální stabilní verze: ElasticSearch 7.1

Společnosti Pomocí Elasticsearch:

S tímto, můžeme se nyní přesunout do Big Data Technologií používaných v Datových Analytics.

Analýza dat

Kafka

Apache Kafka je distribuovaná streamovací platforma. Streamovací platforma má tři klíčové funkce, které jsou následující:

• • • • • Vydavatel
        • Uživatel
        • Spotřebitel

To je podobné, Fronty Zpráv nebo Enterprise Messaging Systém.

• zpracoval: Apache Software Foundation v roce 2011
• Napsáno: Scala, JAVA
• Aktuální stabilní verze: Apache Kafka 2.2.0

Firem, které Využívají Kafka:

Splunk

Splunk zachycuje, Indexy, a koreluje data v Reálném čase v Prohledávatelné Archivu, z nichž lze vytvořit Grafy, Zprávy, Upozornění, Dashboardy a Vizualizace Dat. Používá se také pro správu aplikací, bezpečnost a dodržování předpisů, jakož i obchodní a webovou analytiku.

• • • • • zpracoval: Splunk INC v roce 2014 6. Května
        • Napsáno: AJAX, C++, Python, XML
        • Aktuální stabilní verze: Splunk 7.3

Firem, které Využívají Splunk:

KNIME

KNIME umožňuje uživatelům, aby vizuálně vytvořit Datové Toky, Selektivně provést některé nebo Všechny kroky Analýzy, a Zkontrolujte, zda Výsledky, Modely a Interaktivní pohledy. KNIME je napsán v Javě a založený na Eclipse a využívá svého rozšiřovacího mechanismu k přidání pluginů poskytujících další funkce.

• • • • • zpracoval: KNIME v roce 2008
        • Napsáno v: JAVA
        • Aktuální stabilní verze: KNIME 3.7.2

Firem, které Využívají KNIME:

Jiskra

Spark nabízí In-Memory Computing schopnosti dodat Rychlost, celkové Provedení Modelu podporovat širokou škálu aplikací, a Java, Scala, a Python Api pro snadnost vývoje.

• • • • • zpracoval: Apache Software Foundation
        • Napsáno: Java, Scala, Python, R
        • Aktuální stabilní verze: Apache Spark 2.4.3

Společnosti Pomocí Spark:

R-Jazyk

R je Programovací Jazyk a free softwarové prostředí pro Statistické výpočty a Grafiku. Jazyk R je široce používán mezi statistiky a horníky dat pro vývoj statistického softwaru a hlavně v analýze dat.

• • • • • zpracoval: R-Nadace v roce 2000 29 Feb
        • Napsáno: Fortran
        • Aktuální stabilní verze: R-3.6.0

Firem, které Využívají R-Jazyk:

Blockchain

BlockChain je použit v základní funkce, jako jsou platby, podmíněná, a název může také snížit výskyt podvodů, zvýšení finanční soukromí, rychlost transakcí a internacionalizaci trhů.

BlockChain může být použit pro dosažení těchto v podnikové Síti Prostředí:

• • • • • Sdílenou účetní Knihu: Zde můžeme připojit distribuovaný systém záznamů v obchodní síti.
        • inteligentní smlouva: obchodní podmínky jsou vloženy do databáze transakcí a prováděny s transakcemi.
        • soukromí: zajištění vhodné viditelnosti, transakce jsou bezpečné, ověřené a ověřitelné
        • konsensus: všechny strany v obchodní síti souhlasí s ověřenými transakcemi v síti.

• zpracoval: Bitcoin
• Napsáno: JavaScript, C++, Python
• Aktuální stabilní verze: Blockchain 4.0

Firem, které Využívají Blockchain:

S tím, jsme se přesunout do Vizualizace Dat Velké Datové technologie

Vizualizace Dat

Tablo

Tablo je Silný a Nejrychleji rostoucí Vizualizace Dat nástroje používané v Business Intelligence Průmyslu. Analýza dat je s Tableau velmi rychlá a vytvořené vizualizace jsou ve formě dashboardů a pracovních listů.

• • • • • zpracoval: Tablo Roku 2013, 17. Května
        • Napsáno v: JAVA, C++, Python, C
        • Aktuální stabilní verze: Tablo 8.2

Firem, které Využívají Tablo:

Plotly

používá se Hlavně, aby se vytváření Grafů, rychlejší a efektivnější. API knihovny pro Python, R, MATLAB, Node.js, Julia, a Arduino a REST API. Plotly lze také použít ke stylu interaktivních grafů s notebookem Jupyter.

• • • • • vyvinutý společností: Plotly v roce 2012
        • Napsáno: JavaScript
        • Aktuální stabilní verze: Plotly 1.47.4

Firem, které Využívají Plotly:

nyní pojďme diskutovat Rozvíjejících se Technologií pro Velká Data

Rozvíjejících se Technologií pro Velká Data

TensorFlow

TensorFlow je Komplexní, Flexibilní Ekosystém nástrojů, Knihoven a zdrojů Společenství, která umožňuje Výzkumníci push state-of-the-art v Strojového Učení a Vývojáři mohou snadno vytvářet a nasazovat Strojového Učení poháněl aplikace.

• • • • • Vyvinuta: Google, Mozek Týmu v roce 2019
        • Napsáno v: Python, C++, CUDA
        • Aktuální stabilní verze: TensorFlow 2.0 beta

Firem, které Využívají TensorFlow:

Paprsek

Apache Paprsek poskytuje Přenosný API vrstvy pro budování sofistikované Paralelní Zpracování Dat Potrubí, které mohou být provedeny v celé rozmanitosti Provedení Motorů nebo Běžci.

• • • • • vyvinutý společností: Apache Software Foundation v roce 2016 15. června
        • Napsáno: JAVA, Python
        • Aktuální stabilní verze: Apache Paprsek 0.1.0 inkubaci.

Společnosti Využívající Paprsek:

Docker

Docker je nástroj navržen tak, aby usnadňují Vytváření, Nasazení a spouštění aplikací pomocí Kontejnerů. Kontejnery umožňují vývojáři zabalit aplikaci se všemi částmi, které potřebuje, jako jsou knihovny a další závislosti, a vše odeslat jako jeden balíček.

• • • • • zpracoval: Docker INC v roce 2003 13.Března.
        • Napsal:
        • Aktuální stabilní verze: Docker 18.09

Společnosti Pomocí Docker:

Proudění vzduchu

Apache proudění Vzduchu je WorkFlow Automatizace a Plánování Systému, které mohou být použity, aby se autor a správa Dat Potrubí. Airflow využívá pracovní postupy vytvořené z řízených acyklických grafů (dag) úloh. Definování pracovních postupů v kódu umožňuje snadnější údržbu, testování a verzování.

• • • • • zpracoval: Apache Software Foundation na 15. Května 2019
        • Napsáno: Python
        • Aktuální stabilní verze: Apache proudění Vzduchu 1.10.3

Firem, které Využívají proudění Vzduchu:

Kubernetes

Kubernetes je Prodávající-Agnostik Clusteru a Kontejner, nástroj pro Správu, Open Source společností Google v roce 2014. Poskytuje platformu pro automatizaci, nasazení, škálování a provoz aplikačních kontejnerů napříč klastry hostitelů.

• • • • • zpracoval: Cloud Native Computing Foundation v roce 2015 21. července
        • Napsal:
        • Aktuální stabilní verze: Kubernetes 1.14

Firem, které Využívají Kubernetes:

S tím, že dojdeme na konec tohoto článku. Doufám, že jsem hodil nějaké světlo na vaše znalosti o velkých datech a jejich technologiích.

Teď, že jste pochopili, Big data a jeho Technologií, podívejte se na Hadoop školení Edureka, důvěryhodný on-line vzdělávání společnosti, se sítí více než 250 000 spokojených žáků se šíří po celém světě. Na Edureka Big Data Hadoop Certifikační Školení kurz pomáhá studentům stát se odborníkem v HDFS, Příze, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop pomocí real-time případy použití v Maloobchodě, Sociální Média, Letectví, cestovní Ruch, Finance domény.