Corso di formazione Programming with Big Data in R

Questo corso è destinato a sviluppatori e data scientist che desiderano comprendere e implementare l'intelligenza artificiale nelle loro applicazioni. Particolare attenzione è rivolta all'analitica dei dati, all'intelligenza artificiale distribuita e all'elaborazione del linguaggio naturale.

Apache Beam è un modello di programmazione unificato open source per la definizione e l'esecuzione di pipeline di elaborazione dati parallele. La sua potenza risiede nella sua capacità di eseguire pipeline batch e di streaming, con l'esecuzione eseguita da uno dei back-end di elaborazione distribuita supportati da Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow. Apache Beam è utile per le attività ETL (Extract, Transform, and Load) come lo spostamento di dati tra diversi supporti di archiviazione e origini dati, la trasformazione dei dati in un formato più desiderabile e il caricamento dei dati su un nuovo sistema.

In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come implementare gli SDK Apache Beam in un'applicazione Java o Python che definisce una pipeline di elaborazione dati per la scomposizione di un set di dati di grandi dimensioni in blocchi più piccoli per l'elaborazione parallela indipendente.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Beam.
• Utilizzare un unico modello di programmazione per eseguire sia l'elaborazione batch che quella in flusso dall'interno dell'applicazione Java o Python.
• Esegui pipeline in più ambienti.

Formato del corso

• In parte lezione, in parte discussione, esercizi e pratica pratica pesante

Nota

• Questo corso sarà disponibile Scala in futuro. Vi preghiamo di contattarci per organizzare.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come costruire un Data Vault.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Comprendere i concetti di architettura e design alla base di Data Vault 2.0 e la sua interazione con Big Data, NoSQL e l'intelligenza artificiale.
• Utilizza le tecniche di data vaulting per abilitare il controllo, la traccia e l'ispezione dei dati cronologici in un data warehouse.
• Sviluppa un processo ETL (Extract, Transform, Load) coerente e ripetibile.
• Crea e distribuisci magazzini altamente scalabili e ripetibili.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce i principi e gli approcci alla base dell'elaborazione distribuita di flussi e batch di dati e guida i partecipanti attraverso la creazione di un'applicazione di streaming di dati in tempo reale in Apache Flink.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configurare un ambiente per lo sviluppo di applicazioni di analisi dei dati.
• Scopri come funziona la libreria di elaborazione grafica (Gelly) di Apache Flink.
• Crea pacchetti, esegui e monitora applicazioni di streaming di dati basate su Flink e tolleranti ai guasti.
• Gestisci carichi di lavoro diversi.
• Esegui analisi avanzate.
• Configura un cluster Flink multi-nodo.
• Misura e ottimizza le prestazioni.
• Integra Flink con diversi sistemi Big Data.
• Confronta le funzionalità di Flink con quelle di altri framework di elaborazione dei big data.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a conoscere le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati grafici. L'obiettivo è identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellare queste relazioni ed elaborarle come dati utilizzando un approccio Graph Computing (noto anche come Graph Analitica). Iniziamo con un'ampia panoramica e ci concentriamo su strumenti specifici mentre esaminiamo una serie di casi di studio, esercizi pratici e implementazioni dal vivo.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Informazioni sul modo in cui i dati del grafo vengono salvati in modo permanente e attraversati.
• Selezionare il framework migliore per una determinata attività (dai database a grafo ai framework di elaborazione batch).
• Implementa Hadoop, Spark, GraphX e Pregel per eseguire il calcolo dei grafi su molte macchine in parallelo.
• Visualizza i problemi reali dei big data in termini di grafici, processi e attraversamenti.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce Hortonworks Data Platform (HDP) e guida i partecipanti attraverso l'implementazione della soluzione Spark + Hadoop.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Utilizzare Hortonworks per eseguire in modo affidabile Hadoop su larga scala.
• Unifica le funzionalità di sicurezza, governance e operazioni di Hadoop con i flussi di lavoro analitici agili di Spark.
• Utilizza Hortonworks per analizzare, convalidare, certificare e supportare ciascuno dei componenti di un progetto Spark.
• Elabora diversi tipi di dati, inclusi quelli strutturati, non strutturati, in movimento e inattivi.

Questo corso illustra come utilizzare il linguaggio Hive SQL (AKA: Hive HQL, SQL on Hive , Hive QL) per le persone che estraggono dati da Hive

Cloudera Impala è un motore di query open source MPP (Massively Parallel Processing) SQL per cluster Apache Hadoop.

Impala consente agli utenti di inviare query a bassa latenza SQL ai dati memorizzati in Hadoop Distributed File System e Apache Hbase senza richiedere lo spostamento o la trasformazione dei dati.

Pubblico

Questo corso è rivolto ad analisti e data scientist che eseguono analisi sui dati memorizzati in Hadoop tramite Business Intelligence o SQL strumenti.

Dopo questo corso i delegati saranno in grado di:

• Estrai informazioni significative da Hadoop cluster con Impala.
• Scrivi programmi specifici per facilitare Business l'intelligenza in Impala SQL dialetto.
• Risoluzione dei problemi Impala.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano implementare l'elaborazione di flussi Apache Kafka senza scrivere codice.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installare e configurare Confluent KSQL.
• Impostare una pipeline di elaborazione del flusso utilizzando solo i comandi SQL (nessuna codifica Java o Python).
• Esegui il filtraggio dei dati, le trasformazioni, le aggregazioni, i join, il windowing e la sessionizzazione interamente in SQL.
• Progetta e distribuisci query interattive e continue per lo streaming ETL e l'analisi in tempo reale.

In questo corso di formazione dal vivo con istruttore in Italia (in loco o in remoto), i partecipanti impareranno come implementare e gestire Apache NiFi in un ambiente di laboratorio dal vivo.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installa e configura Apachi NiFi.
• Acquisisci, trasforma e gestisci i dati da fonti di dati distribuite e disparate, tra cui database e big data lake.
• Automatizza i flussi di dati.
• Abilita l'analisi in streaming.
• Applicare vari approcci per l'inserimento dei dati.
• Trasforma Big Data e trasforma in insight aziendali.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno i fondamenti della programmazione basata sul flusso mentre sviluppano una serie di estensioni, componenti e processori demo utilizzando Apache NiFi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Comprendi l'architettura e i concetti del flusso di dati di NiFi.
• Sviluppa estensioni utilizzando NiFi e API di terze parti.
• Sviluppare su misura il proprio processore Apache Nifi.
• Acquisisci ed elabora dati in tempo reale da formati di file e origini dati diversi e non comuni.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a ingegneri dei dati, data scientist e programmatori che desiderano utilizzare Spark Streaming le funzionalità per l'elaborazione e l'analisi dei dati in tempo reale.

Al termine di questa formazione, i partecipanti saranno in grado di utilizzare Spark Streaming per elaborare flussi di dati in tempo reale da utilizzare in database, filesystem e dashboard in tempo reale.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore.

Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.

• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico

Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark

Tidyverse è una raccolta di pacchetti R versatili per la pulizia, l'elaborazione, la modellazione e la visualizzazione dei dati. Alcuni dei pacchetti inclusi sono: ggplot2, dplyr, tidyr, readr, purrr e tibble.

In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno a manipolare e visualizzare i dati utilizzando gli strumenti inclusi in Tidyverse .

Al termine di questa formazione, i partecipanti saranno in grado di:

• Esegui analisi dei dati e crea visualizzazioni accattivanti
• Trarre conclusioni utili da vari set di dati di dati di esempio
• Filtra, ordina e riepiloga i dati per rispondere a domande esplorative
• Trasforma i dati elaborati in grafici a linee informative, grafici a barre, istogrammi
• Importa e filtra i dati da diverse origini dati, inclusi file Excel , CSV e SPSS

Pubblico

• Principianti nella lingua R.
• Principianti all'analisi e alla visualizzazione dei dati

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche