Màster Big Data Management, Technologies and Analytics | UPC School - Barcelona
Inici > Màsters i postgraus	> Formació	> Màster en Big Data Management, Technologies and Analytics
Forma't a la UPC en el perfil professional més demandat per les empreses
Divendres: 18:00 a 21:00
Professionals informàtics, és a dir, amb grau en informàtica o equivalent, interessats en reciclar-se cap a l'àmbit del Big Data. Els típics rols informàtics als quals s'adreça aquest màster és el de desenvolupador, arquitecte, analista de dades i administrador de sistemes.
El programa, però, està orientat a crear perfils mixtes (en gestió i anàlisi de dades). Perfils d'enginyeries clàssiques, estadística i matemàtiques també són acceptats. No obstant, en aquests casos, cal tenir formació tècnica en bases de dades centralitzades i programació, així com coneixements d’estadística bàsica equivalents als assolits en qualsevol grau d'Enginyeria.
Context. La societat de les dades i el paradigma data-driven.
Cloud computing i l'Enginyeria de Serveis (XaaS).
La necessitat d'un canvi de paradigma: NOSQL.
Principis bàsics de les bases de dades no relacionals (NOSQL).
Fonaments arquitectònics.
Nous models de dades.
Fonaments: noves arquitectures.
Gestió i processament distribuït de les dades.
Gestió i processament de les dades a memòria.
Principals arquitectures de referència.
Fonaments: nous models de dades.
Conceptes bàsics.Models de dades no estructurats o semi-estructurats.
Principals models de dades al món NOSQL: Key-Value, Document-oriented, Graphs, Graphs Semantics i Streams.
Modelització de dades avançada (per sistemes no relacionals).
Principals Famílies de Gestors NOSQL.
Gestors Key-Value.
Concepte i principis.
L'ecosistema Hadoop: HDFS, HBase, MapReduce i Spark.
Consideracions específiques de modelització.
Gestors Document-oriented.
Exemple: MongoDB i l'Aggregation Framework.
Gestors Column-oriented.
Example: Kudu (base de dades) i Parquet (fitxers).
Gestors de Grafs.
Conceptes i principis.
Tipus de grafs i operacions.
Exemple: Neo4J i Cypher.
Gestors de Grafs Semàntics.
Concepte i Principis: el paradigma Open/Linked Data.
Com obrir dades.
Arquitectures basades en grafs vs tecnología relacional.
RDF i SPARQL.
Processos intensius de dades i ETLs.
Polystores i sistemes políglots.
Orquestradors: Muskeeter.
Processos de visualització.
Tècniques de visutalització.
Què és el knowledge discovery?
Introducció a R.
Pre-processament de dades.
Neteja i adequació de les dades.
Tècniques bàsiques d'anàlisi.
Principals tècniques d'aprenentatge automàtic.
Regles d'associació.
Mètodes lineals supervisats.
Màquines de vector suport.
Boscos aleatoritzats.
Processament del text.
Pre-processament i preparació de les dades.
Principals tècniques de text analítics.
Anàlisi de les dades avançats.
Paquets d'R per al processament paral·lel.
R sobre bases de dades relacionals.
Anàlisi de les dades en entorns distribuïts emprant HDFS i Spark.
Introducció als entorns Cloud.
Serveis Oracle.
Emmagatzemament distribuït.
L'Ecosistema Hadoop.
Sistemes Key-Value: HBase.
Processament distribuït.
Anàlisi de dades en entorns distribuïts: MLlib. SparkR.
Bases de dades en graf.
Grafs semàntics: GraphDB i SPARQL.
Arquitectura de sistemes Big Data.
Negoci i Emprenedoria en Big Data
Introducció: L'entorn competitiu de l'empresa i Big Data.
Tècniques d'ideació de negoci.
Definició de productes i serveis.
Eines de modelització de negoci: Business Model Canvas.
Elements que el conformen.
Resolució casos: Twitter, Facebook, etc.
Procés de finançament.
Finançament privat: Business Angels i Capital Risk.
Aspectes legals: Regulació de les dades.
Consideracions ètiques del Big Data: Negoci i Privacitat.
Presentacions i pitch.
El projecte es realitzarà en grups que hauran de desenvolupar un cas real aplicat. Els estudiants hauran de realitzar una anàlisi tant de la perspectiva tècnica (gestió i anàlisi de dades) com de la perspectiva de negoci (potencial viabilitat de la idea com a negoci, independentment que es tracti d'una start-up o un nou producte/servei a una empresa existent). El projecte ha de proposar una solució innovadora al problema plantejat, tant en l'aspecte tècnic com en el valor afegit de negoci, i es valora d'aquesta perspectiva.
Per a portar a terme el projecte, els grups han de definir l'arquitectura funcional del sistema (incloent-hi repositoris i fluxos de dades tot justificant el rendiment que s'obtindrà del sistema en un cas real), justificar el tipus d'anàlisi de dades a portar a terme (incloent-hi la preparació de les dades, disseny de features, adequació del model escollit al problema entre mans, training i validació) i la viabilitat del negoci (posicionament i segmentació del negoci, així com l'habilitat de fer un Pitch precís sobre la idea de negoci i el seu valor). La gestió del projecte també tindrà un pes especial, i s'espera seguir una metodologia àgil adaptada a projectes Big Data.
Cada grup comptarà amb l'assessorament de tres tutors (professors del programa experts en negoci, gestió i anàlisi de dades, respectivament) per al desenvolupament dels projectes. La fórmula seguida garanteix la immersió en una experiència real sent tutoritzats per experts en la temàtica. Com a resultat, els projectes resultants han rebut diversos premis i han donat peu a productes que han arribat a producció en diverses empreses.
A continuació detallem exemples de treballs realitzats en edicions anteriors:
- LifeStyle: A partir de dades de transaccions bancàries es perfilà l'estil de vida (activitats d'oci) dels clients del banc amb l'objectiu de fer-los propostes personalitzades de productes d'oci.
- A Location ¿ Based Social Media Data Gathering System for Predicting Crowded Places: A partir de dades en temps reals de diferents xarxes socials es predia l'afluència de persones en els principals llocs turístics de Barcelona. D'aquesta manera, es podien preparar accions per descongestionar certes zones de la ciutat amb antelació.
- Supermarker shopping assistant: es tracta d'una aplicació mòbil que recomana al client, durant la seva visita a un supermercat o hipermercat, quins productes al voltant seu poden ser del seu interés. L'aplicació inclou un self-checkout per a fer les compres més eficients a través de l'escaneig del producte.
- Urban mobility and traffic safety analytics: aprofitant les dades generades pels sensors dels anomenats smart cars, s'identifiquen conductes de risc (Que podrien acabar en accident) en temps real a partir del perfil de conducció habitual de cada conductor i les dades actuals rebudes en temps real.
- Properties data collection platform and prices prediction: a partir de dades de portals immobiliaris contextualitzades amb altres externes es predeia el preu real i de venda d'un immoble.
- Net Sales Forecasting: a l'àmbit de les farmacèutiques, predir la quantitat de medicaments a produir per país amb antelació és vital. En aquest projecte es feia una previsió de producció mensual per país basat en els històrics de vendes.
Arquitecte Tècnic i Màster en Project Management per la UPC. Formació en Big Data Analytics i curs en Comunicació, Negociació i Persuassió per ESADE. Acumula experiancia de més de 10 anys treballant pel sector retail i 6 com a emprenedor a diferents projectes. Fundador i CEO de BitPhy. Actualment forma part de la junta ESADE Alumni del club "Club Business Innovation & Technologies".
Sóc Enginyer en Informàtica i la meva especialitat sempre han estat les bases de dades i en general tot el relatiu al Modelatge de Dades Conceptual i Físic. Vaig realitzar el postgrau per poder evolucionar i ampliar la meva especialitat, així com per iniciar-me de la forma més acadèmica i reglada possible en l'àmbit analytics. L'experiència m'ha permès reorientar la meva feina i iniciar i impulsar l'entorn Big Data Analytics a l'empresa. De fet, el nostre projecte final consistia utilitzar dades reals de la demanda de viatgers TMB per desplegar diferents facetes que vam aprendre durant el curs. La més difícil i espectacular va ser endinsar-nos en realitzar un estudi predictiu de la demanda de passatge en algunes estacions de metro de la L9 automàtica i d'algunes línies importants de Bus de la nova xarxa ortogonal a partir d'un model de Machine Learning.
Una de les meves responsabilitats és vetllar per l'evolució tecnològica a l'organització, identificant aquelles tecnologies que aportin valor al negoci. Des del principi tenia clar el gran potencial del Big Data, una tecnologia que ha arribat per quedar-se. Buscava un curs seriós que em donés l'amplitud i profunditat de coneixements necessària per començar a introduir Big Data a l'empresa. Havent estudiat a la FIB, un màster amb visió holística sobre el Big Data organitzat per la UPC i dirigit per professorat de renom de la FIB, era ja una garantia de rigor. Tant ha estat així que els coneixements adquirits m'han permès divulgar dins l'organització el potencial de la tecnologia Big Data aplicada a casos reals de negoci. Això ha generat l'interès necessari per llançar proves de concepte i pilots amb molt bons resultats. Més enllà dels coneixements, he conegut alumnes i professors que han enriquit encara més l'experiència. La meva opinió: 100% recomanable.
A la finalització dels meus estudis en enginyeria informàtica a la FIB vaig descobrir el món del Business Intelligence i em va acabar atrapant. Actualment i després de deu anys treballant en gestió i explotació de la informació sóc responsable del departament de Business Intelligence i Analytics a Desigual. El postgrau en Big Data m'ha donat un coneixement ampli de com funcionen les bases de dades columnars, de grafs o amb dades desestructurades tipus JSON, per exemple. He après arquitectures per desenvolupar solucions en temps real amb un alt volum d'informació. I al mateix temps m'ha aportat un ventall d'algoritmes en estadística avançada i Machine Learning els quals sóc capaç d'aplicar en els problemes que se'm presenten en el meu treball. Aquesta és una formació amb un alt nivell tècnic per descobrir com es treballa el BigData i l'analítica avançada a través de la programació en diferents tecnologies. Atorga una visió àmplia en molts aspectes i els coneixements suficients per afrontar projectes d'aquest tipus.
Tourist Factory , un projecte desenvolupat per alumnes del postgrau en Big Data Management and Analytics de la UPC School, ha resultat guanyador de la segona edició dels Big Data Talent Awards . Tourist Factory és una solució AAAS (Analyticsasaservice) en temps real que identifica turistes a les xarxes socials a les grans ciutats i és capaç de suggerir-los-hi recomanacions personalitzades basades en contingut social. D'altra banda, el projecte Convector - Public transport optimization through Big Data analytics , també desenvolupat com a projecte de la formació en Big Data de la UPC School, també va resultar finalista d'aquests premis. La 2a edició dels Big Data Talent Awards té com a objectiu premiar les tesis doctorals i projectes de fi de carrera/ màster o postgrau relacionats amb Big Data i Data Analytics amb el major impacte socioeconòmic i amb la major innovació tecnològica. Són uns premis organitzats pel Centre d'Excel·lència en Big Data de Barcelona, ??amb el patrocini d'Oracle. El projecte guanyador, Tourist Factory, ha estat desenvolupat com a projecte final de la formació de postgrau de la UPC pels alumnes Rodica Fazakas, Iúlia Zvyagelskaya, Juan Pablo López i Beatriz Martín . Tourist Factory aplica machine learning per a la detecció de turistes, monitorització dels seus interessos i emocions, explorar insights i identificar tendències . El sistema permet analitzar la "situació turística" en una zona geogràfica específica classificant i clusteritzant els usuaris que parlen en ella. Identifica turistes i residents diferenciant-los per idioma i detecta emocions, interessos, i tipus de consum. Tot això és gràcies a una plataforma avançada de gestió de dades basada en l'Arquitectura Lambda , el que permet poder emmagatzemar i processar grans volums de dades i aplicar models predictius en temps real. El projecte que va resultar finalista va ser Convector - Public transport optimization through Big Data analytics , dels alumnes Albert Quiroga, Ferran Cabezas, Xavier Mas i Carles Teixidó . L'objectiu d'aquest projecte és dissenyar, construir i implementar un sistema d'anàlisi d'informació Big Data que analitzi les dades generades per una empresa de transport públic a través de les quals poder extreure insights de valor per al negoci.
Albert Abelló i Oscar Romero, directors del postgrau en Big Data Management and Analytics de la UPC School, han dirigit, a través de l'InLab de la FIB, el projecte Big Data Analytics Lab . Aquest projecte es realitza conjuntament amb una multinacional amb seu a Barcelona i consisteix en la posada en marxa d'una plataforma experimental de Big Data basada en eines Open Source , per tal de facilitar i agilitzar els processos d'anàlisi i el processament de dades que permetran millorar els processos de negoci d'aquesta companyia. El projecte es focalitza en millorar un cas d'ús molt concret, que serveix com a punt de partida per definir i implementar una arquitectura de referència més completa. En la definició de l'arquitectura de referència és on es concreten els diferents components tecnològics. Aquests components tecnològics seran eines de big data, que cal escollir amb cura en funcions de l'estructura de les dades i de les consultes que preveiem que es faran en el futur. El projecte s'ha realitzat de forma aplicada per tal que els analistes de dades de l'empresa, que necessiten matrius de dades per treballar, puguin triar les variables, veure'n les característiques, la seva distribució i posteriorment aplicar les regles de neteja, de desratització i/o de transformació adients per al seu tractament i anàlisi. L' inLab FIB , des d'on s'impulsa aquest projecte, ha constituït un equip tècnic de suport als processos analítics i tecnològics esmentats, format per experts en Big Data i mineria de dades, que formaran al personal tècnic de la companyia per garantir la continuïtat del servei més enllà de la durada del projecte. L'inLab FIB és un laboratori d'innovació i recerca de la Facultat d'Informàtica de Barcelona de la Universitat Politècnica de Catalunya - Barcelona Tech (UPC) que integra professorat de diferents departaments de la UPC i el seu propi personal tècnic per tal d'oferir solucions en diferents àrees d'enginyeria informàtica.
Les empreses es llancen a la caça i formació d'experts en macrodades i intel·ligència artificial per treure profit de la ingent informació que generem. La Comissió Europea preveu que aquest sector crearà 112.000 llocs de treball cada any fins al 2020 i calcula que la UE necessita ja 800.000 treballadors d'aquests àmbits, un 10% només a Espanya. La UPC School presenta el màster en Big Data Management, Technologies and Analytics per formar els millors professionals d'aquest àmbit.
Tomàs Aluja, professor del postgrau en Big Data Management de la UPC School, publica aquest article a El Periódico on analitza les oportunitats de negoci del Big Data, un nou escenari de creixement i millora per tots els països, a través de l'anàlisi de gestió de dades massives i les tecnologies que ho fan possible.