Category: Tendências Big Data

Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM!

Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 1

Como ingressar em uma carreira em Big Data e Inteligência Artificial?

Planeje-se para investir seu tempo em obter a certificações para adquirir experiência em frameworks relacionados, como Hadoop, Spark etc.

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Neste caso uma conversa pode ajudar…

Conversar com alguém mais experiente ajuda…

A ter mais CLAREZA dos seus objetivos…

A identificar os maiores DESAFIOS que vocẽ terá pela frente…

A traçar um PLANO pra superar esses desafios…

Parece interessante?

Ótimo!

Você pode agendar sua CONVERSA GRATUITA clicando aqui.

Está preocupado se você está cometendo um grande erro?

Basta passar alguns minutos lendo este blog e você terá seis razões pelas quais você está fazendo uma escolha inteligente ingressando uma carreira na big data.

Por que Big Data?

Existem várias pessoas que acreditam que Big Data é a próxima grande coisa que ajudaria as empresas a se destacar a frente das outras e ajudá-las a posicionarem-se como a melhor em seus respectivos setores.

Atualmente, as empresas geram uma quantidade gigantesca de informações, independentemente da indústria as quais pertencem e há uma necessidade de armazenar estes dados que estão sendo gerados para que eles possam ser processados ​​sem perder informações importantes que poderiam levar a um novo avanço em seu respectivo setor.

Atul Butte, da Faculdade de Medicina de Stanford, evidenciou a importância dos dados, dizendo “o que se esconde dentro desses montes de dados é o conhecimento que poderia mudar a vida de um paciente, ou mudar o mundo”.
E é aqui que o Big Data Analytics desempenha um papel crucial.
Com o uso de plataformas de Big Data, gigantescas quantidade de dados podem ser reunidas e processadas para desenvolver padrões que ajudem
a empresa a tomar melhores decisões que vão ajudá-la a crescer, aumentar a sua produtividade e ajudar a criar valor aos seus produtos e serviços.

Por que escolher uma carreira em Big Data?

Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 2

1. Grande Necessidade de Análise de Dados

Eric Schmidt (Google) disse em 2010: “Havia cinco exabytes de informação criadas entre as madrugadas da civilização até 2003, mas que muita informação agora é criada a cada 2 dias”.
Peter Sondergaard (Gartner) salientou a importância da análise de dados (Data Analytics): “A informação é o petróleo do século 21, e analytics é o motor de combustão”.
A fim de processar estes dados, Big Data Analytics se faz necessário.
Analistas afirmam que nos próximos anos, o tamanho do mercado de análise irá evoluir para, pelo menos, um terço do mercado global de TI das correntes de um décimo.
Daí a necessidade de profissionais com experiência na área de análise terá grande demanda, ao passo que as organizações estão procurando se beneficiar do poder do Big Data.

2. Adoção de Big Data nas Empresas

De acordo com um artigo da Forbes de Louis Columbus, baseado no estudo “2014 IDG Enterprise Big Data Research“, descobriu-se que uma empresa média vai gastar cerca de US$ 8 milhões em iniciativas relacionadas a Big Data.
Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 3
O estudo também descobriu que 70% das organizações já implantaram ou planejam implantar Big Data em projetos e programas relacionados contra 56% das pequenas e médias empresas (PME’s).
O estudo diz ainda que 74% preveem que Big Data estará em uso em pelo menos uma unidade de negócios ou departamento.
Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 4

3. Melhor Perfil

Hal Varian, economista-chefe do Google, é conhecido por ter dito: “O trabalho sexy nos próximos 10 anos será estatística. As pessoas pensam que estou brincando, mas quem teria imaginado que engenheiros de computação teriam feito o trabalho sexy da década de 1990?”.
Cientistas de dados são considerados raras qualidades em alta demanda atualmente. Neste mercado competitivo eles são difíceis de contratar e para o serviço que prestam, eles são difíceis de manter. Ao mesmo tempo, há empresas dispostas a oferecer mais e até promovê-los.
Os cargos disponíveis são os seguintes:
  • Big Data Analytics Business Consultant
  • Big Data Analytics Architect
  • Big Data Engineer
  • Big Data Solution Architect
  • Big Data Analyst
  • Analytics Associate
  • Business Intelligence and Analytics Consultant
  • Metrics and Analytics Specialist
Pode-se escolher uma carreira Big Data a partir de 3 tipos de análise de dados:
  • Prescriptive Analytics
    Predictive Analytics
  • Descriptive Analytics

4. Crescimento Salarial

Um artigo de oportunidades em Big Data publicado pela Forbes em 2015 afirmou que “O salário anunciado para profissionais técnicos especializados em Big Data é 104.850 dólares líquidos de bônus e compensações adicionais.”
Exemplos de trabalhos nesta categoria incluem Arquiteto de Soluções Big Data, Sistemas Linux e Engenheiro de Big Data, Engenheiro de Plataforma de Big Data, Engenheiro de Software, Big Data (Java, Hadoop, SQL) e outros.
Com o mercado de Big Data crescendo vigorosamente e como a demanda por este tipo de trabalho ultrapassa a oferta de talentos, os salários tendem a
permanecerem sedutores.

5. Oportunidades Entre Domínios

As oportunidades que Big Data proporciona tem a capacidade de criar a  próxima grande coisa que poderia mudar a maneira como vivemos e trabalhamos.
Alguns dos domínios-chave para Big Data com grandes oportunidades são a proteção do ambiente; analisar os conjuntos enormes de dados disponíveis sobre emissões tóxicas e os padrões climáticos podem nos ajudar a entender as ameaças ambientais em um nível sistêmico.
A saúde é um segmento grande e importante com enormes desafios de dados, principalmente não estruturados ou vinculados.
Mídias sociais e web data; Facebook já ultrapassa um bilhão de postagens de usuários, a Internet tem 650 milhões de websites e existem 200 itens de E-commerce ordenados a cada segundo, o que é uma quantidade considerável de dados a serem analisados.

6. Usado em Diversos Setores

Big Data é utilizado em todos os lugares. Com base numa análise “Wanted Analytics”, verificou-se que as cinco principais indústrias que contratam o conhecimento relacionado a Big Data incluem: Serviços Científicos e Técnicos (25%), Tecnologia da Informação (17%), Indústria (15%), Finanças e Seguros (9%) e Varejo (8%).
Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 5
A tabela abaixo fornece uma lista das 10 maiores habilidades, suas respectivas demandas e o número de postos de trabalho de Big Data que citam estas habilidades.
Carreira em Big Data é uma escolha inteligente? 6 Provas que SIM! 6
Portanto, citando Geoffrey Moore, que salientou a importância de Big Data: “Sem Big Data, você está cego e surdo no meio da estrada”.
Não importa o quanto a tecnologia se desenvolve, as empresas exigem a intuição humana para estudar estes dados e chegar a padrões e ideias que podem ajudar uma organização a obter uma vantagem competitiva sobre as outras.
Sempre vai existir uma demanda por profissionais com habilidades analíticas para que as organizações possam se beneficiar usando Big Data.

Conclusão

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Neste caso uma conversa pode ajudar…

Conversar com alguém mais experiente ajuda…

A ter mais CLAREZA dos seus objetivos…

A identificar os maiores DESAFIOS que vocẽ terá pela frente…

A traçar um PLANO pra superar esses desafios…

Parece interessante?

Ótimo!

Você pode agendar sua CONVERSA GRATUITA clicando aqui.

[Infográfico] Cientista de Dados em 8 Passos!

Que a carreira em Big Data e Ciência de Dados é uma das mais promissoras para os próximos anos, já não há mais dúvida.
A grande questão agora é como chegar lá.
Por isso, resolvi traduzir este excelente infográfico do BiCorner.com, que traz os 8 passos (fáceis) para uma carreira de cientista de dados.
Coloquei a palavra fáceis entre parênteses porque este é um adjetivo polêmico neste caso. A facilidade é relativa, e vai depender muito do quanto você está realmente disposto a agir efetivamente na direção de construir uma carreira em ciência de dados.
Estudo sobre Big Data e Ciência de Dados há alguns anos e ainda sinto que só consigo arranhar a superfície das possibilidades que este mercado oferece.
Aproveito pra deixar aqui uma provocação:
Você seria capaz de se comprometer, postando nos comentários o que pretende fazer com as dicas deste post?

Sinceramente, acho que a maioria vai ler isso aqui e não vai fazer nada a respeito.

Tenho visto ótimos exemplos de iniciativas na área de Big Data recentemente, mas ainda são poucos, infelizmente.

Como li outro dia no Clube dos Poupadores:
“É fácil ser o melhor em um mundo onde todo mundo faz mais do mesmo.“

Mas chega de provocar, e vamos ao que interessa (eita bordão cansado, hein? :).

Quais os passos para uma carreira de sucesso em Big Data e Ciência de Dados?

Passo 1 – Estudar Estatística, Matemática e Machine Learning

A base matemática e estatística é fundamental para compreender a maneira correta de analisar os dados.
Uma frase clássica diz que “Correlação não é Causalidade (Correlation is not Causation)“, e deixa claro que o fato de que dois dados se relacionam não significa que esta relação seja de dependência, de causa/consequência.
Este é um erro muito comum.

Passo 2 – Aprender a Programar

Não tem jeito. O mundo é movido a tecnologia. E a tecnologia movida a software. Sem o software, o hardware é apenas um conjunto de componentes eletrônicos sem “vida”.
Por isso, por mais que você seja “da minha turma”, aquele pessoal de infraestrutura que detesta(va) programar, é fundamental superar este trauma e rever os conceitos.
Somos cada dia mais demandados a automatizar coisas e lidar com situações em que um “scriptzinho” resolve de maneira bem melhor que uma interface gráfica.
Pense nisso.

Passo 3 – Conhecer sobre Bancos de Dados

Se vamos analisar dados, nada mais óbvio que entender como estes dados podem e devem ser organizados, armazenados, para obter o melhor resultado da análise.
O mercado de banco de dados sofreu uma transformação significativa nos últimos anos em razão das soluções baseadas em NoSQL (Not Only SQL).
Então é importante conhecer as alternativas para o armazenamento e análise de dados, sejam eles estruturados ou não.

Passo 4 – Dominar Visualização e Relatórios

De nada adianta fazer uma análise altamente complexa, sofisticada dos dados, se não souber apresentá-los da maneira correta.
Em razão disso, novas soluções surgiram recentemente para facilitar o processo de encontrar a melhor visualização para os dados e do resultado de sua análise.

Passo 5 – Eleve o Nível com as ferramentas para Big Data

Agora que você já domina a análise e visualização de dados, é hora de “escalar”.
As ferramentas para Big Data como Hadoop, Spark e outras foram pensadas para lidar com grandes volumes de dados, permitindo levar suas habilidades analíticas para outro nível.

Passo 6 – Pratique e faça Networking

Há muitos sites na web onde é possível encontrar profissionais de Big Data e Ciência de Dados com quem debater, compartilhar e aprender muito sobre Big Data.

Confira no infográfico alguns dos melhores “locais pra frequentar”.

Passo 7 – Busque Emprego

Isto muito provavelmente não será problema, se você seguir os passos anteriores corretamente.
A carência de profissionais especializados já é perceptível inclusive no Brasil, e isso só tende a se agravar à medida que mais e mais empresas percebam que a análise de dados é tão fundamental para seu negócio quanto o acesso à Internet.

Passo 8 – Participe da Comunidade

Quem acompanha o blog há mais tempo sabe que minha visão sobre sucesso na carreira é muito afetada pelo meu interesse em software livre.
O que nos leva à palavra mágica que todo profissional de TI deve dominar: colaboração.
Quando você colabora com um colega de trabalho frequentemente, se torna referência de conhecimento para ele.
Agora leve isso para uma comunidade de milhares, talvez milhões de usuários.
O que isso pode fazer pela sua carreira? #ficadica

O Infográfico

Tudo que descrevi acima está visualmente representado no infográfico abaixo.

Em especial, atente para os exemplos de soluções que vale a pena conhecer, à medida que avance na sua caminhada para uma carreira de sucesso em Big Data e Ciência de Dados.

Conclusão

Ainda parece fácil? Pois é.
Mas não se deixe abater.
Os desbravadores deste novo mercado serão (muito bem) recompensados.
Por isso repito aqui a provocação:

Você seria capaz de se comprometer, postando nos comentários o que pretende fazer com as dicas deste post?

Use o código abaixo para fazer o embed do documento no seu site, se desejar (substitua os colchetes por sinal de menor).


[iframe height=”480″ src=”https://drive.google.com/file/d/0B8C-amQE9A3mSF9XTkdyYm40X1U/preview” width=”640″][/iframe]

Para saber mais

  1. Baixe o ebook sobre soluções para Big Data que escrevi;
  2. Se inscreva na lista que criei para discutir o tema no Google Groups;
  3. Confira minha palestra virtual apresentando os conceitos básicos da tecnologia, depois venha trocar idéias!

14 Grupos TOP do LinkedIn e Facebook para ampliar seus conhecimentos em Big Data e Ciência de Dados (mesmo que esteja partindo do zero!)

Grupos TOP do LinkedIn e Facebook sobre Big Data e Ciência de Dados
Se interessa por Big Data, Analytics, Ciência de Dados e assuntos correlatos ?
Então saiba que é importante saber onde obter informação de qualidade sobre estes temas.
Por isso resolvi relacionar alguns grupos que pesquisei e descobri no LinkedIn e Facebook que podem te ajudar a dar aquele salto na carreira.
Vamos a eles!

LinkedIn

Recomendo os grupos do LinkedIn por se tratar de uma rede social mais profissional, e portanto menos sujeita a lixo.
Vale notar que alguns destes grupos são fechados, o que pode representar o risco de não ser aceito.
Advanced Business Analytics, Data Mining and Predictive Modeling
Business Intelligence Professionals (BI, Big Data, Analytics)
Statistics & Analytics Consultants Group
Big Data, Analytics, Hadoop, NoSQL & Cloud Computing
Data Warehouse / Big Data / Hadoop / Predictive Analytics
IBM Big Data and Analytics
Data Science & Machine Learning
Predictive Analytics

Facebook

Embora o Facebook tenha mais lixo, não dá pra ignorar que a maioria das pessoas está lá, por isso o alcance destes grupos acaba sendo maior.
Big Data Beginners
Big Data Brasil
Big Data
Big Data, Hadoop, NoSQL, Analytics News
BigData Hadoop Questions, Certification Dumps & Discussion
Big Data, Data Science, Data Mining & Statistics

Conclusão

Eu fico realmente impressionado como as discussões sobre Big Data ainda são restritas no Brasil.
A maioria dos grupos acima contém exclusivamente material em inglês, e mesmo os que contém material em português, este conteúdo é minoria.
Eu prefiro os grupos do LinkedIn não apenas pelo caráter mais profissional, mas pela facilidade de receber por email as discussões, não sendo necessário ficar “pendurado” na rede social pra acompanhar o que acontece no grupo.
Espero que possam aproveitar a avalanche de conteúdo oferecida pelos grupos, e se preparar pra este mercado que deve crescer nos próximos anos, e que já paga R$ 15 mil!
E caso tenha dificuldade com o inglês, seja iniciante no tema “Big Data” ou queira mais ajuda para seus projetos, não deixe de conferir a Palestra Gratuita e o ebook que preparei pra você.
E então? Deixa seu comentário aqui sobre os grupos que indiquei!

8 fortes tendências para Big Data Analytics

Tendências Big Data Analytics
Como acontece com qualquer nova tecnologia, as soluções para Big Data Analytics começaram a apresentar sinais de amadurecimento, e isto se reflete numa oferta de mais e melhores opções para analisar os dados das empresas aliando desempenho, usabilidade e segurança.
Analiso a seguir as 8 tendências apontadas pelo CIO.

1 – Big Data Analytics na nuvem

Embora desenvolvido inicialmente para funcionar com clusters de máquinas físicas, o Hadoop evoluiu, e muitos provedores oferecem opções para processamento de dados na nuvem, a exemplo de Amazon (Redshift e Kinesis), Google (Big Query) e IBM (Bluemix).
Há alguma controvérsia sobre os custos de utilizar soluções na nuvem para processar volumes muito grandes de dados (petabytes e acima), mas acredito num ajuste do mercado para que as ofertas de soluções na nuvem sejam atrativas mesmo para cenários mais “agressivos” de análise de dados.
Quando se trata de volumes menores de dados, a nuvem é a melhor opção, pois processar 1 TB de dados pode custar a partir de 25 dólares. Nada mal hein ?

2 – Hadoop, o sistema operacional corporativo para dados

O Hadoop atualmente suporta alternativas ao Map/Reduce, e as versões mais recentes oferecem mais recursos para escalabilidade, desempenho e segurança, além de facilidades que estão tornando cada vez mais simples utilizar as ferramentas, transformando o Hadoop no S.O. para dados “de fato”, o que deve se refletir numa adoção mais acelerada de agora em diante.
Integração com SQL, dados em memória, processamento de streamming, grafos e muitos outros tipos de processamentos de dados já são suportados, tornando a solução genérica o suficiente para ser útil aos mais diversos segmentos de mercado.

3 – Big Data Lakes

Comecei a ver este termo citado com mais frequência na mídia, significando que há um movimento de utilizar o Hadoop como “repositório gigante de dados”, ou seja, as empresas podem simplesmente “despejar” seus dados neste repositório, e construir gradativamente os esquemas necessários para acesso aos dados disponíveis.
Por um lado, isso reduz a necessidade de todo um trabalho prévio de modelagem antes de ser possível analisar os dados. Por outro, exige mais conhecimento para construir esquemas para acesso aos dados à medida que se tornam necessários, sob demanda, num processo incremental.

4 – Mais Análises Preditivas

Com as tecnologias para Big Data, a possibilidade de analisar mais dados implica também na possibilidade de analisar mais atributos, variáveis, metadados e registros, permitindo otimizar as amostras utilizadas em análises estatísticas e aumentando a capacidade de fazer previsões a partir dos dados.
O fato de não ter restrições de poder computacional faz uma diferença muito grande, segundo especialistas, permitindo formular os problemas de maneiras diferentes e viabilizando análises que antes eram impossíveis.

5 – SQL integrado ao Hadoop

As ferramentas que permitem o suporte à linguagem SQL com Hadoop estão evoluindo muito rapidamente, como todo o ecossistema Big Data, tanto em quantidade quanto qualidade, especialmente desempenho.
Isto é importante porque representa a possibilidade de utilizar uma linguagem que o mercado já conhece, mas dentro de um novo contexto, com novas possibilidades, o que simplifica o uso das novas soluções baseadas em Hadoop, reduzindo o investimento necessário em treinamento, por exemplo.
Embora o Hive continue evoluindo, especialista apontam que alternativas desenvolvidas pela Cloudera, Pivotal, IBM e outros fornecedores oferecem melhor desempenho, facilitando a análise interativa.

6 – Mais e melhores opções NoSQL

NoSQL não é nenhuma novidade pra quem acompanha o blog. Especialistas estimam entre 15 e 20 soluções Open Source NoSQL populares, cada uma com sua especialidade.
Soluções baseadas em grafos que facilitam a análise de redes de relacionamentos, ou especializadas em tratar fluxos de dados (streamming) de sensores ou redes sociais como Twitter, estão sendo integradas ao ecossistema Hadoop.

7 – Deep Learning

A combinação de técnicas de aprendizado de máquina conhecida como Deep Learning e que se baseia em redes neurais está evoluindo, e especialistas apontam grande potencial para a solução de problemas relacionados a negócios.
Identificar relações entre dados, ou destacar aqueles mais relevantes dentre um grande volume de informações são algumas das possibilidades que a técnica oferece, sem a necessidade de modelos especializados ou instruções através de códigos e programação.
Um exemplo muito interessante envolveu a aplicação de um algoritmo de Deep Learning para examinar dados da Wikipedia, tendo como resultado o aprendizado “por conta própria” de que Califórnia e Texas são estados dos EUA.

8 – Analytics em memória

O uso de bancos de dados em memória é cada vez maior, como demonstra a popularidade de soluções como Qlikview e Tableau, pois estas soluções, se usadas da maneira correta, podem trazer muitos benefícios às empresas através do chamado Hybrid Transaction/Analytical Processing (HTAP).
Mas tem gente usando errado, especialistas advertem. Estas soluções não são a melhor opção para lidar com dados que não mudam com frequência ou que não precisam ser analisados de muitas formas diferentes em tempo real. Nesse caso, é um desperdício de dinheiro.
O Spark é uma solução muito promissora que fornece a possibilidade de manipular grandes volumes de dados usando técnicas de armazenamento em memória de maneira análoga ao que o Map/Reduce faz em disco, e assim oferecendo uma alternativa às soluções tradicionais de bancos de dados em memória.

Conclusão

Do que tenho acompanhado, vejo claramente que (nunca antes na história deste planeta 🙂 uma tecnologia foi tão rapidamente assimilada pelo mercado como estas relacionadas ao Big Data.
A evolução das ferramentas e o crescimento do ecossistema Hadoop ocorre na velocidade da luz, trazendo cada vez mais facilidades para uso da tecnologia pelas empresas.
Por isso, entendo que o recado é muito claro: a hora de começar a aprender, experimentar e adotar a tecnologia é agora, pois em breve o Hadoop vai virar commodity, e a vantagem competitiva para o profissional de TI que busque uma carreira nesta área desaparecerá.
Do ponto de vista das organizações, entendo que é hora de planejar iniciativas para 2015 que contemplem a utilização da tecnologia, e sugiro começar utilizando soluções mais simples de implementar, seja através de uma máquina virtual da Cloudera ou com o serviço EMR da Amazon.

Para saber mais

  1. Baixe o ebook sobre soluções para Big Data que escrevi;
  2. Se inscreva na lista que criei para discutir o tema no Google Groups;
  3. Confira minha palestra virtual apresentando os conceitos básicos da tecnologia, depois venha trocar idéias!