Big Data

/Tag: Big Data

Amazon Web Services: Tudo que Você Deve Saber – Parte 9 (Big Data com EMR)

Amazon EMR É óbvio que, dentre a infinidade de serviços que a Amazon oferece através da sua plataforma de computação em nuvem, haveria algum serviço voltado para análise de grandes volumes de dados. Sim. Este serviço existe. E atende pelo nome de Elastic Map Reduce (EMR). A rigor, hoje o serviço se estende para muito além do map-reduce, oferecendo implantação gerenciada de Hadoop, HBase e Spark e reduzindo o ônus de gerenciamento de configurar e manter esses serviços você mesmo. Links úteis Página Inicial ∙ Guia de versões ∙ FAQ ∙ Preços Alternativas ao EMR e Lock-in A maioria dos [...]

By |2018-08-29T10:16:42+00:00setembro 25th, 2017|Sem categoria|0 Comments

20 Coisas Incríveis que a Inteligência Artificial poderá Fazer no Futuro Próximo!

O debate sobre os benefícios e malefícios da inteligência artificial tem sido intenso nos últimos anos e deve continuar assim por um bom tempo. Por isso eu resolvi selecionar 20 das coisas mais legais que eu li que a inteligência artificial vai viabilizar no futuro próximo. Ao mesmo tempo, sei que há riscos reais relacionados ao mau uso da tecnologia. Mas vou deixar pra falar disso outro dia. Foco no positivo hoje, ok? Vamos à lista. 1 - Governo Acessível A inteligência artificial pode abrir a oportunidades para os cidadãos interagirem com o governo de uma maneira que nunca foi [...]

By |2018-08-29T10:16:42+00:00julho 26th, 2017|Sem categoria|0 Comments

Inteligência Artificial: 100+ Ferramentas pra você usar hoje!

Lyra é um assistente virtual de IA que te ajuda a monitorar suas emissões de carbono. O pessoal que desenvolveu esta solução resolveu fazer um levantamento IN-CRÍ-VEL, e listaram mais de 100 ferramentas de IA para uso pessoal!!! Veja bem. É apenas a primeira parte de um levantamento com 3 etapas, a primeira voltada para ferramentas que usam IA para te ajudar a usar melhor seu dinheiro, cuidar da saúde, planejar viagens, encontrar emprego e muito, muito mais! Eu não resisti e pedi ajuda pra traduzir a lista, completinha, e compartilhar aqui com você. Então vamos lá conferir estas 100+ ideias [...]

By |2018-08-29T10:16:45+00:00maio 17th, 2017|Sem categoria|0 Comments

6 Dúvidas Comuns Sobre Big Data e o Cientista de Dados Respondidas!

Há pouco mais de 6 meses fiz uma pesquisa junto a você que acompanha o Tecnologia que Interessa!, sobre suas dúvidas em relação a Big Data e Ciência de Dados. Lamentavelmente, apenas agora pude tabular os resultados e verificar as dúvidas mais comuns, bem como outras informações interessantes sobre a percepção dos profissionais de TI em relação ao tema.        Mas vamos ao que interessa: os dados! E eles são bem interessantes! Algumas observações preliminares sobre as respostas: A pesquisa solicitava informar se o respondente estava empregado e sua área de atuação, e com isso foi possível perceber algumas [...]

By |2018-08-29T10:16:45+00:00março 21st, 2017|Sem categoria|0 Comments

Tudo que você queria saber sobre Agrupamento (Clustering) e não tinha a quem perguntar!

Por André Camacam Diferentes clusters em diferentes pontos coloridos (De Matthew Mayo’s Palavras Chave de Aprendizagem de Máquina, Explicado) Iniciando com Ciência de Dados (Data Science) ou precisando dar aquela refrescada na memória? O agrupamento encontra-se entre as ferramentas mais utilizadas pelos Cientistas de Dados. A seguir você vai ver 10 termos relacionados ao "tal de clustering" e suas definições. Agrupamento é um método de análise de dados, que agrupa pontos de dados em conjunto para “maximizar similaridades dentro da classe e minimizar similaridades entre as classes” (Han, Kamber & Pei), sem utilizar rótulos de pontos pré-definidos (ou seja, uma [...]

By |2018-08-29T10:16:45+00:00março 13th, 2017|Sem categoria|0 Comments

Apache Drill em 10 minutos

Objetivo Use o Apache Drill para consultar dados de amostras em 10 minutos. Para simplificar, você executa o Drill no modo incorporado ao invés do modo distribuído, sem ter que executar quaisquer tarefas de configuração. Visão geral da instalação Você pode instalar o Drill para executar no modo incorporado em uma máquina rodando Linux, Mac OS X ou Windows. Para obter informações sobre a instalação do Drill para execução no modo distribuído, consulte a Instalação do Drill em Modo Distribuído. Este procedimento de instalação inclui como baixar o arquivo Apache Drill e extrair o conteúdo para um diretório em sua [...]

By |2018-08-29T10:16:49+00:00setembro 26th, 2016|Sem categoria|0 Comments

Guia do Consumidor para Big Data e Ciência de Dados (tudo que você precisa saber pra começar a adotar a tecnologia)

Introdução Estamos nadando em dados – estruturados e não estruturados, gerados por pessoas e máquinas. Os dados estão sendo criados a taxas quase inimagináveis e este cenário tende a aumentar. Estamos criando oceanos de dados provenientes de empresas, agências governamentais e até mesmo a interação de indivíduos através de redes públicas e privadas ao redor do globo. Ao longo dos próximos anos, outro bilhão de usuários vão se conectar à Internet, com mais e mais dispositivos inteligentes, conduzindo transações on-line de dados a níveis cada vez mais elevados. O fluxo de informação digital dentro e entre empresas também está crescendo [...]

By |2018-08-29T10:16:49+00:00setembro 19th, 2016|Sem categoria|0 Comments

Processamento Paralelo e Iterativo para Recomendações de Aprendizado de Máquina com Spark

O texto a seguir é uma tradução livre de um tutorial da MapR que achei muito interessante. Espero que também ache :) Sistemas de recomendação ajudam a estreitar suas escolhas para aquelas que melhor atendem às suas necessidades, estando entre os mais populares aplicativos de processamento de Big Data. Neste post vamos discutir a construção de um modelo de recomendação de classificação de filmes, semelhante a estes dois artigos: Um Olhar Interno aos Componentes de um Mecanismo de Recomendação e Sistema de Recomendação com Mahout e Elasticsearch, mas desta vez usando um algoritmo iterativo e processamento paralelo com Apache Spark MLlib. [...]

By |2018-08-29T10:16:51+00:00março 21st, 2016|Sem categoria|0 Comments

6 razões pelas quais a carreira em Big Data é uma escolha inteligente

Confuso para ingressar em uma carreira em Big Data? Planeje-se para investir seu tempo em obter a certificações para adquirir experiência em frameworks relacionados, como Hadoop, Spark etc. Está preocupado se você está cometendo um grande erro? Basta passar alguns minutos lendo este blog e você terá seis razões pelas quais você está fazendo uma escolha inteligente ingressando uma carreira na big data. Por que Big Data? Existem várias pessoas que acreditam que Big Data é a próxima grande coisa que ajudaria as empresas a se destacar a frente das outras e ajudá-las a posicionarem-se como a melhor em seus [...]

By |2018-08-29T10:16:51+00:00março 7th, 2016|Sem categoria|0 Comments

Guia de 5 minutos sobre Spark

A MapR, empresa responsável por uma das principais distribuições Hadoop, traz um ótimo texto sobre as diferenças entre o Spark e o MapReduce, por que é mais fácil desenvolver em Spark, e os cinco principais casos de uso. Então, o que é o Spark? Spark é um outro framework de execução. Assim como o MapReduce, que funciona com um sistema de arquivos para distribuir os seus dados através do cluster e processá-los em paralelo. Ele também tem um conjunto de instruções de um aplicativo escrito por um desenvolvedor. O MapReduce foi codificado a partir do Java. O Spark não suporta apenas [...]

By |2018-08-29T10:16:54+00:00dezembro 28th, 2015|Sem categoria|0 Comments

Suporte o Tecnologia que Interessa!

Você acha que as informações compartilhadas aqui são úteis?
Então me ajude a produzir ainda mais e melhores conteúdos!


É muito fácil. Basta divulgar nossos treinamentos pra alguém que conheça!
Bitcoin Direto ao Ponto - Como Investir Sem Cair Em Armadilhas e Golpes!
Preparatório para Certificação VMware VCA-DCV
Programa de Certificação ISO 27002
Backup com Veeam - Do zero ao primeiro backup em 1 hora
Preparatório para Certificação TIL Foundations
Mentoria em Big Data e Ciência de Dados


E se for de Salvador, podemos estruturar um curso presencial para sua empresa!

Eu vou ficar muito grato (e quem fizer os curso também :)!