Inteligência Artificial

13 cargos de TI mais difíceis de serem preenchidos em 2022

Como comprar passagens com a Maxmilhas

O CIO.com.br listou os 13 cargos de TI mais difíceis de serem preenchidos…

A lista é a seguinte:

  1. Cibersegurança: 21%
  2. IA / machine learning: 20%
  3. Ciência de dados / data analytics: 19%
  4. DevOps / DevSecOps / agile: 12%
  5. Serviços / integração em nuvem: 11%
  6. Automação de processos robóticos (RPA): 9%
  7. Internet das coisas / edge computing: 8%
  8. Desenvolvimento de apps: 8%
  9. Engenharia de software: 8%
  10. Arquitetura empresarial: 7%
  11. Arquitetura em nuvem: 7%
  12. Software empresarial (ERP, CRM, etc.): 6%
  13. Gerenciamento multicloud: 6%

Agora pense comigo…

Se estes cargos são difíceis de preencher, é porque…

Bingo!

Faltam profissionais QUALIFICADOS!

Agora observe alguns detalhes que notei:

  • A área de segurança da informação nunca sai de moda.
  • Inteligência Artificial e Ciência de Dados têm grande demanda!
  • 3 dos 13 itens (~25%) mencionam computação em nuvem.

Diante desse levantamento, como você se sente?

Pronto pra aproveitar estas oportunidades?

Ou sente que precisa se preparar melhor.

Recuperar o tempo perdido.

Sair da estagnação.

Se este for o seu caso…

Que tal fazermos juntos um PLANO pra resolver isso?

Parece interessante?

Então vamos conversar sobre sua carreira nos próximos dias, que tal?

As áreas mais promissoras do mercado de TI em 2022

Você está preparado para o mercado de TI em 2022?

O Brasil tem mais de 12 milhões de desempregados.

Isso todo mundo sabe.

O que pouca gente sabe é quais são as profissões mais promissoras do momento.

Na verdade é bem provável que, se eu perguntar uma profissão promissora do momento para o mercado de TI, você chute “Cientista de Dados”.

É verdade. Esta é uma das profissões da lista.

Você sabe quais são as outras?

Se sabe, parabéns!

Você está melhor que a maioria.

Infelizmente, grande parte dos profissionais de TI não consegue acompanhar a evolução do mercado…

E vai se acomodando…

Ficando pra trás…

Até que um dia…

Boooom!

O país entra em crise…

O mercado de trabalho piora…

A pressão na empresa aumenta…

Os cortes começam…

E bate o desespero!

Será que está chegando a minha vez?

Mas voltando…

Se você estiver preparado, a chance de virar estatística de desemprego diminui muito.

Mas como estar preparado?

Não é fácil, mas é simples…

Tudo que você precisa fazer é desenvolver as habilidades certas.

E quais são essas habilidades, Christian?

Antes de te dizer quais são, preciso esclarecer que elas mudam com o tempo.

Portanto, participar de treinamentos, eventos e quaisquer oportunidades de aprendizado e networking que puder é fundamental.

Eu sou um cara tímido…

Minha mãe conta que, quando eu era pequeno, se alguém olhasse pra mim, eu abaixava a cabeça.

Por isso, foi difícil pra mim entender que esse tal de networking era importante.

Que precisava participar de eventos.

Que valia a pena fazer cursos, mesmo que tivesse que pagar do meu próprio bolso.

Mas hoje eu aprendi, e invisto alguns milhares de reais em conhecimento todo ano.

Através de cursos online (se souber inglês então, consegue umas pechinchas inacreditáveis!)…

Participando de eventos.

Em 2015 eu investi mais de 2 mil reais (sim, você leu certo!) em um único evento.

E esse evento me rende frutos até hoje.

Já se pagou algumas vezes.

Foi uma mudança de paradigma, pois até aquele momento eu nunca tinha investido tanto, do meu próprio bolso, em um evento ou treinamento, ou qualquer coisa similar.

Engraçado que, depois disso, me peguei refletindo que gastamos isso com um celular sem pensar muito, não é mesmo?

Percebe o paradoxo?

Depois desse evento, passei a ser mais “generoso” e gastei dezenas de milhares de reais em eventos e treinamentos nos últimos anos.

Sabendo escolher, vale muito a pena.

Isso porque, até quando o evento/treinamento não é tão bom, eventos e treinamentos mais caros quase sempre te dão acesso a algo que faz toda a diferença…

Pessoas tão ou mais bem sucedidas que você!

Essas pessoas vão te dar ideias, abrir portas, construir parcerias, etc etc etc.

É uma relação ganha-ganha que não tem preço.

Mas voltando (novamente :)…

Quais são os tais profissionais de TI mais badalados do momento?

Em primeiro lugar, continua sendo o Cientista de Dados, já há alguns anos.

A habilidade de extrair ideias, conhecimento e identificar padrões até então despercebidos nos dados continua sendo muito importante.

A boa notícia é que muitas empresas estão percebendo que faz sentido desenvolver esse profissional “dentro de casa”, ao invés de contratar alguém de fora.

Pode ser sua chance!

O segundo da lista é o profissional de Segurança da Informação.

Taí uma área interessantíssima, que nunca “sai de moda” e que apresenta desafios cada vez maiores.

Outro dia vi uma apresentação sobre os antivírus de nova geração, e fiquei impressionado como o uso de inteligência artificial nas soluções de segurança está causando uma transformação incrível no mercado.

Se essa é sua praia, vale muito a pena conhecer as normas de segurança, em especial a família ISO 27000, e buscar uma certificação na área.

O terceiro da lista é o Integrador Multi-nuvem.

A computação em nuvem já é uma realidade, isso todo mundo sabe.

Mas o fato é que as empresas têm muita dificuldade pra escolher o provedor e avaliar as alternativas, benefícios e riscos de adotar a nuvem.

Isso, além de atrasar o processo de adoção e, consequentemente, os benefícios e resultados, ainda cria o risco de que a empresa fique refém do provedor com a maior capacidade de convencimento.

A verdade é que hoje já é possível utilizar, com vantagens, serviços de nuvens diferentes, sem que isso represente um problema de compatibilidade ou segurança para a organização.

Mas pra isso a empresa precisa contar com profissionais capazes de dominar a complexidade dos serviços dos provedores de nuvem e orientar as melhores escolhas.

O quarto profissional de TI entre os mais badalados do momento, é o Analista de BI.

Embora este profissional não seja tão badalado quanto o cientista de dados, a verdade é que muitas empresas não fazem qualquer análise mais detalhada dos dados que dispõem.

Então, pensar em IA sem ter pelo menos um BI montado soa meio “colocar o carro à frente dos bois”.

Embora pular direto pra IA possa até dar certo, me arrisco a dizer que o caminho é mais fácil se a empresa começar pelo BI, estruturando os dados com foco em análise, entendendo que tipo de análise faz sentido e, principalmente, entendendo seu passado antes de pensar em prever o futuro.

O último, mas não menos importante, dos profissionais de TI que vou incluir nessa lista, é o Engenheiro de Blockchain/Criptomoedas.

Pois é, eu nem sabia que era esse o nome do cargo, mas ele existe 🙂

Muita gente desconfia (e com certa razão) do mercado de criptomoedas, parte em razão do grande número de golpes praticados mundo afora, parte por desconhecimento da tecnologia (e filosofia!) que está por trás desse mercado.

Do ponto de vista tecnológico, a cadeia de blocos imutável conhecida como Blockchain resolve um desafio gigantesco conhecido como “problema dos generais bizantinos”, que, simplificadamente, significa criar um sistema de confiança a partir de elementos não confiáveis, ou seja, sem a necessidade de uma autoridade central.

O caso de uso que mais frequentemente me vem à memória quando trato deste assunto, é o exemplo dos cartórios, que podem vir a ser substituídos no futuro (tomara próximo!) por sistemas inteligentes baseados em Blockchain.

E, pra fechar, outro profissional de TI entre os mais badalados do momento, é o Analista DevOps.

A cultura DevOps tomou conta das empresas que desejam avançar mais, com velocidade e segurança, no atendimento às necessidades dos clientes.

E isso fez com que as práticas de agilidade no desenvolvimento e implantação de soluções de TI se tornassem requisito obrigatório para muitas empresas, que buscam profissionais qualificados, que conheçam Docker, Kubernetes, mas acima de tudo, que entendam a importância de acelerar os processos de TI na organização, sem abrir mão da qualidade e segurança do resultado.

Ferramentas não faltam, e os profissionais com conhecimento na área estão em alta demanda.

Concluindo, quero dizer que, se você não está estudando nenhum destes assuntos no momento, você está não apenas ficando pra trás, mas está também desperdiçando muitas oportunidades de desenvolver projetos que podem te levar a melhores resultados, seja através de uma renda extra, parcerias de negócios ou até mesmo uma nova carreira.

Se você achou estes temas interessantes, quero te convidar pra conversarmos mais sobre estes assuntos, só clicar e agendar!

[Infográfico] Cientista de Dados – o caminho mais curto para a carreira do século XXI!

Resultado de imagem para site:blog.tecnologiaqueinteressa.com

No infográfico a seguir você encontra respostas para as questões mais importantes sobre a carreira em cientista de dados!

  • O que é Big Data?
  • Big Data vs Ciencia de Dados
  • O que é um cientista de dados?
  • Quais são os conhecimentos necessários para um cientista de dados?
  • Qual é o salário médio de um cientista de dados?
  • O que é o Hadoop?
  • Que grandes empresas adotaram o Big Data?
  • Onde estudar para se tornar um cientista de dados?
  • Quais certificações são mais reconhecidas pelo mercado para o Data Scientist?

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Por isso eu escrevi um livro GRATUITO sobre Estatística, Ciência de Dados e Linguagem R.

Parece interessante?

Ótimo!

Você pode BAIXAR SUA CÓPIA AQUI.

Ferramentas como o Vengage permitem criar vários tipos de (info)gráficos.

Top 20+ Ferramentas de Big Data para se tornar Cientista de Dados (mesmo sem saber programar)

A esta altura, você já deve saber que Big Data é o volume de dados além da capacidade tecnológica para armazenar, gerenciar e processar de modo eficiente, demandando soluções novas, mudanças de paradigma, abordagens e métodos para o desenvolvimento e implementação de tecnologias para análise de dados.

Atualmente as empresas têm acesso a muita informação, mas não conseguem extrair valor dos dados brutos, muitas vezes por estarem semi ou não estruturados, pois não há soluções adequadas para lidar com este tipo de dado. Muitas empresas sequer sabem se vale a pena manter, ou mesmo não possuem condições de manter os dados, até por não conhecerem todas as possibilidades dos serviços em nuvem e outras alternativas acessíveis para armazenamento e tratamento de dados.

Diante desse cenário, resolvi fazer esse levantamento de ferramentas que muita gente não conhece e que podem ser úteis pra você fazer a diferença.

Sim, você!

Já pensou na quantidade de dados que está lá, parada, escondida numa pasta no servidor de arquivos, numa tabela do banco de dados ou mesmo nas redes sociais apenas esperando que você vá lá e faça um uso delas que ninguém pensou antes, mas que faz toda a diferença pra sua empresa, seu trabalho e até mesmo sua vida?

Pois é!

Preparei essa lista de softwares pra que você possa ter uma noção do arsenal que está à sua disposição, seja qual for o seu perfil, desde programadores, analistas de negócio, estatísticos e até gestores.

Confira as opções abaixo depois me diga nos comentários qual ferramenta faz sentido pra você, combinado?

Vamos lá!

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Por isso eu escrevi um livro GRATUITO sobre Estatística, Ciência de Dados e Linguagem R.

Parece interessante?

Ótimo!

Você pode BAIXAR SUA CÓPIA AQUI.

 

1 – Apache Hadoop

Não dá pra falar de Big Data sem citar o Hadoop, a primeira solução de uso amplo voltada pra análise de grandes volumes de dados. Na minha opinião, a maior contribuição do Hadoop nem é a questão do cluster, processamento distribuído, mas sim a mudança de paradigma que o Map Reduce proporcionou, reduzindo drasticamente a complexidade de desenvolver um sistema distribuído, e o melhor, seguindo uma lógica simples, que pode até ser comparada por analogia a operações de uso comum em linguagem SQL, como select e group by. Por tudo isso, o Hadoop é item obrigatório no arsenal de conhecimentos de um cientista de dados, e uma das soluções mais usadas do mundo até hoje, embora já tenham anunciado sua “morte” algumas vezes.

Mais informações sobre download, instalação e uso aqui.

 

2 – Spark

O Spark nasceu de uma sacada inteligente pra resolver uma limitação do Hadoop. Por que não trabalhar os dados em memória ao invés de disco? Com isso, o Spark chegou a ser considerado um Hadoop-Killer, mas hoje está claro que a integração dos dois pode fazer sentido em muitos cenários, até porque não faria sentido reinventar a roda e criar um novo sistema de arquivos distribuído, quando o HDFS, maduro e robusto, pode atender as mais diversas situações.

O Spark lida com o gerenciamento de tarefas distribuídas, gerenciamento de memória, recuperação de falhas e todo tipo de desafio que um sistema distribuído está sujeito, incluindo a distribuição dos dados através dos Resilient Distributed Datasets (RDD), uma coleção de itens distribuídos que podem ser manipulados em paralelo (somente leitura).

O Spark suporta várias integrações com outras ferramentas e linguagens, sendo comumente usado através do Python Shell (PySpark Shell).

 

3 – Distribuições Hadoop/Spark

Uma distribuição Hadoop/Spark é mais que uma ferramenta, mas uma suite de soluções, integradas e mantidas por uma empresa ou comunidade que garante a compatibilidade entre as versões dos seus vários componentes, atualizações e suporte em caso de dúvidas e dificuldades.

É importante conhecer este tipo de solução, especialmente para empresas de maior porte, cujo volume de dados a ser analisado demanda uma solução mais robusta, versátil e escalável. Por isso listo a seguir algumas das principais distribuições disponíveis para uso gratuito ou avaliação e testes, seja dentro da empresa ou através da nuvem.

3.1 Cloudera – tem versão gratuita chamada Cloudera Quickstart, que vem no formato de máquina virtual, em que você pode testar as ferramentas integradas, incluindo Hadoop, Spark, Hive, Pig, Hue, HBase, Impala e outras. Os requisitos para executar a VM são pelo menos 8GB de RAM e 2 processadores virtuais. Mais informações sobre download, instalação e uso aqui.

3.2 Hortonworks – era uma alternativa de distribuição, semelhante à Cloudera, mas as duas empresas se fundiram recentemente (janeiro de 2019).

3.3 Amazon EMR – O Amazon Elastic Map Reduce é o serviço de big data da nuvem da empresa do Jeff Bezos, que permite processar grandes quantidades de dados com rapidez, de forma econômica e em grande escala. Tem suporte ao Spark, Hive, HBase, Flink e Presto, além dos serviços de instâncias computacionais Amazon EC2, armazenamento S3, e suporte a notebooks baseados em Jupyter para permitir o desenvolvimento iterativo, a colaboração e o acesso a dados. Mais informações sobre download, instalação e uso aqui.

3.4 Microsoft Azure HDInsight – o serviço de big data da nuvem da Microsoft suporta Hadoop, Spark, HBase, Hive, Kafka, Storm e muito mais, fornecendo uma maneira rápida pra provisionar um cluster para processamento de grandes volumes de dados sem a complexidade envolvida na implantação de um ambiente desses dentro da empresa. A Microsoft tem um apelo muito grande não apenas para quem já é cliente das suas soluções, pela integração com Office e Power BI, por exemplo, mas também pela facilidade que oferece na utilização de suas ferramentas, como o Microsoft Machine Learning Studio. Mais informações sobre download, instalação e uso aqui.

3.5 IBM Watson – A IBM possui parceria com a Cloudera e pode oferecer uma distribuição Hadoop naquele modelo, porém o foco da empresa é mesmo os serviços do Watson, a sua plataforma de computação cognitiva, que inclui os mais diversos serviços de análise de dados nos mais diversos formatos, incluindo tratamento de áudio, reconhecimento de imagens e linguagem natural, dentre outras funcionalidades. Mais informações sobre download, instalação e uso aqui.

 

4 – Knime

O KNIME (Konstanz Information Miner) é uma plataforma gratuita de análise de dados, relatórios e integração de dados. O KNIME integra vários componentes para aprendizado de máquina e mineração de dados através de seu conceito modular de pipelining de dados.

O KNIME é uma ferramenta muito versátil, que traz mais de 1000 módulos, com recursos para tratar, analisar e aplicar várias técnicas e algoritmos aos dados, de forma que você pode usá-lo no Linux, MacOS e Microsoft Windows para as mais diversas tarefas.

Mais informações sobre download, instalação e uso aqui.

 

5 – Neuroph

Neuroph é uma aplicação voltada para a criação de redes neurais artificiais, orientada a objetos e escrita em Java. Pode ser usada para criar e treinar redes neurais, e fornece bibliotecas Java, além de uma versão instalável que permite analisar dados texto, imagem e outros utilizando algoritmos de Inteligência Artificial baseados em redes neurais, como Adaline e Multilayer Perceptron, dentre outras.

Você encontra uma lista de projetos interessantíssimos feitos usando o Neuroph aqui.

 

6 – RapidMiner

RapidMiner é uma plataforma de software de ciência de dados desenvolvida pela empresa de mesmo nome que fornece um ambiente integrado para preparação de dados, aprendizado de máquina, aprendizado profundo, mineração de texto e análise preditiva.

É frequentemente citado em pesquisas sobre soluções utilizadas para análise de dados, e você encontra mais detalhes sobre a solução aqui, incluindo guias para começar a usar e tutoriais com exemplos.

 

7 – WEKA

O pacote de software Weka começou a ser escrito em 1993, usando Java, na Universidade de Waikato, Nova Zelândia sendo adquirido posteriormente por uma empresa no final de 2006. O Weka é um software livre largamente utilizado para mineração de dados, e oferece uma lista ampla de algoritmos para análise de dados, podendo ser instalado em qualquer computador com Windows ou Linux. Mais informações sobre o projeto aqui.

 

8 – Auto-WEKA

Auto-WEKA é uma iniciativa da Universidade British Columbia, que visa otimizar os chamados hiperparâmetros de modelos de Machine Learning, usando a ferramenta WEKA, de forma automática, buscando facilitar a escolha e aplicação do melhor modelo para a solução de um problema de análise de dados. Mais informações aqui.

 

9 – MLJAR

MLJAR é um projeto que promete automatizar (ao menos em parte) o processo de aplicar um algoritmo de Machine Learning a um conjunto de dados. A princípio, bastaria fazer o upload dos dados para a plataforma na nuvem, selecionar os campos a serem utilizados pelo algoritmo e, com um clique, executar o modelo. A solução tem uma versão gratuita que permite enviar até 250MB de dados para análise. Mais informações aqui

 

10 – OpenRefine (Google Refine)

Este projeto da Google é um pouco diferente, no sentido de que ele foca no tratamento de dados mais que na sua análise. Intitulada como “uma ferramenta livre, de código aberto, e poderosa para tratar dados bagunçados/sujos”, a solução pode ser instalada na sua máquina, e permite organizar, transformar e extender os dados a partir de fontes externas como web services, além de possuir uma vasta lista de plugins e integrações. Mais informações aqui.

 

11 – Orange

Uma ferramenta de código aberto, para novatos e experts, com recursos de Machine Learning, visualização de dados e workflow interativo. Esta é a Orange, uma ferramenta poderosa, como demonstra a seção de screenshots do site, que vai de aplicação de modelos de Deep Learning para reconhecimento de imagens a modelagem de tópicos a partir de tuites. Confira todo o poder dessa ferramenta aqui e, se gostar, instale hoje mesmo e comece a brincar.

 

12 – Gephi

Gephi é uma ferramenta especializada em grafos, com recursos de visualização e exploração para todo tipo de redes de conexões que possa imaginar. Este tipo de ferramenta vem crescendo muito nos últimos anos pela necessidade de analisar relações entre pessoas, objetos, informações, instituições e muito mais, sendo bastante utilizada em investigações e mapeamento de relações entre pessoas nas redes sociais. Mais informações aqui.

 

13 – OctoParse

Web Scraping ou Raspagem de Dados é a técnica que permite extrair da web, sejam sites de notícias, portais, blogs ou redes sociais, informações diversas que estão “soltas” e organizá-las em planilhas e outros formatos. OctoParse é uma ferramenta que promete facilitar este processo para não programadores, com poucos cliques.

A rigor, já encontramos hoje recursos que facilitam bastante as tarefas de raspagem de dados, em ferramentas como Power BI, Qlikview e similares, uma vez que os dados não estruturados são a maior parte na web, não poderiam ser ignorados.

Ainda assim, uma solução especializada e que conta com versão gratuita, tem seu valor. Confira tudo sobre a OctoParse aqui.

 

14 – R/RStudio

A linguagem R é certamente um dos itens obrigatórios na caixa de ferramentas do cientista de dados. Não apenas por ser uma linguagem nativamente orientada a dados (o que me fez ficar fã da linguagem!), mas também por contar com uma vasta biblioteca de recursos para todo tipo de necessidade, seja fazer web scraping de uma página ou rede social, seja criar um robô pra fazer análise de dados financeiros da bolsa de valores e até criptomoedas e Bitcoin, pra ficar somente em dois exemplos que estou envolvido.

Uma linguagem de programação não é o caminho mais fácil para não programadores, certamente. Por outro lado, oferece uma infinidade de possibilidades, inigualável por qualquer outra ferramenta. Afinal, com uma linguagem de programação, tudo é possível, e ainda que não exista biblioteca pronta para sua necessidade, você pode criar uma.

Além disso, as linguagens atuais fornecem tantos recursos facilitadores, que costumo repetir o que li há algum tempo num site especializado: construir software hoje é mais sobre encontrar e combinar os componentes certos que resolvem o problema, do que escrever código (não eram exatamente essas as palavras, mas a ideia é a mesma).

 

15 – Python & Jupyter Notebook

Se o R pode ser considerada mais que uma linguagem de programação, e há quem chame de plataforma, o que dizer do Python, que cresce de forma tão impressionante que já está se tornando a solução padrão para diversos casos de uso, em especial na área de Machine Learning e Deep Learning.

Jupyter Notebook é um ambiente de desenvolvimento web que agrega, além da interatividade e facilidade típicas de um ambiente de navegador, a ideia de notebook, uma tendência que favorece a chamada reprodutibilidade da análise de dados. Ou seja, ao combinar código e texto no mesmo projeto, é mais fácil documentar os detalhes de forma a simplificar o processo de repetição da análise, seja para melhorá-la ou validar os resultados obtidos.

A combinação do Jupyter com o Python é muito comum e há soluções como Anaconda que trazem várias bibliotecas e recursos embutidos visando facilitar ainda mais o desenvolvimento de análises de dados.

 

16 – Pig

Apache Pig é uma plataforma de alto nível para criar programas que são executados no Apache Hadoop. A linguagem para esta plataforma é chamada Pig Latin. O Pig pode executar suas tarefas do Hadoop no MapReduce, Apache Tez ou Apache Spark.

Importante mencionar que o código escrito em Pig Latin é “convertido” para jobs Map Reduce. Isso significa que o Pig é uma abstração que permite criar soluções em linguagem mais simples, que será interpretada e transformada em tarefas apropriadas para execução distribuída.

Você encontra um excelente tutorial com exemplos dos recursos do Pig aqui.

 

17 – Hive

Apache Hive é um projeto de software de data warehouse construído sobre o Apache Hadoop para fornecer consulta e análise de dados. O Hive fornece uma interface semelhante a SQL para consultar dados armazenados em vários bancos de dados e sistemas de arquivos que se integram ao Hadoop.

Seguindo a mesma linha do Apache Pig, o Hive permite simplificar a execução de tarefas no de processamento de dados no Hadoop com uma linguagem SQL-like, uma abordagem comumente denominada pelo mercado de “SQL-on-Hadoop”, que é interpretada e transformada em jobs Map Reduce para execução no Hadoop.

Mais detalhes sobre o projeto, documentação e uso aqui.

 

18 – Sqoop

Sqoop é um aplicativo de interface de linha de comandos para transferir dados entre bancos de dados relacionais e o Hadoop. Uma ferramenta simples porém essencial pra quem precisa levar os dados do ambiente legado de banco de dados para a plataforma Hadoop, usando o HDFS para armazenamento desses dados visando a construção de um Data Lake que permita ampliar as possibilidades de análise de dados da organização.

 

19 – Flume

Apache Flume é um software distribuído, confiável e disponível para coletar, agregar e mover com eficiência grandes quantidades de dados de log. Tem uma arquitetura simples e flexível baseada em dados de fluxo contínuo.

Tive a oportunidade de orientar um aluno num trabalho de coleta de dados do Twitter usando a distribuição da Cloudera, sendo o Flume usado para coletar e armazenar os dados no HDFS do Hadoop, e o Solr usado para indexar e consultar as informações posteriormente visando analisar o conteúdo compartilhado na rede social durante o período da coleta, que se deu próximo às eleições de 2014.

 

20 – Opinion Crawl

Mais um serviço que uma ferramenta, Opinion Crawl permite obter a análise de sentimento em tempo real para vários tópicos, desde economia a Charlie Sheen :). Confira o serviço aqui.

Conclusão

E então?

O que achou da listinha de ferramentas?

Qual a sua preferida?

Sentiu falta de alguma solução?

Comenta aí!

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Por isso eu escrevi um livro GRATUITO sobre Estatística, Ciência de Dados e Linguagem R.

Parece interessante?

Ótimo!

Você pode BAIXAR SUA CÓPIA AQUI.

 

Estou procurando uma ferramenta de big data para criar perfil de empreendedores e realizar um estudo longitudinal?

1
Olá Carter, o Watson analytics inclui alguns recursos que podem torná-lo ideal para o seu aplicativo. Inclui ferramentas de preparação e seleção de dados que podem ser um problema em um estudo longitudinal. Ele também inclui recursos preditivos, que podem ajudá-lo a avaliar a força dos relacionamentos nos dados. O WA entende CSV e muitos outros formatos de arquivo e possui seu próprio repositório, portanto não é necessária a integração. Parece que você está próximo do início de sua jornada, portanto, a versão gratuita pode ser tudo o que você precisa por um longo tempo. Https://www.ibm.com/analytics/wa…

 

Além do Hadoop, que outras ferramentas de big data podemos usar?

1
Isso realmente depende do que você está tentando fazer. “Ferramentas” é um tópico amplo. Existem ferramentas de transformação para ajudar a limpar os dados em algo utilizável. Trifacta é um bom começo para isso. Existem ferramentas para consultar os dados – Spark, Hive / Impala (para sql, como recurso de consulta). Existem ferramentas para usar os dados no Machine Learning, o Spark possui sua própria biblioteca ML, mas também há o Data Robot. Também existem ferramentas de visualização como o Qlik, que podem ler dados do HDFS e criar tabelas, gráficos e outras visualizações de Big Data agregado.

2
O melhor é a Spark. # DforDataScience – Aprenda ciência de dados O Easy WaySpark é a mais poderosa e alternativa ao Hadoop.É executado no topo do Hadoop e possui seu próprio cluster.park é a pilha completa.Tem sua própria máquina Além disso, ele possui um próprio SQL chamado spark SQL.Além disso, ele possui um spark streaming e processamento grapx.

 

Quais são as ferramentas de big data que devo conhecer para a ciência de dados? Quão bem eu devo conhecer essas ferramentas? Aprender ‘extrair dados de DWH para R’ é suficiente?

1
As ferramentas para movimentação de dados (por exemplo, ETL, REST) podem ser bastante úteis, pois permitem acessar e navegar facilmente pelas fontes de dados para análise. Além de extrair do DWH para o R, eu aprenderia também a enviar dados novamente para um banco de dados – ou melhor – encontre maneiras de seu código R ser executado no banco de dados para permitir que você dimensione sua atividade.

2
Depende do que você quer fazer. A maioria das pessoas começará como analista de dados. R ou Pythons são mais que suficientes para esse papel. Se você progredir no campo, precisará entender SQL e Apache Spark e / ou Hadoop. Eles tendem a ser específicos da empresa e, quando você ficar esperto em um deles, estará trabalhando em empresas que usam variações semelhantes do que aprendeu.

 

Como as empresas estão usando a análise de big data?

1
Muitas empresas se adaptaram a novas tecnologias, como o Big Data, para facilitar a análise de dados complexos. É difícil classificar, analisar e tomar uma decisão sobre dados complexos. Bem, o Big Data resolve o problema de manipular dados variados e permite a extração sistemática de informações ou lida com conjuntos de dados muito grandes e complexos, difíceis de lidar seguindo os processos tradicionais de análise de dados. Tenho um exemplo perfeito desse sucesso história. Mergulhe no estudo de caso para saber como a ferrovia Classe I implementou o Big Data e alavancou o processo de tomada de decisão

2
80% dos dados nas empresas não são estruturados. A IA e as análises avançadas melhoram a experiência do cliente, reduzem as despesas operacionais e de negócios e melhoram os esforços de conformidade. Aprenda a começar com o Opentext-magellan.

 

Qual é o escopo do Big Data Testing? Sugira algumas boas ferramentas para teste de big data.

1
Big Data refere-se a todos os dados que estão sendo gerados em todo o mundo a uma taxa sem precedentes. Esses dados podem ser estruturados ou não estruturados. As empresas de negócios de hoje devem grande parte de seu sucesso a uma economia firmemente orientada para o conhecimento. Os dados impulsionam as organizações modernas do mundo e, portanto, compreendem esses dados e desvendam os vários padrões e revelam conexões invisíveis dentro do vasto mar de dados que se tornam críticos e um esforço imensamente recompensador. Melhores dados levam a uma melhor tomada de decisões e uma maneira aprimorada de criar estratégias para as organizações, independentemente do tamanho, Big Data Hadoop, Spark, Storm, Scala – Classes de treinamento on-line | Big Data Hadoop, Spark, Storm, Scala – Combo Courses Geografia on-line, participação de mercado, segmentação de clientes e outras categorizações. As empresas mais bem-sucedidas de amanhã serão as que conseguirão entender todos esses dados em volumes e velocidades extremamente altos para capturar mercados e base de clientes mais novos.O Big Data possui certas características e, portanto, é definido usando 4Vs, a saber: Volume: the A quantidade de dados que as empresas podem coletar é realmente enorme e, portanto, o volume dos dados se torna um fator crítico nas análises de Big Data.Velocidade: a taxa na qual novos dados estão sendo gerados, tudo graças à nossa dependência da Internet, sensores, máquinas, os dados da máquina também são importantes para analisar o Big Data em tempo hábil. Variedade: os dados gerados são completamente heterogêneos no sentido de que podem estar em vários formatos, como vídeo, texto, banco de dados, dados numéricos, dados do sensor etc. portanto, entender o tipo de Big Data é um fator-chave para desbloquear seu valor.Veracidade: saber se os dados disponíveis são provenientes de uma fonte confiável e são de extrema importância antes de decifrar e implementar Aqui está uma breve explicação de como exatamente as empresas estão utilizando o Big Data: Depois que o Big Data é convertido em pepitas de informações, torna-se bastante simples para a maioria das empresas, no sentido de que agora elas sabem o que seus clientes deseja, quais são os produtos que estão se movendo rapidamente, quais são as expectativas dos usuários em relação ao atendimento ao cliente, como acelerar o tempo de colocação no mercado, maneiras de reduzir custos e métodos para criar economias de escala de maneira altamente eficiente. Assim, o Big Data distintamente leva a grandes benefícios para as organizações e, portanto, naturalmente existe um interesse tão grande por todo o mundo.

 

Como geralmente os big data são processados e visualizados? Quais ferramentas são usadas?

1
Depende da infraestrutura que você possui e do caso de uso. Vamos dividir o Hadoop em: MapReduce (estrutura de processamento) e HDFS (armazenamento de dados). O Spark (estrutura de processamento) geralmente é integrado ao HDFS (estrutura de armazenamento). Além disso, o Spark requer um gerenciador de cluster para que possa ser usado no Hadoop YARN ou Apache Mesos.Real time? O Spark pode ser até 10 vezes mais rápido que o MapReduce para processamento em lote e até 100 vezes mais rápido para análises em memória. O MapReduce opera em etapas, o Spark opera em todo o conjunto de dados de uma só vez. Mas isso significa que você precisa de uma quantidade comparativamente maior de memória para poder usar o Spark. A maneira como a tolerância a falhas é tratada também é diferente. No Hadoop, os dados são gravados no disco após cada operação, tornando-os resilientes a falhas ou falhas do sistema. O Spark tem resiliência interna semelhante. No Spark, os objetos de dados são armazenados nos chamados conjuntos de dados distribuídos resilientes distribuídos pelo cluster de dados.

2
Apache spark é o bebê atual. A limpeza de dados e o ETL ainda são uma tarefa árdua e não há uma maneira ‘boa’ de fazê-lo. Mas existem produtos por aí, como trifacta, tamr etc. etc. Ainda bastante beta. No entanto, quanto à visualização, os dados geralmente processados e agregados são pequenos o suficiente para ser visualizado em qualquer pacote std viz. A maioria dos grandes fornecedores de dados como AWS, azure, pivot etc. também fornece o pacote viz. Mas você pode usar de prateleira como tableau, qliksense ou até criar seu próprio viz em d3 ou webgl.

3
7 ferramentas principais para domesticar o big data. Eu acho que isso iria ajudá-lo um pouco.

 

Como você calcularia a mediana de um grande conjunto de números (digamos 100 milhões) sem usar as ferramentas de Big Data?

1
Eu usaria SQL.100 milhões de linhas não são tão grandes. O código abaixo é o que eu usaria nas minhas caixas SQL para calcular a média. Temos tabelas com vários bilhões de linhas.SELECTAVG (ALL val) FROMt; ** Código mediano abaixo: ** SELECT @Median = AVG (1.0 * val) FROM (SELECT o.val, rn = ROW_NUMBER () OVER (ORDER BY o .val), c.cFROM dbo.EvenRows AS ou CROSS JOIN (SELECT c = COUNT (*) FROMdbo.EvenRows) AS c) AS x ONDE rn IN ((c + 1) / 2, (c + 2) / 2 );

2
Embora esse tamanho de um conjunto de dados esteja certamente entrando no domínio do Big Data, muitos pacotes estatísticos tradicionais (por exemplo, SAS) poderiam lidar com isso. Além disso, isso pode ser feito sem um pacote de estatísticas, por exemplo, ordenando os números, contando quantos existem e depois contando até o ponto médio.

3
Como você encontra a mediana de um grande conjunto de números? Ordene os valores do menor para o maior. Se o conjunto de dados contiver um número ímpar de valores, escolha aquele que está exatamente no meio. Você encontrou a mediana. Se o conjunto de dados contiver um número par de valores, pegue os dois valores que aparecem no meio e calcule a média deles para encontrar a mediana.Sourcehttps: //www.dummies.com/educatio

 

Os partidos políticos podem realmente aproveitar as ferramentas de Big Data e as soluções de análise de dados para alcançar prováveis eleitores?

1
Você primeiro precisará entrar em contato com os Eleitores que não votarão. Para alcançar um grande público, o Digital é o caminho a seguir. Email / SMS / Banner / Ads / Search Ads e muitos outros podem ajudar diretamente a chegar ao fim Você precisará do Big Data and Analytics para analisar sua resposta e estimar quem votará em quem etc. Você pode combinar essas informações com dados disponíveis ao público (como respostas do Quora :), feeds do Twitter e feeds do FB públicos ) e, em seguida, decida ir atrás de um endereçamento mais direcionado…

 

Qual é o livro mais recomendado para aprender o Apache Spark e outras ferramentas de big data?

1
Você não perderá seu tempo com livros, nem quer responder por muito tempo, jargão e sofisticado. Apenas uma palavra para aprender big data é: O site chamado “ITVERSITY” DE DURGA RAJUAND SE VOCÊ NÃO TEM BOM HARDWARE, COMPRE O CLOUDLAB TAMBÉM OFERECIDO POR ELE NÃO UM PATROCINADOR NEM EU QUERO QUE VOCÊ DESPERDIÇA O SEU TEMPO. SE VOCÊ SENTE QUE QUER REALMENTE APRENDER, TENTE A ITVERSIDADE E LEMBRE-SE “NESTE MUNDO NADA É GRATUITO”, então siga o princípio do pagamento e aceite esse caminho de aprendizado.

2
Não é necessário procurar nenhum livro para aprender Sparks e outras ferramentas de big data, pois o dataflair tem ótimos tutoriais disponíveis gratuitamente em seu site. Estes são completamente do zero ao nível avançado, onde cada tópico é abordado com práticas para fornecer conhecimentos.Para iniciantes, você deve ter o conhecimento dos tópicos abaixo: Introdução ao SparkInstalação e recursosComandos de shellRDDs e maneiras de criá-losPara nível intermediário, você deve saber : Mapa versus FlatMapAvaliação preguiçosaTolerância a falhasDAGSparkRTópicos avançados no Spark incluem tópicos como: Spark SQlDataFramesDatasetsAjuste de desempenhoS Streaming de parqueGraphXSpark MLlibTodos esses itens são abordados de maneira adequada em Learn Spark – Spark Tutorials – DataFlair para entrevista depois de aprender a tecnologia corretamente. Para realizar vários projetos no spark, o dataflair tem um bom curso, que você pode conferir no link abaixo: Curso certificado de treinamento Apache Spark e Scala – DataFlairSo comece a aprender agora e aumente sua carreira.Todo o melhor !!!

3
Os 10 melhores livros para aprender Apache Spark2 | Análise avançada com Spark: padrões para aprender com dados em escala Por Sandy Ryza. … 3 Spark: O Guia Definitivo: O Processamento de Big Data Simplificado por Bill Chambers. … 4 Apache Spark em 24 horas, Sams ensina-se por Jeffrey Aven. … 5 | Aprendendo Apache Spark 2 por Muhammad Asif Abbasi.

 

Quais são algumas startups promissoras de Big Data (tanto financiadas quanto não financiadas) e talvez alguns aplicativos ou pilhas de OSS (uma startup nem sempre precisa ser uma empresa)?

1
HortonWorkshttp: //hortonworks.com/

2
Factual (empresa) – http://www.factual.com

3
Olá. Aqui estão algumas das principais descobertas sobre big data: • 80% das organizações vêem o processamento de Big Data como missão crítica • Para empresas que lidam com Big Data, a necessidade de funcionalidade em tempo real é significativa e crescente. A necessidade de soluções de streaming para lidar com os desafios do Big Data e acelerar o processamento de Big Data está aumentando. • 80% das empresas planejam mover seu Big Data para a nuvem ou estão considerando a opção. Você pode ler mais sobre isso aqui ! http: //www.rickscloud.com/big-da … isso é útil!

 

Existem mestres na aplicação de ferramentas de big data / aprendizado de máquina a problemas de medicina (por exemplo, câncer)?

1
Resposta do usuário-11174886681697790289 da Existem exemplos de organizações das ciências da vida alcançando resultados na descoberta de medicamentos por meio de aprendizado de máquina que não seriam possíveis sem o aprendizado de máquina? pode ajudar.

 

Quais são alguns dos melhores blogs sobre desenvolvimentos / inovações em ferramentas / tecnologias de big data?

1
O Kdnuggets – Analytics, Data Mining e Data Science é um bom blog e possui links para materiais de treinamento Smarter Computing Blog – Mantido pela IBM, que inclui artigos sobre Big Data e computação em nuvemPlanet Big Data – Um agregador de blogs mundiais sobre Big Data, Hadoop, e tópicos relacionados. Big Data | Blogs da Forrester – Uma agregação de blogs e artigos de especialistas empresariais com foco em tópicos de Big Data Hadoop Wizard – Um site dedicado a ajudar as pessoas a aprender como usar o Hadoop para análises de “Big Data”

2
Análise computacional: um caminho para melhorar a análise de big datahttp: //blog.qburst.com/2014/10/c … Análise preditiva: http: //blog.qburst.com/2014/11/p

3
O site Big Data and Analytics Blog – Experfy Insights é de longe o meu favorito entre os sites nos quais estou inscrito. Tenho tudo o que preciso para me manter atualizado sobre tudo o que diz respeito a big data, IA e qualquer outro assunto relacionado à tecnologia. Você também pode se inscrever para obter descontos em sua próxima compra com eles.

 

Como substituo o aplicativo Oracle PL / SQL por ferramentas de Big Data, como Hive e Spark?

1
Como você estruturou os dados de um RDBMS, aparentemente não há vantagem real em usar um banco de dados NOSQL baseado no Hadoop. Um SQL no hadoop como o Hive funcionaria bem para você … Você pode usar ferramentas como o Sqoop para mover convenientemente dados do seu RDBMS para o Hive ou até para o HDFS. A vantagem de usar o Sqoop é que ele cria automaticamente a mesma estrutura de tabela no Hive como ele existe originalmente no RDBMS.No entanto, o principal desafio não é mover dados do RDBMS para o Hadoop, mas o principal desafio está na transferência do código PLSQL existente para o Hadoop. Eu tive que corrigir esse problema ao migrar um data warehouse existente baseado em Oracle para o Hadoop há alguns meses. Aqui estão algumas soluções para o problema: Tente usar o HPLSQL, que é uma extensão do Hive. É uma ferramenta primitiva que ajuda a executar consultas PLSQL / T-SQL e DB2 no Hive. mas esta ferramenta não tem suporte…. as mensagens de erro são enganosas e algumas funcionalidades não funcionam bem…. Pode ser necessário obter o código-fonte do GitHub e alterá-lo de acordo com as necessidades do seu projeto. Tente usar o “Oracle Big Data SQL”, caso o seu banco de dados herdado seja o Oracle. Funciona como um encanto e você poderá executar consultas PLSQL e procedimentos armazenados no Hive usando-o. Esta é a abordagem que eu adotei. Tente usar o Presto .. Ouvi coisas boas sobre ele, mas nunca o usei em um projeto ao vivo. O melhor da sorte com a migração .. 🙂

2
Os aplicativos podem ser categorizados, ou seja, OLTP, puro, misto, processado em lote, mini-lotes, misto e também consistência transnacional, número de usuários, tempo de resposta SLA, complexidade de sua relação de requisitos / dados, consulta, padrão de manutenção de dados etc. até você especificar algumas das opções acima, é difícil responder. Além disso, a partir de agora, o modo como está indo será transferido para a chamada “fonte aberta” / pilha de Big Data, como é hoje em dia, assim como “How on Earth Fast and Furious pode ganhar tanto dinheiro, embora a franquia seja pura dor de cabeça, exceto pode ser a primeira ”.

 

Quais são as ferramentas de big data mais sofisticadas e escalonáveis para a descoberta de conhecimento?

1
Originária de Oreilly, esta imagem deve explicar praticamente todas as coisas relacionadas ao conjunto de ferramentas, você em termos simples, com uma ampla escala de conjunto de ferramentas e seu objetivo em cada estágio da ciência de dados.

 

Onde posso encontrar grandes conjuntos de dados abertos ao público?

1
Eu fiz um post no blog sobre dados abertos há muito tempo (http: //bret.appspot.com/entry/we …) e o ReadWriteWeb fez um bom resumo com base em todos os comentários do post: http: / /www.readwriteweb.com/arch….Desde essa postagem, houve muito mais comentários no blog (105 e contando), portanto, você pode querer combinar os comentários de qualquer pessoa que a postagem do RWW tenha perdido.

2
Pete Warden resume algumas das opções aqui que ele cobre no “Data Source Handbook” de O’Reilly: http: //petewarden.typepad.com/se…Aqui estão 18 links relacionados a dados que Warden aponta, além de o que está coberto no livro – para aqueles que desejam aprender mais: http: //petewarden.typepad.com/se

3
Existem alguns corpora de texto aqui: Onde posso encontrar grandes conjuntos de dados abertos ao público? Se você está procurando uma vasta fonte de literatura de domínio público, o Project Gutenberg é maravilhoso: http://www.gutenberg.org/wiki/Ma … O Arquivo do Discurso Presidencial: http://millercenter.org/scripps/… Discursos de Hitler: http://www.hitler.org/speeches/Os Vedas: http://www.sacred-texts.com / hin / The Gita: http://www.gita4free.com/english…The Bible: http://patriot.net/bmcgin/kjvpa… Dê uma olhada no arquivo do NYT: http: // www .nytimes.com / ref / membe

 

Existe uma ferramenta de big data on-line que eu possa usar gratuitamente ou por uma pequena taxa?

1
Você pode experimentar o HDInsight da Microsoft, que é o Apache Hadoop em execução no Azure. É grátis para experimentar, mas custará o uso contínuo. HDInsight | Cloud Hadoop

 

Quais são as melhores ferramentas de software de big data?

1
Já abordamos a questão: Quais são as boas ferramentas para análise de big data? Essencialmente, comece com qualquer distribuição do Hadoop e você já possui um conjunto de ferramentas bastante poderoso.

2
Ferramentas de integração de big data é um termo usado para uma coleção de conjuntos de dados tão grandes e complexos que é difícil processar usando aplicativos / ferramentas tradicionais. São os dados que excedem o tamanho de Terabytes. Devido à variedade de dados que ele abrange, o big data sempre traz vários desafios relacionados ao seu volume e complexidade. Uma pesquisa recente diz que 80% dos dados criados no mundo não são estruturados. Um desafio é como esses dados não estruturados podem ser estruturados antes de tentarmos entender e capturar os dados mais importantes. Outro desafio é como podemos armazená-lo. Hoje, quase todas as organizações usam extensivamente o big data para obter uma vantagem competitiva no mercado. Com isso em mente, as ferramentas de big data para processamento e análise de big data são a escolha mais útil das organizações, considerando o custo e outros benefícios. Agora, quando falamos em ferramentas de big data, vários aspectos aparecem em cena. Por exemplo, quão grandes são os conjuntos de dados, que tipo de análise faremos nos conjuntos de dados, qual é a saída esperada etc. Portanto, em termos gerais, podemos categorizar a lista de ferramentas de big data nas seguintes categorias: com base em armazenamentos de dados Como plataformas de desenvolvimento, como ferramentas de desenvolvimento, ferramentas de integração para ferramentas de análise e relatórios.Por que existem tantas ferramentas de big data de código aberto no mercado? A maioria dos grupos ou organizações ativas desenvolve ferramentas de código aberto para aumentar a possibilidade de adoção na indústria. Além disso, é fácil baixar e usar uma ferramenta. Se olharmos atentamente para a lista de ferramentas de big data, ela pode ser desconcertante. Como as organizações estão desenvolvendo rapidamente novas soluções para obter uma vantagem competitiva no mercado de big data, é útil concentrar-se nas ferramentas de big data de código aberto que estão impulsionando a indústria de big data. Um exemplo perfeito disso seria Rivery.

3
As cinco principais ferramentas de software de Big Data: 1. Máquina de emendaEsta ferramenta oferece a capacidade de utilizar o SQL padrão e pode ser expandida em hardware comum; é uma ferramenta para desenvolvedores que descobriram que o MySQL e o Oracle não podem ser dimensionados para os limites desejados. O MarkLogicMarkLogic foi desenvolvido para lidar com cargas pesadas de dados e permitir que os usuários acessem por meio de atualizações e alertas em tempo real, além de fornecer dados geográficos combinados com a relevância do conteúdo e da localização, além de ferramentas de filtragem de dados. Essa ferramenta é ideal para quem busca o desenvolvimento de aplicativos de pesquisa de conteúdo pago. Esta ferramenta gratuita vem com vários recursos para a visualização de dados de um site, como mapas em árvore hierárquica ou apenas gráficos simples.Esta ferramenta é facilmente implementada incorporando código JavaScript em um site e permite classificar, modificar e filtrar dados, bem como o capacidade de se conectar a um banco de dados ou extrair dados de um site. MongoDBEste é um banco de dados documental de código aberto, ideal para desenvolvedores que desejam ter controle preciso sobre os resultados finais. Isso é fornecido com suporte completo ao índice e flexibilidade para indexar qualquer atributo e dimensionar horizontalmente sem afetar a funcionalidade. As consultas baseadas em documentos e o GridFS para armazenamento de arquivos significam que você não deve ter problemas para comprometer sua pilha.5. O SplunkSplunk é especializado em aproveitar dados de máquinas criados a partir de várias fontes diferentes, como sites, aplicativos e sensores. A empresa também permite que os desenvolvedores escrevam código usando qualquer plataforma, linguagem ou estrutura de tecnologia. As ferramentas de extensão foram desenvolvidas para os desenvolvedores do Visual Studio for .NET criarem aplicativos e usam o Splunk SDK para C # .Você está interessado em aprender ferramentas de Big Data – Clique em Aqui

 

Você sugere aprender Python ou ferramentas de big data para conseguir um emprego em ciência de dados?

1
Aprender Python é um bom começo, mas está longe de ser suficiente.É apenas uma ferramenta.Você precisa aprender: Como ler dados de diferentes fontesLimpar e inserir dadosFazer análises estatísticas simplesFazer gráficosEncontrar informações valiosas para o lado comercial e assim por diante.

 

Big Data: Existe uma convenção para ferramentas de software relacionadas a big data, estruturas de programação etc.?

1
Existem dois objetivos principais com o Big Data. Analítica (primária) e Redução de custos (secundária). A redução de custos baseia-se principalmente na ideia de substituir bancos de dados e datawarehouse caros por código aberto. Se você analisar agora a análise, provavelmente desejará criar um data lake com Big Data. Aeroespacial coleta muitos dados e esses dados podem ser ingeridos em clusters do Hadoop para análises posteriores. Não conheço nenhuma ferramenta específica para o setor aeroespacial, mas provavelmente a configuração mais benéfica para sua empresa seria um engenheiro de dados excepcional para coletar dados e um excelentes cientistas de dados que o interpretam. Ambos os perfis são difíceis de obter.

2
O mundo aeroespacial e aviônico está à beira de uma nova era com o Big Data, nós sabemos. Porém, devido às normas de segurança DO-178, ED109, as tecnologias não se desenvolveram tão rapidamente quanto as outras indústrias nos últimos dois anos. A outra questão pode ser os casos de uso e os dados são tão importantes que o setor não os compartilha com os pesquisadores e empresas que trabalham com Big Data (quero dizer, tão raro). Os artigos a seguir dão uma perspectiva do que as fronteiras (IBM, Hadoop, Hortonworks etc.) estão produzindo sobre o big data e sua análise para a indústria aeroespacial. Aeroespacial, energia e big data: como o Fundo de Conhecimento pode afetar os resultados da Reno – Big Dados simplificados – uma fonte. Muitas perspectivas. IBM Platform Computing Solutions: Resumo da (s) solução (s) aeroespacial e de defesa Publicações BDI – Hortonworks Bem-vindo ao Apache ™ Hadoop®! Cumprimentos

3
Independentemente do setor em que você está, as ferramentas com as quais você deve se familiarizar serão as estruturas de código aberto mais populares e as ferramentas associadas a elas. Os eventos Strata de O’Reilly (Strata + Hadoop World Conference) e o Smart Data / NoSQL Now da Dataversity (Smart Data Conference 2015 e The Premier NoSQL Conference & Expo) são bons lugares para se manter atualizado sobre ferramentas e técnicas de big data e análise de código aberto e tendências. A pesquisa no YouTube exibirá vídeos de sessões de eventos anteriores que você pode ver. Os encontros locais são outra boa maneira de acompanhar os desenvolvimentos nessa área.

 

Qual é o melhor laptop (econômico) da Índia para SAS, Tableau, outras ferramentas de big data / analytics e photoshop?

1
Escolha uma instância baseada na AWS e compre um laptop barato (HP stream 13) ou um chromebook. Você pode conectar-se aos espaços de trabalho da AWS a partir de um aplicativo de navegador e possui um computador baseado em nuvem que pode ser descartado a qualquer momento. Você pode salvar todo o seu trabalho na nuvem. Quando o seu laptop morre após 4 anos, você pode simplesmente substituir a máquina e continuar como se nada tivesse mudado.

2
É necessário comprar um laptop com 8 GB de RAM, disco rígido e processador de 1 TB e pode ser qualquer coisa entre i3, i5, i7 (3a a 6a geração, com base no seu orçamento). Eu recomendaria encontrar alguns laptops da DELL com o disco rígido i3 ou i5 + 8GB RAM + 1 TB. Os revendedores dirão que você deseja que a placa gráfica diga não. Se você encontrar laptop sem placa gráfica, ele economizará seu dinheiro e não terá função no SAS, Tableau. E o laptop de menino apenas com Unix, economiza entre 3000 e 5000 rúpias. Você pode tirar janelas de qualquer loja de TI e hardware ou elas serão instaladas tomando 200 rúpias. Espero que isso ajude.

3
Eu recomendo o Dell Inspiron 11 3000 Series.O laptop em si é muito atraente, com um acabamento prateado cinza brilhante nos componentes externos e um preto frio na área do teclado.Performances: Processador: Intel Pentium N3530 CPURAM de 2,16 GHz CPURAM: 4GBTamanho da unidade: 500GB A bateria do seu notebook é a mais cara do mercado, com um custo de manutenção de R $ 10.000,00.

 

As ferramentas de big data podem ajudar a apagar o ciclo econômico?

1
Improvável. Embora o “big data” seja novo em algumas indústrias, o governo federal possui big data há muito tempo, desde os anos 70, e muitas pessoas inteligentes o observam, e basicamente não chegam a lugar algum. muitas novas técnicas sofisticadas que podem ser aplicadas com as quais os analistas do governo não estão familiarizados. E muito mais poder computacional, o que permite certos tipos de cálculos que não podiam ser feitos antes. Mas o big data por si só não ajuda muito, caso contrário teríamos feito alguns avanços.

 

Quais são algumas idéias interessantes de projetos na área de Big Data com as ferramentas Scala, Apache Spark?

1
Como engenheiro do AppLovin, não posso deixar de pensar que um projeto interessante poderia ser analisar aplicativos na loja de aplicativos. Você pode começar usando a API de pesquisa do iTunes aqui: API de pesquisa do iTunes. (Dica: para obter mais dados de uma só vez, você pode obter vários resultados de uma chamada de API com um termo de pesquisa mais geral ou especificar vários IDs na mesma chamada de API para obter informações sobre aplicativos específicos, como http: //itunes.apple.com/lookup?id=909253,284910350)Depois de obter dados suficientes, você pode fazer todos os tipos de análise com o Spark. Por exemplo, você pode encontrar os aplicativos mais semelhantes por descrição. Ou talvez a palavra mais lucrativa para se ter no título do aplicativo. Na minha opinião, é um bom projeto de brinquedo que permitiria a exposição e a análise de dados.

 

Como político, quais mídias sociais e ferramentas de big data devo usar para minha campanha?

1
Informações do público-alvo do Facebook, sem dúvida. Você terá acesso a dados poderosos e acionáveis que informam MUITO sobre seu público-alvo. Honestamente – você pode executar uma campanha exclusivamente no Facebook. Nem seria muito difícil. E acho que seria uma fração do custo das formas tradicionais de publicidade.

 

Durante uma entrevista para uma posição de cientista de dados, qual é a importância de ter experiência com ferramentas de big data, como Spark e Hadoop?

1
Depende do negócio em que seu empregador está. Na maioria dos casos, é um exagero. Eu nunca precisei disso em pesquisas. Trabalhei em uma equipe desenvolvendo algoritmos de ML para uma grande empresa de fidelidade. Eles tinham milhares de empresas menores como clientes. Eu pensei que seria finalmente necessário usar a computação distribuída. Hoje, as ferramentas de big data são necessárias apenas em certas empresas, como SaaS / serviços de streaming com tráfego considerável. Aconselho a implementar clusters simples para entender como as coisas funcionam.

2
Não encontrei ninguém que os use na minha região do país. É principalmente SQL / Python / R aqui na Flórida (ou C ++ para posições militares).

3
Eu diria que é útil, mas não crítico. A questão maior é sempre “O que você fez com as ferramentas?” O uso do Spark e do Hadoop geralmente significa que você resolveu um problema com milhões de pontos de dados, e o que você fez lá é uma discussão muito mais interessante. Posso dizer honestamente que tenho nunca perguntou sobre o uso do Spark ou Hadoop em mais de 200 entrevistas para cientistas de dados.

 

Qual é o significado das ferramentas analíticas de big data para comércio eletrônico? Todas as empresas de comércio eletrônico, grandes e pequenas, usam essas ferramentas para gerenciar arquivos?

1
O comércio eletrônico não produz necessariamente uma enorme quantidade de dados. Hospedamos quase 50 mil lojas online e até logs ainda podem se encaixar em um grande banco de dados da Vertica até recentemente. O Hadoop é uma ferramenta que só deve ser usada como último recurso, apesar do hype.

 

Quais ferramentas de big data podem analisar arquivos do Excel?

1
Os arquivos do Excel não se ajustam ao volume, velocidade ou variedade de tecnologias de big data. Portanto, e embora você possa usar qualquer um deles, por que o faria? O que será feito pela tecnologia de big data que não pode ser manipulada, provavelmente melhor, pela tecnologia local e / ou tradicional. Portanto, a resposta é todas. Mas eu não usaria nenhum. R, Python, SAS, etc, nem se encaixam na descrição aqui. Eles não seriam usados como ferramentas de big data. Eles estariam operando em uma base local / tradicional.

2
Eu imaginaria praticamente todos eles. Se você pode fornecer mais um exemplo sobre exatamente o que deseja analisar com os arquivos do Excel, posso ajudar um pouco mais. Outras ferramentas para tentar explorar os arquivos do Excel seriam o Tableau ou o Qlik, onde são puramente BI, em vez de análises avançadas. Este pode ser um bom lugar para você começar. Os arquivos do Excel são muito pequenos, de modo que você não precisa colocá-los em um cluster Hadoop para análise. No entanto, se você realmente quiser, aqui está a maneira do RapidMiner: Sim, é isso. Dois operadores, um para ler o arquivo do Excel e o outro para materializá-lo no cluster hadoop para análise e modelagem. Se você não quiser usar o cluster do Hadoop (como seu arquivo provavelmente é razoavelmente pequeno), basta simplesmente usar o operador ou uma das ferramentas que mencionei anteriormente na publicação. Além disso, você já ouviu falar de tabelas dinâmicas?

3
Concorde que muitas ferramentas podem fazer isso. O Excel possui um complemento de COM que permite que um usuário do Excel (ou Word, Powerpoint) acesse a análise do SAS diretamente em uma planilha do Excel. É muito conveniente para usuários que gostam de permanecer no ambiente do Microsoft Office e compartilhar análises entre si.

 

Quais ferramentas de mineração de fluxo de dados podem lidar com big data?

1
Você pode estar interessado em Vowpal Wabbit: http://hunch.net/vw/.

2
Nossa empresa é especializada nesse problema exato – nosso principal produto DataSift http://datasift.net coleta muitos dos dados mais populares de sites de mídia social e permite definir programaticamente o conteúdo que você deseja recuperar. fora da base de conhecimento -> http://support.datasift.net/help/kb Processamos mais de 200 milhões de dados por dia. A saída dos fluxos pode ser consumida via fluxo HTTP, Web Sockets e por meio de uma API REST. Também estamos trabalhando em um sistema de armazenamento + mapreduce, que entrará no teste Alpha dentro de um mês.Pergunta Quais ferramentas de big data estão disponíveis hoje para ajudar no fornecimento de medicamentos de precisão aos pacientes? Quais são os cenários futuros que provavelmente veremos em relação ao aprendizado profundo e ao big data que dão suporte à medicina de precisão? 1 Existem muitas ferramentas que podem potencialmente informar o atendimento ao paciente de maneira precisa. O mais importante no momento em termos do que pode contribuir para a saúde do paciente em um campo de medicina de precisão é sem dúvida o sequenciamento do genoma. O uso de dados genômicos para determinar o risco genético de um paciente para desenvolver uma doença ou sua capacidade de reagir a um medicamento ou até sua impressão digital genética para permitir uma estratificação personalizada de seu tratamento são ótimas maneiras pelas quais a genômica hoje tem um papel no fornecimento de medicamentos de precisão No entanto, além do seqüenciamento do genoma, existem novas tecnologias que também usam a geração de dados de alto rendimento da mesma maneira que a genômica, que será incorporada à clínica de medicina de precisão. Essas outras tecnologias ômicas incluem epigenômica (útil, por exemplo, para prever a idade genética), microbioma (para entender as interações intestino-saúde), proteômica (a concentração de proteínas em uma amostra) ou metabolômica (a verificação de todos os metabólitos em uma amostra). Todas essas tecnologias ôômicas complementarão a visão mecanicista do clínico sobre a expressão de saúde ou doença do paciente. O fato de as tecnologias ômicas catalisarem a implementação de medicamentos de precisão não exclui, no entanto, a existência de outras ferramentas de big data que provavelmente medicina de precisão de impacto. Vários sensores vestíveis que rastreiam nossas constantes vitais, atividades ou medições dinâmicas dos níveis de metabólitos contribuirão para fornecer medicamentos de precisão através do fornecimento de quantidades potencialmente vastas de dados em tempo real e dinamicamente. Esses sensores serão conectados a aplicativos em nosso smartphone que notificarão constantemente nosso médico para informar sua decisão. O outro elemento crucial que também ajudará na implementação de medicamentos de precisão é o campo do processamento de imagens. Exemplos disso incluem a caracterização do tecido tumoral, por exemplo. Houve algumas histórias de sucesso limitadas em que os tecidos patológicos foram segregados dos saudáveis e eu recomendo um artigo de Green et al. (Oportunidades e obstáculos para a aprendizagem profunda em biologia e medicina [1]), onde eles mencionam tais sucessos. o artigo acima diz, e eu concordo com isso, o potencial de aplicação do aprendizado profundo no campo da medicina de precisão ainda precisa ser cumprido. A complexidade dos dados, nossa capacidade de categorizá-los de maneira significativa e sua disponibilidade, dada sua sensibilidade e possíveis usos éticos, dificultam o desenvolvimento integral da promessa da medicina de precisão. Onde eu vejo a oportunidade em termos de novos cenários para apoiar a medicina de precisão estão na integração de registros eletrônicos de saúde, sequenciando informações de dados, dados de dispositivos vestíveis e talvez imagens (como a que vem da ressonância magnética) para prevenir doenças. Para isso, teremos que ter nossa própria nuvem de dados de saúde. Nuvens de dados de saúde são um conceito que foi originalmente apresentado por Leroy Hood e colegas [2], e acho que ele tem muito potencial, supondo que tenhamos a infraestrutura apropriada para cuidar dos problemas de privacidade do paciente e, ao mesmo tempo, compartilhar seus dados de maneira controlada. Se o aprendizado profundo for capaz de lidar com a possibilidade de tais conjuntos de dados heterogêneos (eu esperaria representações complexas de redes neurais para isso), juntamente com perguntas claramente delineadas para as quais esses conjuntos de dados podem ser treinados, então temos a chance de dominar a próxima maneira de precisão medicamentos até sua promessa. Dito isto, os frutos baixos para medicamentos de precisão virão do campo da farmacogenética. Já somos capazes de entender o status metabolizador dos pacientes para certos medicamentos, dada sua genética. Isso só vai melhorar. E se, com a genética do paciente, formos capazes de adicionar o contexto de criação de perfil para estratificá-lo, para que ele possa ser inscrito no ensaio clínico mais apropriado para um determinado medicamento sendo pesquisado, isso acelerará nossa capacidade de colocar novas informações. medicamentos no mercado mais rapidamente ou redirecionar os existentes para novas aplicações úteis rapidamente. Ambos os cenários de diagnóstico e tratamento serão afetados drasticamente pela riqueza de novos dados moleculares e de imagem sobre o paciente. Inicialmente, teremos silos de dados separados (por exemplo, silos de genética, silos de imagem, silos de registros eletrônicos de saúde) que serão usados independentemente para ajudar a melhorar a tomada de decisões clínicas (por exemplo, diagnóstico de doenças raras não caracterizadas, estratificação do paciente para um tratamento específico). À medida que a infraestrutura apropriada para integrar com segurança esses silos começa a surgir, oNo entanto, ainda há muito trabalho a ser feito. Em primeiro lugar, ainda temos um entendimento fraco da maioria dos processos moleculares, bem como do funcionamento da célula em seu ambiente (afinal, as células são a unidade básica da vida). Estamos apenas começando a entender como as células interagem e respondem ao seu ambiente em um nível holístico e sistêmico e, quando realizamos muitas medições moleculares, estamos apenas analisando as médias. Os procedimentos de célula única para a medição de alto rendimento de dados ômicos também estão explodindo como um campo agora e nos ajudarão a ter uma resolução muito mais refinada desses processos mecanicistas. Minha esperança é que governos, indústria e outras organizações [3] ser capaz de criar em breve estruturas legais, éticas e sociais que aumentem os incentivos para mais inovação neste campo promissor. Isso também terá um tremendo impacto nos cenários futuros que provavelmente veremos em relação à aprendizagem profunda e ao big data que apóiam a medicina de precisão. Notas de rodapé [1] Oportunidades e obstáculos para a aprendizagem profunda em biologia e medicina [2] Um estudo de bem-estar de 108 indivíduos que usam nuvens de dados pessoais, densas e dinâmicas [3] GA4GH

 

Quais são as ferramentas de big data que são úteis para um cientista de dados?

1
Essa resposta pode abranger um livro inteiro, uma vez que existe uma variedade imensa de ferramentas de big data disponíveis para o cientista de dados usar, como Spark, Storm, Cassandra, Mongo ou Hadoop Frameworks. Também pode incluir ferramentas relacionadas à análise de dados de BI ou estatística. A parte principal que precisamos entender é que, sem a capacidade de lidar com grandes conjuntos de dados, o que, por sua vez, não pode ser feito sem o uso dessas ferramentas, um cientista de dados não pode executar sua tarefa. responsabilidades de forma eficiente e dependerá de engenheiros de dados especializados para obter ajuda. Para reduzir a resposta e fornecer uma resposta direta – um cientista de dados deve ter conhecimento de todas as ferramentas usadas para construir o Lago de Dados Corporativos de sua organização. Um data lake é um armazenamento de dados robusto, heterogêneo e combinado, que pode ser criado usando a combinação de qualquer pilha de tecnologia disponível, com a qual a organização se sinta confortável. Portanto, a capacidade de trabalhar com o Data Lakes é o requisito máximo para qualquer cientista de dados e, portanto, ele deve ser capaz de trabalhar com o mesmo, pois ele será construído usando as melhores ferramentas de Big Data disponíveis na organização (para implementar armazenamento, pipelines de processamento e fluxo de dados)

 

Ao visualizar big data, que ferramentas você usa e que tipo de recursos você mais usa?

1
O tipo de dados com o qual você lida determina quais ferramentas de visualização você usa sobre as outras. Ao selecionar uma ferramenta, uma vez que a maioria deles realiza todos os vários gráficos e widgets existentes, isso depende do que se sente confortável ou tem experiência anterior em usar mais. Eu sugeriria, você se atenha a um. O Tableau é um líder do setor nesse espaço e vale a pena gastar seu tempo e energia dominando essa ferramenta. Procure manter as tarefas de manipulação de dados ou ETL fora dessas ferramentas, mas use-as para as quais elas são boas, como conhecimento agregado, rotação de dados, renderização de gráficos e tabelas perfeitos de pixels e criação de painéis de negócios mais interativos e de autoatendimento para o final Novamente, se você é analista e deseja apenas inspecionar os dados e iterar rapidamente as informações que obtém, eu preferiria a ferramenta de organização de dados que estou usando neste caso (seja R ou python), também possui dados bibliotecas de visualização, para que eu não gaste tempo e código adicionais mudando meu ambiente de trabalho e movendo dados entre eles.

2
Concorde com a opinião de todos sobre este tópico. Além disso, eu recomendaria considerar o Looker também. Usamos o Looker e o Tableau e cada ferramenta tem pontos fortes. Dependendo do caso de uso e do tipo de usuários, escolhemos uma das ferramentas. Você pode considerar uma ferramenta de BI se houver mandato comercial para disponibilizar dados para os tomadores de decisão e tiver uma solução de autoatendimento em vez de criar insights por um número insuficiente de recursos técnicos.

 

Qual é uma boa fonte de grandes conjuntos de dados no formato JSON para testar ferramentas de análise de dados?

1
Na documentação do Drill: o conjunto de dados AOL Search é uma coleção de dados reais de log de consultas baseados em usuários reais.O conjunto de dados Enron Email contém dados de cerca de 150 usuários, principalmente da gerência sênior da Enron. O Histórico de Edição da Wikipedia é um dump público de o site disponibilizado pela fundação wikipedia. Você pode encontrar detalhes aqui. Os dumps são disponibilizados como dumps SQL ou XML. Você pode encontrar todo o esquema desenhado neste ótimo diagrama. Talvez seja necessário convertê-los para json:) Você deve ler o seguinte: Onde posso encontrar grandes conjuntos de dados abertos ao público?

2
Usar lotes da cidade (formato de arquivo com formato compactado) | Dados e use shp2json para conversão !!! Cortesia (zeMirco) Formatos CSV – grandes conjuntos de dados abertos ao público !!! e use o csv-to-json PS: leia esses dados de preparação

3
Conjuntos de dados JSON – isso fornece um conjunto muito bom de recursos

 

Qual ferramenta de big data você sugeriria para mensagens em tempo real que não sejam o Apache Kafka?

1
Experimente o ZeroMQ, que é um sistema de entrega de mensagens em camadas à sua escolha: TCP, entre encadeamentos, entre processos e PGM / multicast.Se você não se importa de trabalhar com soquetes, dê uma olhada no SCTP, um protocolo resiliente de hospedagem múltipla.

 

Quais são os principais recursos e características do Hadoop que o tornam a ferramenta de Big Data mais popular e poderosa?

1
Na minha experiência, o Hadoop é a plataforma de big data mais famosa, porque é de código aberto, apoiado pela Apache Foundation e possui um enorme ecossistema de aplicativos por trás dele. Você pode fazer praticamente qualquer coisa com o Hadoop: de streaming, real análise de tempo, para uma implementação de armazém de dados. Isso suporta visualização de dados, bem como algoritmos ML, e esse não é o sonho?

 

Quais são as ferramentas do big data?

1
Obrigado pela A2A. Aqui estão as principais ferramentas usadas para armazenar e analisar o Big Data. Uma pesquisa recente diz que 80% dos dados criados no mundo não são estruturados. Um desafio é como esses dados não estruturados podem ser estruturados antes de tentarmos entender e capturar os dados mais importantes. Outro desafio é como podemos armazená-lo. Podemos categorizar as ferramentas do Big Data em duas partes: 1. Armazenamento e consulta 2. AnalysisTools: 1. Apache Hadoop2. Microsoft HDInsight3. NoSQL4. Colmeia5. Sqoop6. PolyBase7. Big data no EXCEL8. Presto

2
As sete ferramentas e tecnologias de big data usadas pelos desenvolvedores de análise bem-sucedidos são: HadoopA plataforma orientada a objetos distribuída de alta disponibilidade, conhecida popularmente como Hadoop, é uma estrutura de software que avalia dados estruturados e não estruturados.Por causa do Hadoop, o dimensionamento de dados é possível sem Ele oferece um armazenamento enorme para uma variedade de dados.Ele pode lidar virtualmente com tarefas coexistentes infinitas.O MongoDBIt é um banco de dados de documentos de código-fonte aberto NoSQL, principal e ágil, compatível com várias plataformas. O MongoDB é famoso por causa de sua capacidade de armazenamento e seu papel na pilha de software MEAN. Ele armazena os dados do documento no formato binário do documento JSON, que é o tipo BSON. O MongoDB é usado principalmente por sua alta escalabilidade, capacidade de obtenção e apresentação.HiveIt é uma ferramenta de armazém de dados, construída na plataforma Hadoop. O Apache Hive é um componente do Hortonworks Data Platform (HDP). Ele fornece uma interface semelhante à SQL para armazenar dados no HDP. A linguagem de consulta exclusiva do Hive é o HiveQL. Esse idioma interpreta consultas do tipo SQL em tarefas do MapReduce e depois implanta-as na plataforma Hadoop. O HiveQL também suporta scripts MapReduce, que podem ser o plug-in para consultas. O Hive aumenta a elasticidade do design do esquema e contribui para a serialização e desserialização de dados.SparkApache Spark é um dos principais projetos de código aberto para processamento de dados. Possui semelhanças com o MapReduce, no entanto, supera o MapReduce com recursos como velocidade, fácil interação do usuário e engenhosidade da análise. O Apache Spark reduz o tempo de desenvolvimento que o Hadoop normalmente leva. Isso resulta em fluxo suave e análise colaborativa de dados. O HBaseApache HBase é um banco de dados NoSQL de código aberto, oferecendo provisão de leitura / gravação em tempo real para grandes conjuntos de dados. É um aplicativo Hadoop que funciona sobre HDFS. Ele se dimensiona linearmente para gerenciar grandes conjuntos de dados com inúmeras linhas e colunas e organiza suavemente fontes de dados de várias fontes com estruturas e esquemas distintos. HBase é um dos complementos do Apache Hadoop. Ele contém ferramentas como Hive, Pig e ZooKeeper.CassandraApache Cassandra ™ é um projeto Apache de primeira linha, com sua origem no Facebook. Foi então construído sobre o Dynamo da Amazon e a BigTable do Google. É conhecido por seu gerenciamento eficaz de grandes blocos de dados. Além disso, o Cassandra oferece alta disponibilidade e escalabilidade, sem um único ponto de falha no funcionamento do hardware do servidor e da infraestrutura de nuvem. O KafkaKafka é uma plataforma de código aberto, particionada, escalável, permissível a falhas, altamente rápida e segura. É importante agir como uma ponte entre vários sistemas principais de código aberto, como Spark, NiFi e as ferramentas de terceiros.

3
No bigdata, muitos frameworks disponíveis, como Hadoop, spark, Kafka, hive, pig oozie…. A partir de agora Spark número um quadro em bigdata

 

Quais são alguns dos desafios atuais do uso de ferramentas de big data?

1
Entendo que a ferramenta de big data que você mencionou é uma ferramenta que facilita a análise de big data, certo? Nesse caso, existem dois grandes problemas. Primeiro, os dados estão dispersos. Para usar ferramentas de big data, os dados devem ser preparados em um só lugar. É por isso que as ferramentas que conectam repositórios de dados foram introduzidas recentemente, como o Dremio, CData. O próximo problema é que as ferramentas de análise de dados estão desconectadas e precisam de habilidades profissionais. Atualmente, os não profissionais da ciência de dados usam a análise para o seu trabalho cada vez mais. Ferramentas como o Metatron Discovery cobrem todo o processo de análise de dados com interface gráfica.

 

Quais são as melhores ferramentas de big data para assistência médica?

1
Estamos fornecendo as melhores ferramentas de big data para assistência médica, as melhores ferramentas de big data para relatórios de BI, as melhores ferramentas de big data para soluções de BI, as melhores ferramentas de big data para o painel de BI. Ferramentas de Big Data para soluções de BI, Melhores ferramentas de Big Data para painel de BIPergunta Devo fazer um curso de “Big Data” ou apenas aprender uma ferramenta analítica como R, Python, Tableau?

1 Obrigado pelo A2A Hemant Singh. Deixe-me primeiro esclarecer o significado das definições para cada termo. Big Data é a enorme quantidade de dados que não podem ser processados efetivamente com os aplicativos tradicionais existentes. Por outro lado, o Data Analytics é a ciência de examinar dados brutos com o objetivo de obter informações valiosas. Big Data Agora, chegando ao ponto, você deve fazer um curso de ‘Big Data’? Claro que você pode! O problema é que quando você diz “Big Data”, sua mente automaticamente aparece com a palavra Hadoop. No Google, você obtém tecnologias relacionadas, como Hive, Pig, Mahout e muito mais. Se você se considera bom em Programação Java, a transição é fácil, já que o Hadoop é uma estrutura de programação baseada em Java de código aberto. As outras tecnologias que mencionei também são baseadas em Java. De acordo com o que fiz no treinamento de verão com a EMC Academic Alliance, posso concluir o seguinte: 1. Implantação e administração da tecnologia Big Data. Você precisa poder usar um sistema Linux e, em seguida, implantar tecnologias e serviços como Hadoop, Pig, Hive etc. Aprendi a usar o PostgreSQL para o banco de dados Greenplum. Você pode até analisar os dados armazenados. A única coisa em que você precisa ser proficiente é em Java. É isso aí. Você precisa ser capaz de escrever códigos de Map Reduce (geralmente Java é usado para isso) para processar dados enormes em um ambiente em cluster. Dados Analytics Em segundo lugar, o Data Analytics é um pouco mais divertido. Todas as ferramentas e tecnologias usadas nos processos modernos de Data Analytics são desenvolvidas em linguagens de programação como Python. Existe até programação R quando você menciona o termo “Análise de dados”. Para obter mais informações sobre a comparação de ferramentas usadas no Data Analytics, você pode consultar minha resposta. Quais cursos on-line devo seguir para me tornar um bom cientista de dados? Devo optar pelo Python ou pelo R para análise de dados? Resumindo, aprender qualquer uma das tecnologias será muito benéfico para você, considerando o fato de que o mercado atual está mudando para essas tecnologias. Não me interpretem mal. Você também pode analisar dados com as tecnologias Apache contidas no Big Data. A única grande diferença é que, se você deseja acessar as soluções tradicionais de Big Data, precisa ser bom com Java (o que não sou, FYI). O outro, ou seja, o Data Analytics, bem, existem essas linguagens de programação interessantes que são fáceis de aprender e divertidas de usar.Com base na sua pergunta, o Data Analytics com Python, R e Tableau seria mais divertido. 2 Graduado em MBA e com experiência em vendas, acho que você deve se concentrar em aprender o Tableau e o SQL. As tecnologias relacionadas ao Hadoop são mais centradas na parte da arquitetura de dados. Não estou dizendo que o Hadoop não é usado como uma ferramenta de análise de dados, mas os trabalhos são mais voltados para a criação de pipelines de dados para gerenciar big data, o que obviamente é mais ou menos um trabalho de arquiteto de dados em vez de analista de dados. já esteja familiarizado com painéis e visualização de dados. O Tableau certamente o ajudará nessa área. E, como parte da análise de dados, recomendo que você inicie o SQL. As pessoas geralmente subestimam seu poder quando se trata de análise de dados. SQL desempenha um papel importante na análise de dados. Além disso, é bastante fácil ser visto com relação às linguagens de programação. Nunca subestimou o MS Excel. Ainda é uma das ferramentas mais usadas para análise de dados. Muitas grandes empresas ainda usam o Excel para suas tarefas de análise de dados. E estando no campo de análise de dados, você simplesmente não pode ignorá-lo. São apenas meus dois centavos. Espero que ajude. 3 Antes de tudo, espero que você esteja apenas começando com o Big Data, sugerindo que você não se apresse e faça uma pesquisa completa sobre esse conceito. No que se refere ao R, Python ou Java, sugiro que você aprenda qualquer um sobre Java. ou Python e, junto com o aprendizado da linguagem R, é o mais usado em Data Analytic. Como você possui MBA e possui 6 anos de experiência, posso assumir que você domina o Excel e que ninguém pode vencê-lo no Excel. O que eu sugiro é que você tente aprender o Tableau, pois está se tornando tão popular e é melhor ou posso dizer melhor que o Excel. Posso garantir que, depois que você começou a aprender o Tableau, você pode imaginar um mundo modificado e mais novo a partir do Excel. Aprendi o Tableau com o Coursera. Você também pode aprender a partir daí, é um passo inicial para aprender o Tableau e adorei esse curso. Por fim, se você está no campo de Big Data, há um grande número de ferramentas e tecnologias para aprender, como a palavra diz Big Data que não tem fim. Portanto, continue pesquisando e aprendendo. Você também pode seguir minha resposta anterior ao Big Data para iniciantes!resposta para Quais habilidades de big data estão sendo procuradas no mercado atual? Quaisquer dúvidas e comentários são bem-vindos, terei o maior prazer em ajudar!

 

Quais são algumas das principais ferramentas de relatórios de big data existentes?

1
Você pode experimentar o Ubiq Reporting, uma ferramenta de BI e relatórios baseada na Web que facilita a análise e o relatório de seus dados, além de compartilhá-los com outras pessoas. Interface do usuário intuitiva: analise e explore dados usando uma interface intuitiva de arrastar e soltar2. Análise poderosa: agregue, classifique, gire, filtre e faça uma busca detalhada dos dados, com apenas alguns cliques. Adicione filtros dinâmicos aos seus painéis e gráficos para filtrar dados em tempo real. Crie drill-down, up e drill-throughs para aprofundar seus dados3. Informações em tempo real: crie relatórios e gráficos em tempo real que mostrem dados em tempo real e atualizem automaticamente em intervalos regulares4. Muitas opções de gráficos: escolha entre uma ampla variedade de opções de gráficos – desde os básicos como linha, área, barra, coluna, torta e plotagem de dispersão até visualizações avançadas como funil, medidores e mapas5. Compartilhe insights facilmente: exporte relatórios e gráficos em diferentes formatos para compartilhá-los com outros, ou programe relatórios por email para distribuir automaticamente relatórios a outros. Gerenciamento avançado de usuário: personalize o acesso do usuário para cada relatório Totalmente personalizável: personalize todos os aspectos de seus gráficos e relatórios – título, cor, fonte, formatação, layout, tamanho, posição, cabeçalhos, seções e muito mais com apenas um clique. Fácil de configurar: como o Ubiq é baseado em nuvem, você pode analisar e relatar dados diretamente usando o navegador da web. Não há necessidade de baixar ou instalar nada. Basta se inscrever e começar a gerar relatórios. O Ubiq se conecta diretamente aos seus dados, sejam eles locais ou remotos, portanto, não há necessidade de mover ou modificar seus dados para que funcionem com o Ubiq. Veja um exemplo de relatório criado usando o Ubiq:

2
Você pode conferir o Ideata Analytics – Big Data Analytics | Ideata Analytics

 

Quais ferramentas analíticas de big data podem ser incorporadas e entregues no seu aplicativo SaaS?

1
Recentemente, soube de uma empresa chamada Gainsight que possui uma ferramenta realmente poderosa que você pode incorporar em um produto SaaS. É focado principalmente em dados para ajudá-lo a gerenciar o uso do cliente. Também existe uma ferramenta bastante simples e econômica chamada Keen.io, que você pode incorporar, embora exija um pouco mais de trabalho para conectá-la às coisas que você deseja rastrear em seu aplicativo.

2
O MUORO é uma ferramenta de ciência de dados que ajuda a gerar análises avançadas usando IA e aprendizado de máquina por meio do algoritmo proprietário do DataShelter. O sistema foi especialmente projetado para tornar o trabalho colaborativo uma tarefa contínua entre cientistas de dados e gerentes de negócios, tornando a análise avançada um processo sem complicações na organização. O MUORO torna a implantação de modelos de aprendizado de máquina menos demorada para um cientista de dados. http: //muoro.io-, consulte o site para obter mais informações

3
O JReport é a ferramenta perfeita para este caso de uso. O principal caso de uso está no espaço incorporado e possui muitos recursos que outros fornecedores podem não ter, como o escopo da personalização da API. Ele suporta totalmente uma variedade de fontes diferentes de Big Data, incluindo coisas como Mongo e Hive, e suporta bancos de dados mais tradicionais. Eu verificaria a página de recursos do BI incorporado para obter mais informações. Aqui estão alguns exemplos: * Divulgação completa Trabalho na Jinfonet Software.

 

Quais são algumas das maiores reclamações ou queixas sobre ferramentas de ‘big data’, como o Tableau?

1
Acho que não consideraria o Tableau uma ferramenta de ‘Big Data’. Se você está carregando milhões de registros no tableau, o desempenho diminui rapidamente e realmente se torna inutilizável nos tamanhos de ‘big data’. Se você implementar muitos cálculos no Tableau ou usar uma conexão ativa no lugar da extração otimizada – esses problemas de desempenho serão exacerbados. Assim, uma das minhas maiores queixas com muitas ferramentas de visualização de dados front-end é a dificuldade de manipular / preparar dados. Embora o tableau ofereça suporte a várias conexões de dados, construindo relacionamentos entre tabelas etc. – eles rapidamente se tornam complexos, pouco claros e podem limitar algumas funcionalidades (por exemplo, comportamento estranho com filtros e cálculos de valor de tabela). Por esse motivo, normalmente faço a preparação de todos os dados em um ambiente SQL e carrego uma única tabela plana no Tableau para facilitar o uso.

 

Qual ferramenta de Business Intelligence (ETL) possui os melhores recursos de big data?

1
Na minha humilde opinião, as ferramentas tradicionais de ETL (apesar de serem ótimos produtos com suporte à era do data warehousing convencional) não funcionam muito bem com o Big Data e não mostram sintomas significativos para acompanhar o Big Data. Na era do Big Data, o conceito de mineração de dados / processamento evoluiu para estado diferente – não monolítico. Agora, espera-se que os dados persistam em um formato bruto consumível, onde o restante da organização tenha acesso ao bruto de acordo com as políticas e protocolos de segurança. O responsável pela mineração / processamento de dados agora está em um indivíduo (um membro da equipe da organização), responsável por limpar, padronizar, transformar e processar com base no caso de uso que ele tem em mãos. O processamento direcionado é atender necessidades muito específicas tratadas por uma ou mais cadeias de tarefas (de preferência microsserviços) executadas na plataforma de big data. Esses trabalhos devem ser escritos usando uma ou mais ferramentas ou pacotes de big data para obter os resultados em escala. Conjunto de dados com curadoria, resultado do processo agora tem a maioria com público-alvo ou finalidade específicos!

2
Depende do que você deseja fazer! Se você deseja criar um data warehouse, NÃO compre uma ferramenta ETL. Tudo o que eles fazem é mover dados de A para B – eles não constroem armazéns de dados. Se você deseja criar um ODS e usar a captura de dados alterados, uma ferramenta de replicação de dados pode funcionar melhor. para BI, obtenha uma ferramenta de automação de data warehouse como Ajilius ou Attunity Compose – dependendo da sua metodologia preferida.

3
Isso depende exatamente do que você está procurando exatamente! Se você está procurando uma solução completa com backup de Big Data, recuperação automatizada de desastres e recursos de ingestão de dados, compactação, criptografia, mascaramento e arquivamento, o MLens by Knowledge Lens é o seu melhor bet.Leia as histórias de sucesso de nossos clientes aqui para ver se atendemos às suas necessidades! Ou entre em contato conosco para obter uma demonstração gratuita, para começar. Envie-nos um e-mail para [email protected]: + 91-9739103723 | Você está em: Página Inicial> Imprensa> Notícias

 

Quais são as ferramentas de análise de big data que não exigem programação?

1
Minha resposta é um pouco fora da trilha para sua consulta, mas acredito que devo colocá-la aqui. Sem programação, você seria como um amputado no ombro de uma pessoa cega. Especialmente no caso, se seus dados tiverem algum tipo de peculiaridade, como classe minoritária, ou se você quiser medir o desempenho da classificação para um rótulo específico ou testar o desempenho de vários modelos com parâmetros ajustados. Eu vim a perceber a importância da programação depois de quase um semestre. Sugiro que você aprenda um pouco de programação, você não precisa ser um especialista nisso. Só pode usar várias estruturas de dados para obter desempenho eficiente com tipos específicos de dados e algum tipo de sql aprimorando os dados.

2
Esses não são especificamente para big data, mas você pode encontrá-los úteis: KNIME – Open for InnovationKEEL – Uma ferramenta de software para avaliar algoritmos evolutivos para problemas de mineração de dados (regressão, classificação, clustering, mineração de padrões etc.) Orange – Orange Data MiningWeka – Mineração de dados com software de aprendizado de máquina de código aberto no JavaRapidMiner – RapidMiner | # 1 Plataforma de análise preditiva de código aberto

3
O Shoodoo Analytics oferece uma plataforma de análise preditiva extremamente rápida, precisa e de baixo custo que usa o aprendizado de máquina para criar previsões perspicazes para as empresas. Nossos modelos são construídos de uma maneira que não se deteriora com o tempo, garantindo resultados constantes, mais atualizados e precisos. O uso da plataforma Shoodoo é uma ferramenta que não requer codificação, pois a maior parte do trabalho é realizada por nossa equipe.

 

Existem ferramentas ETL / ELT de Big Data de código aberto disponíveis?

1
Pentaho vem à mente, especificamente a oferta da Kettle. Um de meus antigos colegas também ajudou a trazer capitalone / Hydrograph para o mundo. Pessoalmente, costumo escrever meus próprios scripts, aproveitando o código do Github sempre que possível. As comunidades python e Go têm algumas ferramentas de manipulação de dados particularmente fortes que funcionam bem para ETL / ELT.

 

Quais são as tendências de desenvolvimento de mercado das ferramentas de mascaramento de big data e das ferramentas de segurança de big data?

1
Essa é uma boa definição de mascaramento de dados estático versus dinâmico. Outra pergunta comum é qual é a diferença entre mascaramento e criptografia de dados, pois ambas são proteções no nível da coluna. Consulte www.iri.com/blog/data-protection/data-masking-and-data-encryption-are-not-the-same-thingsPergunta Que arquitetura / ferramentas os gigantes da tecnologia como o Facebook / Amazon / Apple / Microsoft usam para análise de big data / ML?

1 Encontrei o seguinte em um artigo, link para o artigo completo: https://www.linkedin.com/pulse/b…Data analytics Arquitetura adotada pelo Facebook: O Facebook coleta dados de duas fontes. A camada federada do MySQL contém dados do usuário e os servidores da Web geram dados de log baseados em eventos. Os dados dos servidores web são coletados nos servidores Scribe, que são executados nos clusters do Hadoop. Os servidores Scribe agregam dados de log, gravados no Hadoop Distributed File System (HDFS). Os dados do HDFS são compactados periodicamente e transferidos para os clusters Production Hive-Hadoop para processamento adicional. Os dados do MySQL federado são despejados, compactados e transferidos para o cluster Production Hive-Hadoop. O Facebook usa dois grupos diferentes para análise de dados. Trabalhos com prazos estritos são executados no cluster Production Hive-Hadoop. Os trabalhos de prioridade mais baixa e os trabalhos de análise ad hoc são executados no cluster Ad hoc Hive-Hadoop. Os dados são replicados do cluster de Produção para o cluster Ad hoc. Os resultados da análise de dados são salvos no cluster Hive-Hadoop ou na camada MySQL para usuários do Facebook. As consultas de análise ad hoc são especificadas com uma interface gráfica com o usuário (HiPal) ou com uma interface da linha de comandos do Hive (Hive CLI). O Facebook usa uma estrutura Python para execução (banco de dados) e agendamento de tarefas em lote periódicas no cluster Produção. O Facebook também usa as ferramentas de Business Intelligence da Microstrategy (BI) para análise dimensional. Arquitetura de análise de dados adotada pelo LinkedIn: Os dados são coletados de duas fontes: instantâneos de banco de dados e dados de atividades dos usuários do LinkedIn. Os dados da atividade incluem eventos de streaming, que são coletados com base no uso dos serviços do LinkedIn. Kafka é um sistema de mensagens distribuídas, usado para a coleta dos eventos de streaming. Os produtores de Kafka relatam eventos para tópicos em um corretor Kafka, e os consumidores de Kafka leem os dados em seu próprio ritmo. Os dados do evento de Kafka são transferidos para o cluster ETL do Hadoop para processamento adicional (combinação, deduplicação). Os dados do cluster ETL do Hadoop são copiados para os clusters de produção e desenvolvimento. O Azkaban é usado como um planejador de carga de trabalho, que suporta um conjunto diversificado de tarefas. Uma instância do Azkaban é executada em cada um dos ambientes Hadoop. As cargas de trabalho agendadas do Azkaban são realizadas como tarefas MapReduce, Pig, shell script ou Hive. Normalmente, as cargas de trabalho são experimentadas no cluster de desenvolvimento e são transferidas para o cluster de produção após revisão e teste bem-sucedidos. Os resultados da análise no ambiente de produção são transferidos para um banco de dados de depuração offline ou para um banco de dados online. Os resultados também podem ser retornados ao cluster Kafka. O Avatara é usado para a preparação de dados OLAP. Os dados analisados são lidos no banco de dados Voldemort, pré-processados e agregados / cubificados para OLAP e salvos em outro banco de dados somente leitura do Voldemort.Análise de dados Arquitetura adotada pelo Twitter: Na infraestrutura do Twitter para serviços em tempo real, os corretores do Blender todos os pedidos que chegam ao Twitter. Os pedidos incluem a pesquisa de tweets ou contas de usuário por meio de um serviço QueryHose. Os tweets são inseridos por meio de um serviço FireHose em um pipeline de ingestão para tokenização e anotação. Posteriormente, os tweets processados entram nos servidores do EarlyBird para filtragem, personalização e indexação invertida. Os servidores EarlyBird também atendem solicitações de entrada do QueryHose / Blender. O EarlyBird é um mecanismo de recuperação em tempo real, projetado para fornecer baixa latência e alta taxa de transferência para consultas de pesquisa.Além disso, os mecanismos de assistência de pesquisa são implantados. O coletor de estatísticas no mecanismo de assistência de pesquisa salva as estatísticas em três armazenamentos na memória, quando uma consulta ou tweet é veiculado. As sessões do usuário são salvas no repositório de Sessões, as estatísticas sobre consultas individuais são salvas no repositório de estatísticas de Consulta e as estatísticas sobre pares de consultas simultâneas são salvas no repositório de co-ocorrência de Consulta. Um algoritmo de classificação busca dados dos armazenamentos na memória e analisa os dados. Os resultados da análise são mantidos no Hadoop HDFS. Por fim, o cache front-end pesquisa os resultados da análise do HDFS e atende aos usuários do Twitter. O Twitter tem três fontes de dados de streaming (Tweets, Updater, consultas), das quais os dados são extraídos. Tweets e consultas são transmitidos pela API REST no formato JSON. Assim, eles podem ser considerados como dados semiestruturados de streaming. O formato dos dados do Updater não é conhecido (fonte de dados de streaming). O pipeline de ingestão e o Blender podem ser considerados como armazenamentos de dados temporários de Stream. Tokenização, anotação, filtragem e personalização são modeladas como processamento de fluxo. Os servidores EarlyBird contêm dados processados baseados em fluxo (armazenamento de dados de fluxo). O coletor de estatísticas é modelado como processamento de fluxo. Os armazenamentos estatísticos podem ser considerados como armazenamentos de dados Stream,que armazenam informações estruturadas dos dados processados. O algoritmo de classificação executa a funcionalidade de análise de fluxo. O Hadoop HDFS que armazena os resultados da análise é modelado como um armazenamento de dados de análise de Fluxo. O cache de front-end (servindo armazenamento de dados) serve o aplicativo de usuário final (aplicativo Twitter). Referência: arquitetura de referência e classificação de tecnologias de Pekka Pääkkönen e Daniel Pakkala (facebook, twitter e linkedin A arquitetura de referência mencionada aqui é derivada desta publicação) Arquitetura de solução baseada em nuvem (ClickStream Analysis): 2 Bem, eu recentemente soube desse Tensorflow, para todas as coisas de Deeplearning e Machine Learning, o Google está usando o pacote Tensorflow desenvolvido em Python e é muito legal. Para mais informações, navegue pelo link a seguir em uma Biblioteca de software de código aberto para Machine Intelligence. Não sabe muito sobre o Facebook e outras grandes empresas.

 

Existe algum software de Big Data de código aberto disponível no momento?

1
Existem tantas ferramentas disponíveis para gerenciar o big data. Os bancos de dados Hadoop e NoSQL são estruturas e equipamentos que foram usados pela maioria das empresas de software. Existem também algumas ferramentas de inteligência de negócios que ajudam na computação e na organização dos dados em arquivos diferentes, transferindo-os. Linguagem de programação como java, c c + é usada para executar todo o sistema.Clique aqui para obter mais informações

2
Confira o Metatron Discovery, que recentemente abriu o software de análise de big data. Recentemente, analisei o software e eles são ótimos! Ele cobre quase todos os recursos para análise de dados, desde a preparação dos dados até a ligação do notebook. Verifique o site deles também pode ajudá-lo. https://metatron.app

 

Quais são as principais ferramentas de big data usadas para armazenar e analisar dados?

1
O ecossistema Hadoop é a primeira opção quando se trata de implementar uma solução de Big Data. Para armazenamento: a escolha da ferramenta de armazenamento depende de como (e para que) você vai ler / gravar os dados.Há opções como HDFS, HBase, Para o Analytics: a escolha da ferramenta / interface novamente depende muito de como (e que tipo de consultas) você estará executando. Existem opções como Hive, Spark, Impala + Kudu, etc. exatamente o que você está procurando, mas espero que esta resposta lhe dê uma orientação para começar a pensar.

 

Quais ferramentas de big data gratuitas (de código aberto) posso usar no Amazon AWS para executar análises em tempo real?

1
Você pode executar qualquer ferramenta de código aberto nas máquinas do AWS EC2. Alguns populares são: * Apache Kafka * Storm, computação em tempo real distribuída e tolerante a falhas * Apache Spark ™ – Computação em cluster ultrarrápida * Bem-vindo ao Apache Flume

 

Qual é a melhor ferramenta de big data para 2020, Apache Hadoop ou Cassandra?

1
Na minha opinião (puramente pessoal, sem base em estatísticas), nem o Hadoop nem o Cassandra podem ser considerados a melhor ferramenta de big data para 2020. Acho que o Apache Spark continua popular e será mais popular em 2020. Tem havido muitas ênfase em Inteligência Artificial e aprendizado de máquina. Com seu suporte integrado ao aprendizado de máquina e uma arquitetura que funciona bem no cluster Yarn, o Spark tem recebido muito apoio de muitas organizações que executam seus sistemas de data warehouse no Spark para apoiar seus cientistas de dados.

 

Onde posso obter bons tutoriais em vídeo para aprender as ferramentas de big data do Hadoop?

1
O DataFlair é o melhor lugar para obter um curso ao vivo ou baseado em vídeo no DataFlair. O curso deles é totalmente prático e eu também fiz o curso a partir daí, o que me ajudou a iniciar minha carreira nessa tecnologia.Pergunta Qual é a melhor ferramenta em big data e analytics?

1: Vou falar sobre as melhores ferramentas de análise de Big Data para 2018 disponíveis no mercado, que são gratuitas e interessantes de se trabalhar. Dependendo das suas necessidades, aqui estão algumas ótimas ferramentas de análise de dados com seus usos e limitações: 1. Tableau Publici. O que é o Tableau Public – Ferramentas de análise de big dataÉ uma ferramenta simples e intuitiva. Como oferece informações intrigantes por meio da visualização de dados. Limite de milhões de linhas do Tableau Public. Como é fácil usar tarifas melhores do que a maioria dos outros players do mercado de análise de dados. Com os recursos visuais do Tableau, você pode investigar uma hipótese. Além disso, explore os dados e verifique suas idéias.ii. Utilizações do Tableau PublicVocê pode publicar visualizações de dados interativas gratuitamente na Web. Nenhuma habilidade de programação é necessária. As visualizações publicadas no Tableau Public podem ser incorporadas aos blogs. Além disso, páginas da web e sejam compartilhadas por e-mail ou mídia social. O conteúdo compartilhado pode estar disponível para downloads. Isso o torna as melhores ferramentas de Big Data Analytics.iii. Limitações do Tableau PublicTodos os dados são públicos e oferecem muito pouco escopo para acesso restrito. Limitação de tamanho de dados Não pode ser conectado ao R. A única maneira de ler é através de fontes OData, é Excel ou txt.2. OpenRefinei. O que é o OpenRefine – Data Analytic Tools Anteriormente conhecido como GoogleRefine, o software de limpeza de dados. Como ajuda a limpar os dados para análise. Opera em uma linha de dados. Além disso, tenha células em colunas, bastante semelhantes às tabelas de banco de dados relacional.ii. Usos do OpenRefineLimpar dados desordenadosTransformação de dadosParar dados de sitesAdicionar dados ao conjunto de dados, buscando-o em serviços da web. Por exemplo, o OpenRefine pode ser usado para geocodificar endereços para coordenadas geográficas.iii. As limitações do OpenRefineOpen Refine não são adequadas para grandes conjuntos de dados.Refine não funciona muito bem com big data3. KNIMEi. O que é o KNIME – Ferramentas de Análise de Dados O KNIME ajuda você a manipular, analisar e modelar dados por meio de programação visual. É usado para integrar vários componentes para mineração de dados e aprendizado de máquina.ii. Os usos do KNIMED não gravam blocos de código. Em vez disso, é necessário soltar e arrastar pontos de conexão entre as atividades. Essa ferramenta de análise de dados suporta linguagens de programação. De fato, ferramentas de análise como essas podem ser estendidas para executar dados químicos, mineração de texto, python e R.iii. Limitação da visualização de dados KNIMEPoor4. RapidMineri. O RapidMiner – Data Analytic Tools O RapidMiner fornece procedimentos de aprendizado de máquina. E a mineração de dados, incluindo visualização de dados, processamento, modelagem estatística e análises preditivas. O RapidMiner escrito em Java está rapidamente ganhando aceitação como uma ferramenta de análise de Big Data.ii. Utiliza o RapidMinerEle fornece um ambiente integrado para análise de negócios e análise preditiva. Junto com aplicativos comerciais e de negócios, também é usado para o desenvolvimento de aplicativos.iii. Limitações do RapidMinerRapidMiner possui restrições de tamanho em relação ao número de linhas.Para o RapidMiner, você precisa de mais recursos de hardware que ODM e SAS.5. Google Fusion Tablesi. O que é o Google Fusion TablesQuando se trata de ferramentas de dados, temos uma versão mais legal e maior das planilhas do Google. Uma ferramenta incrível para análise de dados, mapeamento e visualização de grandes conjuntos de dados. Além disso, o Google Fusion Tables pode ser adicionado à lista de ferramentas de análise de negócios. Essa também é uma das melhores ferramentas de Big Data Analytics.ii. Utiliza o Google Fusion TablesVisualize dados de tabela maiores on-line.Filtre e resuma em centenas de milhares de linhas.Combine tabelas com outros dados na WebVocê pode mesclar duas ou três tabelas para gerar uma visualização única que inclua conjuntos de dados.Você pode criar um mapa em minutos iii. Limitações das tabelas do Google Fusion Apenas as primeiras 100.000 linhas de dados de uma tabela são incluídas nos resultados da consulta ou mapeadas. O tamanho total dos dados enviados em uma chamada de API não pode ser superior a 1 MB.6. NodeXLi. O que é o NodeXLIt é um software de visualização e análise de relacionamentos e redes. O NodeXL fornece cálculos exatos. É um software de análise e visualização de rede gratuito (não o profissional) e de código aberto. O NodeXL é uma das melhores ferramentas estatísticas para análise de dados. No qual inclui métricas avançadas de rede. Além disso, acesso a importadores de dados de redes de mídia social e automation.ii. Usos do NodeXLEsta é uma das ferramentas de análise de dados do Excel que ajuda nas seguintes áreas: Importação de dadosVisualização gráficaAnálise de gráficosRepresentação de dadosEste software integra-se ao Microsoft Excel 2007, 2010, 2013 e 2016. Abre como uma pasta de trabalho com uma variedade de planilhas que contêm os elementos de uma estrutura gráfica. Isso é como nós e arestas. Este software pode importar vários formatos de gráfico. Tais matrizes de adjacência, Pajek .net, UCINet .dl, GraphML e edge lists.iii. Limitações do NodeXLYVocê precisa usar vários termos de propagação para um problema específico.extrações em momentos ligeiramente diferentes. Wolfram Alphai. O Wolfram Alpha é um mecanismo de conhecimento computacional ou mecanismo de resposta fundado por Stephen Wolfram.ii. Usos do Wolfram AlphaÉ um complemento para o Siri da Apple Fornece respostas detalhadas para pesquisas técnicas e resolve problemas de cálculo. Ajuda os usuários corporativos com tabelas e gráficos de informações. E ajuda na criação de visões gerais de tópicos, informações sobre mercadorias e histórico de preços de alto nível.iii. O Wolfram Alpha só pode lidar com números e fatos conhecidos publicamente, e não com pontos de vista. Limita o tempo de computação para cada consulta. Alguma dúvida nessas ferramentas estatísticas para análise de dados? Por favor, comente. Operadores de pesquisa do Googlei. O que são operadores de pesquisa do GoogleÉ um recurso poderoso que ajuda a filtrar os resultados do Google. Isso instantaneamente para obter as informações mais relevantes e úteis.ii. Utilizações dos operadores de pesquisa do GoogleFiltro mais rápido dos resultados de pesquisa do GoogleA poderosa ferramenta de análise de dados do Google pode ajudar a descobrir novas informações.9. Solveri. O que é o Excel Solver O suplemento Solver é um programa de complemento do Microsoft Office Excel. Além disso, ele está disponível quando você instala o Microsoft Excel ou o Office. É uma ferramenta de programação e otimização linear no excel, que permite definir restrições. É uma ferramenta de otimização avançada que ajuda na rápida solução de problemas.ii. Utilizando o Solvert, os valores finais encontrados pelo Solver são uma solução para a inter-relação e a decisão. Ele usa uma variedade de métodos, desde a otimização não-linear. E também programação linear para algoritmos evolutivos e genéticos, para encontrar soluções. Limitações do Solver O dimensionamento ruim é uma das áreas em que o Excel Solver não existe.Pode afetar o tempo e a qualidade da solução.O Solucionador afeta a capacidade de resolução intrínseca do seu modelo. Dataiku DSSi. O Dataiku DSST é uma plataforma colaborativa de software de ciência de dados. Além disso, ajuda a equipe a construir, prototipar e explorar. No entanto, ele fornece seus próprios produtos de dados com mais eficiência.ii. Usos do Dataiku DSSDataiku DSS – As ferramentas analíticas de dados fornecem uma interface visual interativa. Assim, eles podem criar, clicar e apontar ou usar linguagens como SQL.iii. Limitação do Dataiku DSS Recursos de visualização limitados Barreiras da interface do usuário: Recarregamento de código / conjuntos de dadosInabilidade de compilar facilmente todo o código em um único documento / notebook Se você gosta da resposta, por favor, vote!

 

O que devo resolver com ferramentas de big data e o que devo resolver com business intelligence?

1
Se você estiver trabalhando, procure um problema nos projetos com os quais está trabalhando. Certamente há dados transacionais em algum lugar que você pode analisar. Você ficará surpreso com a quantidade de informações interessantes que poderá obter. Se estiver estudando, entre para um grupo de pesquisa que trabalha com big data. Se não houver grupos específicos de big data, procure por qualquer grupo de pesquisa com dados transacionais. Um bom número deles terá. Você pode analisá-los e estudá-los conforme minha sugestão acima.

 

Existe alguma ferramenta de visualização de dados de código aberto para big data?

1
O Tableau é uma ferramenta rápida de inteligência comercial e visualização de dados. É de código aberto para a academia. Oferece plataforma interativa de visualização de dados.

2
Confira nossa solução de Business Intelligence de Big Data (NoSQL), chamada Databasel. E sim, é de código aberto. Ele foi desenvolvido para desenvolver e implementar seus projetos de análise NoSQL de maneira rápida e fácil. Nossa visão é que você deve manter os dados onde estão e usar ferramentas inteligentes o suficiente para visualizar dados diretamente do banco de dados. Tudo o que você precisa para começar é apenas um navegador. Basicamente, plug and play! Se você tiver alguma dúvida, entre em contato conosco.

 

Como as empresas executam análises preditivas usando as ferramentas Hadoop / Big Data em larga escala?

1
Alguns de nós ainda usam a computação em grade (via Sun Grid Engine ou um pacote relacionado). Isso é muito simples se comparado ao código Hadoop: basta escrever scripts no estilo Unix e dividir seu trabalho em partes. Geralmente, é necessário algum script especial para lidar com as etapas de “redução”. O MPI aberto também é popular. O MPI aberto permite manter os processos em execução entre as etapas de “redução”. Isso pode ser crítico quando carregar dados repetidamente a cada iteração é muito caro. Usar o Open MPI é um pouco complicado, pois você precisa compilar seu código com o compilador Open MPI especial e usar sintaxe especial.

 

Qual é o futuro das ferramentas analíticas para big data?

1
Não prevejo grandes mudanças nas ferramentas. O domínio é muito grande e não há uma bala mágica. Atualmente, as ferramentas existentes são boas o suficiente quando usadas pelas pessoas com experiência. Haverá mais visualização e mais mecanismos de consulta difusa em tempo real. Ainda seria necessário algum trabalho manual para cavar os dados.

2
Hue é um projeto que está crescendo muito. Novas versões melhoram continuamente a integração das ferramentas de Big Data e fornecem melhores gráficos e interatividade com a ajuda do Search, Impala, Spark.

3
Não tenho dúvidas de que o Aclaro é o futuro quando se trata do mundo dos dados. Analisar o big data permite que analistas, pesquisadores e usuários de negócios tomem decisões melhores e mais rápidas usando os dados que antes eram inacessíveis ou inutilizáveis! Com eles, existe o não tenha mais medo de depender de papéis ou documentos offline, que geralmente podem ser manipulados, alterados ou alterados! Então, para mim, o Aclaro é provavelmente a ferramenta MAIS importante para QUALQUER empresa, independentemente do tamanho!

 

Quais são as ferramentas de big data do Excel para fazer uma análise predetiva de nossas eleições com bancos de dados de resultados primários e dados demográficos em municípios?

1
A resposta de Paulo é extremamente pessimista. Você pode usar o Power Pivot e o Power Query no Excel para lidar com milhões de linhas de dados com bastante agilidade, mesmo em um laptop. É verdade que provavelmente existem ferramentas melhores para esse tipo de coisa, mas se você quiser usar o Excel para isso, poderá. Existem alguns bons vídeos de visão geral do Power Pivot online. Analise primeiro os itens para ter uma ideia melhor do que é e por que é útil.

 

Quais são as 10 principais ferramentas de big data que devo usar hoje?

1
Essa é absolutamente a abordagem errada para o Big Data. Quais são suas necessidades primeiro? Depois de estabelecer o requisito, você poderá iniciar o processo de seleção para você. Em seguida, escolha a ferramenta que você deve usar para suas necessidades. Existem literalmente centenas de ferramentas. A maioria se sobrepõe à funcionalidade e todos têm concorrentes no mesmo domínio.

2
AnswerMinerTableaudatapinePower BIGoogle Data StudioQlikDataheroHadoopRCloudera

 

Quais são alguns bons recursos para aprender Hadoop, Hive e outras ferramentas de big data?

1
Existem vários recursos que ajudarão você a dominar o big data, o Hadoop e suas ferramentas. Big data são basicamente dados muito grandes para serem armazenados, processados e analisados usando métodos tradicionais. Para superar esse desafio do big data, o Hadoop surgiu. O Hadoop é uma estrutura que gerencia o armazenamento de big data de maneira distribuída e o processa paralelamente. O Hadoop possui suas próprias ferramentas, usadas para análise de dados. Tomemos o Hive como um exemplo; no Hadoop MapReduce geralmente o Java é usado para processar dados. Os usuários acharam difícil codificar, pois nem todos eram versados nas linguagens de codificação. Os usuários exigiam uma linguagem semelhante ao SQL, que era bem conhecida por todos os usuários. Como resultado, o Hive foi adotado pelo Facebook. O Hive foi desenvolvido com uma visão para incorporar os conceitos de tabelas, colunas como o SQL. O Hive é um sistema de armazém de dados usado para consultar e analisar grandes conjuntos de dados armazenados no HDFS. O Hive usa uma linguagem de consulta chamada HiveQL que é semelhante ao SQL. Você pode aprender sobre o Hive, Pig, HBase e outras ferramentas lendo blogs ou assistindo a alguns vídeos do YouTube. Em anexo, há um vídeo que eu pessoalmente acho útil para aprender o Hive.

2
Consulte estas respostas para perguntas semelhantes: Resposta de Saurabh Gupta para Quais habilidades precisamos para big data? Resposta de Saurabh Gupta para Qual é a ordem em que se deve aprender diferentes tecnologias para Bigdata e Hadoop? Happy Learning!

3
O Big Data está em todo lugar e os trabalhos de Big Data estão em todo lugar. Vamos deixar os clichês para trás e ir direto ao ponto – um profissional do Hadoop pode ganhar um salário médio de US $ 112.000 por ano e em San Francisco o salário médio pode chegar a US $ 160.000. Agora que temos toda a sua atenção, vamos nos aprofundar no que exatamente queremos dizer com um Hadoop Professional e quais são as funções e responsabilidades de um curso profissional do Hadoop Intellipaat que é uma marca reconhecida globalmente e que possui Big Data. Além disso, você obtém a certificação de conclusão do curso juntamente com o certificado de experiência de 3 meses, pois eles o fazem trabalhar em projetos industriais exaustivos durante o curso.

 

Como alguém pode viver projetos no Big Data Analytics para ter uma carreira nesse campo? Quais são as boas ferramentas de análise de big data para começar?

1
De acordo com mim, à medida que os anos precedem sua carreira, as ferramentas são alteradas. As novas ferramentas e novos pacotes mudam com muita frequência. Em vez disso, nas primeiras idades, concentra-se mais e aprende mais sobre estatística e probabilidade, distribuição de probabilidade, programação R ou Python e Álgebra linear.Se você é bom com esses tópicos, as ferramentas que serão úteis para você são: Para plotagem de dados e Estatística -Rstudio (GUI OF R) Para visualização de dados -RstudioSe você usa Python, então vá com Notebooks Jupyter e tenha pacotes )

2
O Programa de Certificação em Business Analytics do IIT Madras e o Programa GFMP Edge Data Scientist do BSE Institute permitem que os aspirantes compreendam profundamente as principais tecnologias usadas na análise, a saber. mineração de dados, aprendizado de máquina, técnicas de visualização e estatística. O programa foi desenvolvido com um cronograma que minimiza interrupções de trabalho e atividades pessoais, espalhadas por um ano (tempo parcial), com foco na visão geral do campo da análise, para que você possa tomar decisões de negócios informadas

3
Para perguntas da entrevista de Big Data e cenários de casos de uso criados a partir do Scratch, confira o conteúdo em nosso canal! Além disso, deixe-nos saber se você deseja aprender algum tópico específico ou caso de uso.

 

Por que tantas ferramentas populares de Big Data estão em execução na JVM em vez de no código nativo?

1
A JVM pode executar com mais eficiência do que o código nativo devido ao JIT, que pode adaptar sua geração de código nativo de algumas maneiras interessantes sobre as quais não posso fornecer detalhes. Ideia principal: Java e C ++ têm potencial semelhante de desempenho quando usados corretamente. A única desvantagem da JVM e da maioria dos idiomas disponíveis, exceto C ++, Rust e D, é a coleta de lixo que requer uma parada do mundo por pelo menos uma parte de seu trabalho. Isso está afetando apenas os aplicativos sensíveis à latência, e não os orientados à taxa de transferência, como toda a área de computação. Então, sim, o HBase é afetado e este é o principal ponto de venda do concorrente HyperTable. No entanto, seguindo o exemplo do HBase, a principal fonte de latência seria um hot spotting em uma região, em vez de apenas o GC. Ou cascata de compactação. Ou movendo regiões. Ou coprocessadores problemáticos. Portanto, geralmente os principais culpados de latência e indeterminismo são outras coisas além da GC, e a engenharia adequada conta muito mais que a linguagem. O Google tem isso em C ++. Mas a maioria das empresas não contrata talentos como o Google. Java é uma linguagem mais fácil e ainda oferece ótimo desempenho. Além disso, o ecossistema existente já é JVM. E uma execução virtualizada tem seus benefícios: você sempre verá uma mensagem e normalmente um rastreamento de pilha em Java, enquanto em C ++ ou Go você verá apenas “Falha na segmentação”. Uh A JVM possui o melhor ecossistema de instrumentação, você pode ter visibilidade na JVM com NewRelic, VisualVM, Java Melody e outras que não tenho certeza de que sejam possíveis no código nativo. Ah, e sobre o GC: existem maneiras Java de andar pelo GC: gerenciar seu próprio heap, como o Apache Flink e o Apache Spark estão prestes a fazer.

2
A implementação dessas ferramentas pelo Google é executada em código nativo. Especulo que, para grandes conjuntos de dados e os grandes grupos que o Google executa, o código nativo é importante. No entanto, para conjuntos de dados menores, você pode ser dominado pelo acesso à rede e à E / S do disco. Além disso, observe que o Google tem um problema legado. Pode ser que, com a chance de compilar tudo de novo, o Google possa optar por executar a JVM.

3
Você mencionou duas ferramentas: Hadoop (e seus componentes) e Cassandra. Existem alternativas como Microsoft Dryad e Greenplum, além de novas tecnologias como HyperDex (disponível em Python)

 

Qual é o melhor blog / site para se manter atualizado sobre as mais recentes big data, ferramentas e tecnologias de aprendizado de máquina?

1
Meus favoritos são os belov: r / MachineLearningMachine learningMachine Learning & BI blogAs pessoas estão na minha lista superior. Você obterá desses conhecimentos do blog sobre o Machine Learning como conceito básico e entenderá como ele influencia o mundo e também como casos de uso reais e estudos de caso de soluções de aprendizado de máquina. Isso ajudará você a entender melhor como o Machine Learning é usado no mundo real e de que tipo de problemas ele resolve.Por favor, deixe-me saber se foi útil.

2
Aqui está uma coleção dos artigos mais recentes sobre big data. Este briefing é atualizado a cada poucas horas. Isso fará com que você tenha que visitar vários sites diferentes todos os dias para atualizações.Tendências de grande volume de dados – Anders PinkAqui está o aprendizado de máquinaAprendizagem de máquina – Anders Pink

3
Análise computacional: um caminho para melhorar a análise de big datahttp: //blog.qburst.com/2014/10/c … Análise preditiva: http: //blog.qburst.com/2014/11/p

 

É possível transmitir perguntas do Quora usando qualquer uma das ferramentas de big data?

1
É possível usando raspagem na web. Existem várias bibliotecas usadas para descartar dados da web. Uma das bibliotecas de raspagem da web para python que eu uso é ‘Beautiful Soup’. Seria muito mais fácil se o Quora tivesse fornecido uma API.

 

Cassandra é uma ferramenta de grande volume de dados?

1

Sim, Cassandra é uma ferramenta de big data. O Apache Cassandra é baseado em um banco de dados NoSQL e adequado para dados transacionais online de alta velocidade. O Apache Cassandra é gratuito e oferece DBMS No-SQL distribuído de código aberto, construído para gerenciar grandes volumes de dados espalhados por vários servidores comuns, oferecendo alta disponibilidade. Algumas das empresas de alto nível que usam Cassandra incluem Accenture, American Express, Facebook, General Electric, Honeywell, Yahoo, etc.

É muito comum ver profissionais PERDIDOS diante de tantos conceitos, técnicas e ferramentas.

Talvez você esteja se sentindo CONFUSO…

Precisando de ajuda pra encontrar um caminho…

Pra saber por onde começar…

Por isso eu escrevi um livro GRATUITO sobre Estatística, Ciência de Dados e Linguagem R.

Parece interessante?

Ótimo!

Você pode BAIXAR SUA CÓPIA AQUI.

Qlik Sense & Power BI Parte 1 – Análise de Dados com facilidade e praticidade!

Análise de Dados da Wiipedia com Qlik Sense Gratuito

Análise de Dados da Wiipedia com Qlik Sense Gratuito

Com quantos cliques se faz um Dashboard como este acima?

Você sabe?

Não?

Então vamos descobrir agora, pois nunca foi tão fácil obter e exibir dados em gráficos, visualizações, painéis, dashboards, indicadores e todo tipo de formato de exibição imaginável.

Mas tem um detalhe.

Sem o devido cuidado, a visualização pode acabar representando apenas o resultado de um péssimo trabalho de análise de dados.

Isso porque, como qualquer cientista de dados com alguma experiência sabe, a parte mais complexa do processo é sempre o tratamento dos dados.

Mas este artigo não vai focar neste aspecto, pelo menos por enquanto, focando na demonstração de algumas facilidades que as ferramentas do mercado vêm incorporando nos últimos anos, e que impressionam pelo nível de simplicidade que estão alcançando, ao facilitar tarefas anteriormente complexas como Web Scraping.

Verdade seja dita, mesmo com estas facilidades todas, há limitações, como a “importação” restrita a tabelas HTML a partir de fontes web, no caso do Qlik Sense.

Ainda assim, não deixa de ser um enorme avanço, levando em conta que há tanto, mas tanto conteúdo na web, que quase sempre é possível encontrar uma página com as informações que precisa num formato adequado para o uso pela ferramenta.

Neste exemplo específico que trago pra você, fiz a importação de uma página da Wikipedia com informações sobre o  regime de governo de dezenas de países. Minha intenção é comparar estas informações com outras, em especial indicadores de qualidade de vida dos cidadãos, para obter algumas respostas relevantes, dentro do que estou chamando de “Análise de Dados Cidadã”.

Tenho uma preocupação muito grande em aproveitar este momento de maior envolvimento da sociedade brasileira nas discussões sobre política e o futuro do país, para apoiar e fomentar discussões relevantes, baseadas em dados científicos e não somente achismos.

Mas chega de conversa fiada, e vamos ao que interessa!

Pra este primeiro artigo, fiz um cadastro no site da Qlik, que permite o acesso e uso gratuito do Qlik Sense Cloud para até 5 usuários compartilhados, se entendi direito.

Uma vez cadastrado, o processo de gerar o dashboard que ilustra este post foi ridiculamente simples:

  • Acessar o portal do Qlik Sense Cloud com usuário e senha registrados (após validar o cadastro por um link enviado por email);
  • Clicar em Criar Aplicativo;
  • Clicar em Adicionar Dados – Arquivo da Web;
  • Informar a URL “https://pt.wikipedia.org/wiki/Lista_de_pa%C3%ADses_por_sistema_de_governo”;
  • Selecionar as tabelas que desejava importar (neste caso apenas a primeira, com os dados dos regimes de governo por país);
  • Escolher a codificação Unicode (UTF-8 também deve funcionar);
  • Confirmar a importação dos dados;
  • Clicar em Gerar Insights na tela seguinte.

Ou seja, o painel que você vê na imagem que ilustra este post foi construído sem que precisasse escrever uma linha de código sequer, nem escolher objetos, parâmetros, colunas, muito menos criar fórmulas e expressões.

As relações entre os dados, seus tipos, melhor formato de exibição, combinações que fariam sentido e até mesmo o tipo de gráfico mais adequado para exibição foi determinado automaticamente pela ferramenta, neste caso o Qlik Sense Cloud.

Incrível, não é mesmo?

Conclusão

Neste primeiro post da série, quis apenas dar uma ideia pra você do nível de facilidade para obter e visualizar dados automagicamente, usando algumas das ferramentas mais modernas que temos à disposição atualmente.

Ainda falta muito para ter uma aplicação realmente funcional, com informações tratadas, combinadas de forma consistente, e que respondam perguntas relevantes para o negócio.

Mas o que as ferramentas já avançaram no sentido de facilitar este trabalho é realmente impressionante!

E sabe qual a parte mais legal disso? Estas facilidades estão permitindo que mais pessoas possam se debruçar sobre dados e realizar análises cada vez mais úteis para as empresas (e para a sociedade!), reduzindo a barreira da complexidade tecnológica que costuma atrapalhar em muitos casos, criando uma dependência desnecessária de profissionais de TI em casos onde a análise a ser feita depende mais do especialista do negócio.

E para os casos mais complexos, aí sim o especialista de TI, em parceria com o negócio, pode apoiar na construção de análises mais sofisticadas que potencializem o que há de melhor nas tecnologias como Inteligência Artificial com Machine Learning e Deep Learning, por exemplo.

Fique ligado que essa é mais uma série do Tecnologia que Interessa! que promete, e muito!

Você não vai perder, né?

Até o próximo post! 😀

Os feitos mais incríveis da Inteligência Artificial (Deep Learning) dos últimos anos!

Inteligência Artificial & Deep Learning

Em mais um “tropeço” nas minhas andanças pela web, eis que me reparo com este conteúdo espetacularmente espetacular (sim, a redundância é mais que justificada!).

O pessoal da Statsbot está constantemente analisando as conquistas da área do deep learning, os maiores feitos em termos de desenvolvimentos em tecnologias de texto, voz e visão computacional, para aprimorar modelos e produtos.

No final de 2017, eles decidiram avaliar as conquistas recentes do deep learning (e um pouquinho mais).

Obviamente que eu não poderia deixar passar esta oportunidade de traduzir a tradução deles do artigo de um cientista de dados, Ed Tyantov, para falar sobre os desenvolvimentos mais significativos que podem afetar nosso futuro.

1. Texto

1.1 Máquina de Tradução Neural do Google

Há quase um ano, a Google anunciou o lançamento de um novo modelo para o Google Tradutor. A empresa descreveu em detalhes a arquitetura de rede – a Rede Neural Recorrente (RNN).

O resultado principal: reduzir a lacuna na precisão da tradução em 55% a 85% (estimada por pessoas em uma escala de 6 pontos). É difícil reproduzir bons resultados com esse modelo sem o enorme conjunto de dados que a Google possui.

1.2. Negociações. Vai ser um bom negócio?

Você provavelmente ouviu a notícia de que o Facebook desligou seu chatbot, que saiu do controle e criou sua própria linguagem. Este chatbot foi criado pela empresa para gerir negociações. Sua finalidade é conduzir negociações de texto com outro agente e chegar a um acordo: como dividir itens (livros, chapéus, etc.) por dois. Cada agente possui seu próprio objetivo nessas negociações que o outro não conhece. É impossível sair dessas negociações sem chegar em um acordo.

Para treinamento, eles coletaram um conjunto de dados de negociações humanas e treinaram uma rede recorrente supervisionada. Então, eles pegaram um agente treinado em reforço de aprendizagem e o treinaram para falar consigo mesmo, estabelecendo um limite – a similaridade da linguagem com um humano.

O bot aprendeu uma das melhores estratégias reais da negociação – demonstrar um interesse falso em certos aspectos do negócio, apenas para desistir deles mais tarde e se beneficiar dos seus objetivos reais. Foi a primeira tentativa de criar um bot tão interativo, foi um sucesso.

A história completa está neste artigo e o código está disponível publicamente.

Certamente, a notícia de que o robô supostamente inventou uma linguagem foi inflada a partir do zero. Ao treinar (em negociações com o mesmo agente), eles desativaram a restrição da similaridade do texto ao humano e o algoritmo modificou a linguagem da interação. Nada incomum.

Durante o ano passado, as redes foram geradas ativamente e utilizadas em muitas tarefas e aplicações. A arquitetura dos RNNs tornou-se muito mais complicada, mas em algumas áreas, foi melhorada através das redes feedforward simples – DSSM. Por exemplo, a Google atingiu a mesma qualidade, como com o LSTM anteriormente, no recurso de correspondência inteligente. Além disso, a Yandex editou um novo mecanismo de busca de informações em tais redes.

2. Voz

2.1. WaveNet: Um modelo produtor de áudio bruto

Funcionários da DeepMind relataram muitas informações em seu artigo sobre como gerar áudio. Resumidamente, os pesquisadores fizeram um modelo WaveNet autorregressivo de convolução completa baseados em abordagens anteriores para geração de imagens (PixelRNN e PixelCNN).

A rede foi treinada de ponta a ponta: texto para o input, áudio para o output. As pesquisas obtiveram um excelente resultado, já que a diferença em relação aos humanos foi reduzida em 50%.

A principal desvantagem da rede é sua baixa produtividade, pois devido à autorregressão, os sons são gerados sequencialmente, o que leva cerca de 1 a 2 minutos para criar um segundo de áudio.

Dê uma olhada nesse… quero dizer, dê uma ouvida nesse exemplo.

Se você remover a dependência da rede no texto de entrada e deixar apenas a dependência do fonema gerado anteriormente, a rede irá gerar fonemas semelhantes à linguagem humana, mas eles não terão sentido.

Ouça o exemplo da voz gerada.

Esse mesmo modelo pode ser aplicado não apenas à fala, mas também, por exemplo, à criação de músicas. Imagine o áudio gerado pelo modelo, que foi ensinado a usar o conjunto de dados de um jogo de piano (novamente sem qualquer dependência dos dados de entrada).

Leia uma versão completa da pesquisa da DeepMind caso seja do seu interesse.

2.2. Leitura labial

A leitura labial é outra conquista do deep learning e uma vitória sobre os humanos.

O Deepmind da Google, em colaboração com a Universidade de Oxford, relatou no artigo “Frases de leitura labial na natureza” sobre como o seu modelo, que havia sido treinado com um conjunto de dados de televisão, conseguiu superar o leitor de lábios profissional do canal da BBC.

Existem 100.000 frases com áudio e vídeo no seu conjunto de dados. Modelo: LSTM em áudio e CNN + LSTM em vídeo. Esses dois vetores de estado são enviados para o LSTM final, que gera o resultado (caracteres).

Diferentes tipos de dados de entrada foram usados durante o treinamento: áudio, vídeo e áudio + vídeo. Em outras palavras, é um modelo presente em todos os canais.

2.3. Sintetizando o Obama: sincronização do movimento labial do áudio

A Universidade de Washington fez um ótimo trabalho ao gerar os movimentos labiais do ex-presidente dos EUA, Obama. A escolha recaiu sobre ele devido ao grande número de gravações da sua performance online (17 horas de vídeo HD).

Eles não conseguiam se dar bem com a rede, pois tinham muitos artefatos. Portanto, os autores do artigo fizeram uso de várias muletas (ou truques, se você preferir) para melhorar a textura e o timing.

Você pode ver que os resultados são incríveis. Logo, você não vai poder confiar nem mesmo em um vídeo com o presidente do seu país.

3. Visão computacional

3.1. OCR: Google Maps e Street View

Em sua postagem e artigo, o Google Brain Team relatou como eles introduziram um novo mecanismo de OCR (sigla em inglês de Reconhecimento Ótico de Caracteres) em seus mapas, por meio do qual as placas de rua e de lojas são reconhecidas.

No processo de desenvolvimento dessa tecnologia, a empresa compilou um novo FSNS (Placas de nomes de ruas francesas), que contém muitos casos complexos.

Para reconhecer cada placa, a rede usa até quatro fotos suas. Os recursos são extraídos com a CNN, redimensionados com a ajuda da atenção espacial (as coordenadas de pixel são consideradas) e o resultado é enviado para o LSTM.

A mesma abordagem é aplicada à tarefa de reconhecer os nomes das lojas em suas placas (pode haver muitos dados conflitantes e a própria rede deve “focar” nos lugares corretos). Este algoritmo foi aplicado em 80 bilhões de fotos.

3.2. Raciocínio visual

Existe um tipo de tarefa chamada raciocínio visual, em que uma rede neural é solicitada a responder uma pergunta usando uma foto. Por exemplo: “Existe algo de borracha que seja do mesmo tamanho que o cilindro de metal amarelo que está na mesma?” Se trata de algo importante e até recentemente, a precisão era de apenas 68,5%.

E novamente o avanço foi alcançado pela equipe da Deepmind: no conjunto de dados da CLEVR eles atingiram uma precisão super-humana de 95,5%.

A arquitetura da rede é muito interessante:

  1. Usando o LSTM pré-treinado na questão de texto, obtemos a incorporação da questão.
  2. Usando a CNN (apenas quatro camadas) com a imagem, obtemos mapas de recursos (elementos que caracterizam a imagem).
  3. Em seguida, formamos combinações de fatias de coordenadas nos mapas de características em pares (amarelo, azul, vermelho na figura abaixo), adicionando coordenadas e a incorporação de texto a cada uma delas.
  4. Nós enviamos todos esses triplos através de outra rede e somamos tudo.
  5. A apresentação resultante é executada por meio de outra rede feedforward, que fornece a resposta no softmax.

3.3. Pix2Code

Uma aplicação interessante de redes neurais foi criada pela empresa Uizard: gerando o código do layout de acordo com uma captura de tela do designer de interface.

Esta é uma aplicação extremamente útil das redes neurais, que pode facilitar muito o desenvolvimento de softwares. Os autores afirmam que atingiram 77% de precisão. No entanto, isso ainda está sendo pesquisado e ainda não há conversas sobre o seu uso real.

Não há código ou conjunto de dados em código aberto, mas eles prometem fazer o upload.

3.4. SketchRNN: Ensinando uma máquina a desenhar

Talvez você já tenha visto o Quick, Draw! do Google, onde o objetivo é desenhar esboços de vários objetos em 20 segundos. A corporação coletou este conjunto de dados para ensinar a rede neural a desenhar, como o Google descreveu em seu blog e artigo.

O conjunto de dados coletados consiste em 70 mil esboços, que acabaram se tornando públicos. Os esboços não são quadros, mas representações vetoriais detalhadas de desenhos (no ponto em que o usuário pressionou o “lápis” e o soltou após a linha ser desenhada, e assim por diante).

Os pesquisadores treinaram o Autoencoder Variacional Sequence-to-Sequence (VAE) usando a RNN como um mecanismo de codificação/decodificação.

Eventualmente, como convém ao codificador automático, o modelo recebeu um vetor latente que caracteriza a imagem original.

Enquanto o decodificador pode extrair um desenho desse vetor, você pode alterá-lo e obter novos esboços.

E até mesmo fazer a aritmética vetorial para criar um porgato:

3.5. GANs

Um dos tópicos mais interessantes do Deep Learning são as Generative Adversarial Networks (as GANs). Na maioria das vezes, essa ideia é usada para trabalhar com imagens, então vou explicar o conceito usando-as.

A ideia está na competição entre duas redes – a geradora e a discriminadora. A primeira rede cria uma imagem e a segunda tenta entender se a imagem é real ou se ela é gerada.

Esquematicamente é mais ou menos assim:

Durante o treinamento, o gerador de um vetor aleatório (ruído) gera uma imagem e a insere na entrada do discriminador, que diz se ela é falsa ou não. O discriminador também recebe imagens reais do conjunto de dados.

É difícil treinar essa construção, pois é difícil encontrar o ponto de equilíbrio entre essas duas redes. Na maioria das vezes, o discriminador ganha e o treinamento fica estagnado. No entanto, a vantagem do sistema é que podemos resolver problemas nos quais é difícil definirmos a função de perda (por exemplo, melhorando a qualidade da foto) – nós a damos ao discriminador.

Um exemplo clássico de um resultado de treinamento GAN são fotos de quartos ou pessoas

Anteriormente, nós considerávamos a auto codificação (Sketch-RNN), que codifica os dados originais em uma representação latente. A mesma coisa acontece com o gerador.

A ideia de gerar uma imagem usando um vetor é claramente mostrada neste projeto no exemplo dos rostos. Você pode alterar o vetor e ver como as faces mudam.

A mesma obra aritmética sobre o espaço latente: “um homem de óculos” menos “um homem” mais uma “mulher” é igual a “uma mulher com óculos”.

3.6. Mudando a idade do seu rosto com GANs

Se você ensinar um parâmetro controlado ao vetor latente durante o treinamento, ao gerá-lo, você poderá alterá-lo e assim, gerenciar a imagem necessária na imagem. Essa abordagem é chamada de GAN condicional.

Assim como os autores do artigo, “Enfrentando o Envelhecimento com Redes Adversariais Generativas Condicionais”. Tendo treinado o mecanismo no conjunto de dados do IMDB com uma idade conhecida dos atores, os pesquisadores tiveram a oportunidade de mudar a idade do rosto da pessoa.

3.7. Fotos profissionais

O Google encontrou outra aplicação interessante de GAN – a escolha e melhoria de fotos. A GAN foi treinada em um conjunto de dados de fotos profissionais: o gerador está tentando melhorar fotos ruins (fotografadas profissionalmente e degradadas com a ajuda de filtros especiais) e o discriminador – para distinguir fotos “aprimoradas” e fotos reais.

Um algoritmo treinado passou pelos panoramas do Google Street View em busca da melhor composição e recebeu algumas fotos de qualidade profissional e semi-profissional (conforme a classificação dos fotógrafos).

3.8. Sintetização de uma imagem a partir de uma descrição de texto

Um exemplo impressionante de GANs é gerar imagens usando texto.

Os autores desta pesquisa sugerem a incorporação de texto na entrada não apenas a partir de um gerador (GAN condicional), mas também de um discriminador, para que ele verifique a correspondência do texto com a imagem. Para se certificar de que o discriminador aprendeu a desempenhar sua função, além do treinamento, eles adicionaram pares com um texto incorreto para as imagens reais.

3.9. Pix2pix

Um dos artigos mais atraentes de 2016 é “Tradução de imagem a imagem com redes condicionais adversas” da Berkeley AI Research (BAIR). Os pesquisadores resolveram o problema da geração imagem a imagem, quando, por exemplo, era necessário criar um mapa usando uma imagem de satélite ou uma textura realista dos objetos usando um esboço.

Aqui está outro exemplo do desempenho bem-sucedido das GANs condicionais. Neste caso, a condição se aplica em toda a imagem. Popular na segmentação de imagens, a UNet foi usada como a arquitetura do gerador, um novo classificador PatchGAN foi usado como um discriminador para combater imagens borradas (a imagem é cortada em N partes, e a previsão de verdadeiro/falso vai para cada uma delas separadamente).

Christopher Hesse fez o demo desse gato assustador, que atraiu grande interesse dos usuários.

Você pode encontrar o código fonte aqui.

3.10. CycleGAN

Para aplicar o Pix2Pix, você precisa de um conjunto de dados com os pares correspondentes de imagens de diferentes domínios. No caso, por exemplo, com cartões, não é um problema montar esse conjunto de dados. No entanto, se você quiser fazer algo mais complicado, como “transfigurar” objetos ou estilos, os pares de objetos não podem ser encontrados em princípio.

Portanto, os autores do Pix2Pix decidiram desenvolver sua ideia e desenvolveram o CycleGAN para a transferência entre diferentes domínios de imagens sem pares específicos – “Tradução de imagem a imagem sem pares”.

A ideia é ensinar dois pares de discriminadores-geradores a transferir a imagem de um domínio para outro e depois voltar, enquanto necessitamos de uma consistência do ciclo – depois de uma aplicação seqüencial dos geradores, devemos obter uma imagem semelhante à perda L1 original. Uma perda cíclica é necessária para garantir que o gerador não tenha apenas começado a transferir imagens de um domínio para imagens de outro domínio, que são completamente não relacionadas à imagem original.

Essa abordagem permite que você aprenda o mapeamento de cavalos -> zebras.

Tais transformações são instáveis e geralmente criam resultados duvidosos:

Você pode encontrar o código fonte aqui.

3.11. Desenvolvimento de moléculas em oncologia

O aprendizado por parte de máquinas agora está chegando à medicina. Além de reconhecer ultra-som, ressonância magnética e diagnóstico, ela pode ser usada para encontrar novos medicamentos para combater o câncer.

Aqui você encontra os detalhes desta pesquisa. Resumidamente, com a ajuda do Adversarial Autoencoder (AAE), você pode aprender a representação latente de moléculas e depois usá-la para procurar novas moléculas. Como resultado, 69 moléculas foram encontradas, metade das quais são usadas para combater o câncer, as outras também possuem um grande potencial.

3.12. Ataques Adversos

Tópicos com ataques adversos são ativamente explorados. O que são ataques adversos? Redes padrão treinadas, por exemplo, na ImageNet, são completamente instáveis ao adicionar ruído especial à imagem classificada. No exemplo abaixo, vemos que a imagem com ruído para o olho humano fica praticamente inalterada, mas o modelo enlouquece e prevê uma classe completamente diferente.

A estabilidade é alcançada com, por exemplo, o Fast Gradient Sign Method (FGSM): tendo acesso aos parâmetros do modelo, você pode fazer um ou várias camadas de gradiente em direção à classe desejada e mudar a imagem original.

Uma das tarefas na Kaggle está relacionada a isso: os participantes são encorajados a criar ataques/defesas universais, que são todos executados um contra o outro para determinar qual é o melhor.

Por que deveríamos investigar esses ataques? Primeiro, se quisermos proteger nossos produtos, podemos adicionar ruído ao captcha para evitar que os spammers o reconheçam automaticamente. Em segundo lugar, os algoritmos estão cada vez mais envolvidos em nossas vidas – sistemas de reconhecimento facial e carros autônomos. Nesse caso, os invasores podem usar as deficiências desses algoritmos.

Aqui está um exemplo de quando óculos especiais permitem que você engane o sistema de reconhecimento de rosto e “se passe por outra pessoa”. Então, precisamos levar em consideração possíveis ataques ao ensinar esses modelos.

Tais manipulações com placas também não permitem que elas sejam reconhecidas corretamente.

Um conjunto de artigos dos organizadores da ideia.

• Conteúdos já escritos sobre ataques: cleverhans e foolbox.

4. Aprendizagem de reforço

O aprendizado de reforço (RL) ou o aprendizado com reforço também é uma das abordagens mais interessantes e ativamente desenvolvidas no Deep Learning.

A essência dessa abordagem é aprender o comportamento bem-sucedido do agente em um ambiente que oferece uma recompensa por meio da experiência – assim como as pessoas aprendem ao longo da vida.

O RL é usado ativamente em jogos, robôs e gerenciamento de sistemas (tráfego, por exemplo).

Claro, todo mundo já ouviu falar sobre as vitórias da AlphaGo sobre os melhores profissionais. Os pesquisadores estavam usando RL no seu treinamento: o bot jogava consigo mesmo para melhorar suas estratégias.

4.1. Treinamento de reforço com tarefas auxiliares não controladas

Nos anos anteriores, a DeepMind aprendeu a usar o DQN para jogar jogos de arcade melhor que os humanos. Atualmente, os algoritmos estão sendo ensinados a jogar jogos mais complexos como o Doom.

Grande parte da atenção é dada à aceleração do aprendizado porque a experiência do agente em interação com o ambiente requer muitas horas de treinamento em GPUs modernas.

Em seu blog, a Deepmind relatou que a introdução de perdas adicionais (tarefas auxiliares), como a previsão de uma mudança de quadro (controle de pixel) para que o agente compreenda melhor as conseqüências das ações, acelera significativamente seu aprendizado.

Resultados obtidos:

https://youtu.be/Uz-zGYrYEjA

4.2. Robôs de aprendizagem

No OpenAI, eles têm estudado ativamente o treinamento de um agente por seres humanos em um ambiente virtual, que é mais seguro para experimentos do que na vida real.

Em um dos estudos, a equipe mostrou que o aprendizado individual é possível: uma pessoa mostra em RV como executar uma determinada tarefa, só uma demonstração já é suficiente para o algoritmo aprendê-la e depois reproduzi-la em condições reais.

Se fosse fácil assim para os seres humanos…

4.3. Aprendendo sobre as preferências dos seres humanos

Aqui está o trabalho da OpenAI e da DeepMind sobre o mesmo tópico. A ideia é que um agente tem uma tarefa, o algoritmo fornece duas soluções possíveis para o humano e indica qual é a melhor. O processo é repetido interativamente e o algoritmo para 900 bits de feedback (marcação binária) da pessoa aprendeu a resolver o problema.

Como sempre, os humanos devem ter cuidado e pensar o que eles estão ensinando para a máquina. Por exemplo, o avaliador decidiu que o algoritmo realmente queria pegar o objeto, mas, na verdade, ele só simulou essa ação.

4.4. Movimento em ambientes complexos

outro estudo da DeepMind que visa ensinar comportamentos complexos para o robô (andar, pular, etc.), e até fazê-lo agir semelhante ao ser humano, você tem que estar fortemente envolvido com a escolha da função de perda, o que vai encorajar o comportamento desejado. No entanto, seria preferível que o algoritmo aprendesse o comportamento complexo apoiando-se em recompensas simples.

Os pesquisadores conseguiram isso: ensinaram os agentes (emuladores corporais) a realizar ações complexas construindo um ambiente complexo com obstáculos e com uma recompensa simples pelo progresso no movimento.

Você pode assistir o vídeo e checar seus resultados impressionantes. No entanto, é muito mais divertido assisti-lo com um som sobreposto!

https://youtu.be/itACOKJHYmw

Finalmente, aqui está um link Sobre os algoritmos de aprendizado publicados sobre RL da OpenAI. Agora você pode usar soluções mais avançadas do que a DQN padrão.

5. Outros

5.1. Resfriando o Centro de Dados

Em julho de 2017, a Google informou que aproveitou o desenvolvimento do DeepMind no aprendizado de máquinas para reduzir os custos de energia do seu centro de dados.

Com base nas informações de milhares de sensores no seu centro de dados, os desenvolvedores da Google treinaram um conjunto de rede neural para prever a PUE (Eficácia do uso de energia) e um gerenciamento de centro de dados mais eficiente. Este é um exemplo impressionante e significativo da aplicação prática do ML.

5.2. Um modelo para todas as tarefas

Como você sabe, os modelos treinados são mal transferidos de tarefa para tarefa, pois cada tarefa precisa ser treinada para um modelo específico. Um pequeno passo em direção à universalidade dos modelos foi feito pelo Google Brain em seu artigo “One Model To Learn The All”.

Os pesquisadores treinaram um modelo que realiza oito tarefas de diferentes domínios (texto, fala e imagens). Por exemplo, tradução de diferentes idiomas, análise de texto e reconhecimento de imagem e som.

Para conseguir isso, eles construíram uma arquitetura de rede complexa com vários blocos para processar diferentes dados de entrada e gerar um resultado. Os blocos do codificadores/decodificadores se dividem em três tipos: convolução, atenção e mistura de especialistas (MoE).

Principais resultados da aprendizagem:

– Foram obtidos modelos quase perfeitos (os autores não ajustaram os hiperparâmetros).

– Existe uma transferência de conhecimento entre domínios diferentes, isto é, em tarefas com muitos dados, o desempenho será quase o mesmo. Geralmente ele se sai melhor com pequenos problemas (por exemplo, na análise).

– Blocos necessários para tarefas diferentes não interferem entre si e às vezes até se ajudam, por exemplo, o MoE – para a tarefa Imagenet.

A propósito, este modelo está presente em tensor2tensor.

5.3. Aprendendo na Imagenet em uma hora

Em seu post, a equipe do Facebook nos contou como seus engenheiros puderam ensinar o modelo Resnet-50 na Imagenet em apenas uma hora. Verdade seja dita, isso exigia um cluster de 256 GPUs (Tesla P100).

Eles usaram Gloo e Caffe2 para o aprendizado distribuído. Para tornar o processo efetivo, foi necessário adaptar a estratégia de aprendizado com um lote enorme (8192 elementos): média de gradiente, fase de aquecimento, taxa especial de aprendizado, etc.

Como resultado disso, foi possível atingir uma eficiência de 90% ao escalar de 8 a 256 GPUs. Agora, pesquisadores do Facebook podem ter respostas ainda mais rápido, ao contrário de meros mortais sem tal cluster.

6. Notícias

6.1. Carros autônomos

A esfera do carro autônomo está se desenvolvendo intensamente e esses carros são testados com frequência. A partir dos eventos relativamente recentes, podemos observar a compra da Intel MobilEye, os escândalos em torno das tecnologias Uber e Google roubadas por seu ex-funcionário, a primeira morte com uso de um piloto automático e muito mais.

Vale a pena destacar uma coisa: o Google Waymo está lançando um programa beta. A Google é pioneira nesse campo e supõe-se que a tecnologia deles é muito boa porque seus carros já percorreram mais de 3 milhões de milhas.

Quanto aos eventos mais recentes, os carros autônomos foram autorizados a viajar por todos os estados dos EUA.

6.2. Saúde

Como eu disse, o ML moderno está começando a ser introduzido na medicina. Por exemplo, a Google colabora com um centro médico para ajudar no seu diagnóstico.

A Deepmind até estabeleceu uma unidade separada.

Este ano, sob o programa do Data Science Bowl, houve uma competição para prever o câncer de pulmão em um ano, com base em imagens detalhadas, com um fundo de prêmios de um milhão de dólares.

6.3. Investimentos

Atualmente, há investimentos pesados no ML, como era antes era feito no BigData.

A China investiu US $ 150 bilhões em IA para se tornar a líder mundial do setor.

Para fins de comparação, a Baidu Research emprega 1.300 pessoas, e no mesmo FAIR (Facebook) – 80. No último KDD, funcionários da Alibaba falaram sobre seu servidor de parâmetros KungPeng, que é executado em 100 bilhões de amostras com um trilhão de parâmetros, o que “se torna uma tarefa comum ”.

Você pode tirar as suas próprias conclusões, nunca é tarde demais para estudar o aprendizado de máquinas. De uma forma ou de outra, ao longo do tempo, todos os desenvolvedores irão usar o aprendizado de máquinas, que se tornará uma das habilidades comuns, como é hoje em dia – a capacidade de trabalhar com bancos de dados.

Conclusão

É impressionante e até assustador a velocidade com que a tecnologia se desenvolve e desafios complexos se tornam mais simples a cada dia, não é mesmo?

Ainda assim, lembre-se que tudo isso é só o começo, e os avanços incríveis que você acabou de conhecer ainda estão sendo incorporados aos produtos e serviços que usamos no dia a dia.

As transformações se seguirão nos próximos anos, e os profissionais que se capacitarem a tempo poderão aproveitar o momento e construir uma carreira sólida, de muito sucesso.

Espero que este texto sirva de guia para que você se familiarize com alguns termos, técnicas, casos de uso, e, principalmente, que busque aprofundar os conhecimentos nos temas que julgar mais interessantes e alinhados com seus interesses.

Comece agora mesmo a tirar as dúvidas! Deixe seu comentário, dúvida, sugestão abaixo e terei a maior satisfação em responder 🙂

Como Bill Gates e Peter Diamandis Pretendem Revolucionar a Educação no Futuro (do Presente!)

Revolucionando a Educação no Futuro (do Presente!)
Semana passada, Bill Gates anunciou o seu plano de investir cerca de US$1,7
bilhão em reformas na educação pública dos E.U.A durante os
próximos 5 anos.
Assim começava a mensagem do Abundance Insider, do Peter Diamandis, que recebi em outubro de 2017 e que considero tão relevante que, mesmo mais de seis meses depois, resolvi compartilhar com vocês aqui no blog.
Este informativo é muito interessante, pois revela, toda semana, porque o Peter acredita que vivemos num mundo cada vez mais abundante, onde as máquinas/robôs/Inteligência Artificial cuidam do trabalho “pesado” e liberam as pessoas pra cuidar de coisas mais nobres e aproveitar melhor a vida.
Pode parecer uma visão romântica pra você, mas a quantidade e qualidade dos argumentos que ele usa pra justificar esta visão são difíceis de refutar.
Vou trazer vários textos dele a partir de agora, e tenho certeza que você vai gostar.
Agradeço muito ao Ivo por me apresentar esse informativo, e deixo com vocês a tradução do restante da mensagem de outubro de 2017, que detalha a visão dele sobre a educação do futuro.
É uma leitura imperdível!
Semana passada, Bill Gates anunciou o seu plano de investir cerca de US$1,7 bilhão em reformas na educação pública dos E.U.A durante os próximos 5 anos.
Desta
soma, ele vai separar 25% para “grandes apostas – inovações com
o potencial de mudar a trajetória da educação pública em um
período de 10 a 15 anos.”
Estive
pensando bastante sobre o futuro da educação – de meus 2 filhos
de 6 anos e os empregados de minhas empresas.
Este
é um assunto que eu vou falar com profundidade na Abundance 360 em janeiro em Beverly Hills. Meus apresentadores convidados serão
Sebastian Thrun, co-fundador da Udacity; Max Ventilla, CEO da
AltSchool e Carin Watson, EVP de Educação e Aprendizagem da
Singularity University.
Anteriormente
neste ano, escrevi um relatório sobre como eu reinventaria
a educação K-12 para um mundo exponencial. Você pode ler minhas
ideias abaixo ou fazer download aqui neste link:
http://www.diamandis.com/education-white-paper
Eu comecei a me
perguntar, dado o fato de a maioria das escolas de ensino fundamental
não tiveram mudanças em décadas (talvez mais tempo), o que eu
quero que meus filhos aprendam? Como eu posso reinventar as escolas
de ensino fundamental durante uma era exponencial?
Este texto cobre cinco tópicos relacionados a educação das escolas de
ensino fundamental:
  1. Cinco
    problemas com as atuais escolas de Ensino Fundamental.
  2. Cinco
    Princípios Guia para a Educação Futura.
  3. Um
    Currículo para a Escola de Ensino Fundamental do futuro.
  4. Tecnologias
    Exponenciais em nossa Sala de Aula.
  5. Mentalidades
    para o Século 21.
Perdoe
a extensão do texto, mas se você tiver filhos, os detalhes podem
ser significativos. Se você não tem, então semana que
vem vamos retornar aos textos de tamanho normal com outro assunto
divertido.
Então vamos mergulhar…

Cinco
Problemas com as atuais escolas de Ensino Fundamental

Provavelmente
existem vários problemas com as tradicionais escolas de Ensino
Fundamental, mas eu vou só escolher alguns que me incomodaram mais.
1.
Sistema
de Notas:

No sistema de educação tradicional, você começa com um “A”, e
toda a vez que você erra alguma coisa, sua nota fica cada vez menor.
Na melhor hipótese é desmotivante, e na pior, não tem nada a ver
com o mundo que você vive quando adulto. No mundo dos games (Ex:
Angry Birds), é exatamente o oposto. Você começa com zero e a cada
vez que você acerta alguma coisa, sua pontuação fica cada vez
maior.
2.
Sábio
no Palco:

A maioria das salas de aula tem um professor na frente da sala
ensinando para uma turma de estudantes onde, metade está entediada e
a outra metade está perdida. O modelo de “um professor serve pra
tudo” vem de uma era de escassez onde grandes professores e escolas
era raro.
3.
Relevância:
Quando eu volto a pensar no ensino fundamental e no ensino médio, eu
percebo que parte do que eu aprendi nunca me foi útil na vida e
quantas das minhas lições mais relevantes para o sucesso eu tive
que aprender sozinho. (não sei sobre você, mas nunca tive que
fatorar um polinômio na minha vida adulta.)
4.
Imaginação
– Pintando dentro das Linhas:

Uma das minhas maiores preocupações são os programas
fábrica-de-empresário das escolas de hoje, originados na era
industrial– tão bem estruturados com memorização de rotas, que
esmaga a originalidade da maioria das crianças. Eu lembrei que “o
dia anterior a um avanço é realmente uma descoberta, é uma ideia
louca.” Onde nós procuramos ideias loucas em nossas escolas? Onde
podemos fomentar a imaginação?
5.
Tédio:
Se aprender na escola é trabalhoso, chato ou sem emoção, então o
piloto mais importante do aprendizado humano, a paixão, é afastada.
Fazer nossos filhos memorizarem fatos e pessoas, sentar passivamente
na sala e realizar testes mundanamente padronizados completamente
derrota o propósito.
Uma
média de 7.200 estudantes abandonam o ensino médio todo dia,
totalizando 1,3 milhão a cada ano. Isso significa que apenas 69% dos
estudantes que começam o ensino médio o terminam 4 anos depois. E
mais
de 50% dessas desistências do ensino médio falaram que o tédio foi
a razão número 1 pela qual eles desistiram
.
Lembrando que esta estatística é dos EUA!!!

Cinco
Princípios Guia para a Educação Futura

Eu
imagino um futuro relativamente próximo onde a robótica e a
inteligência artificial vão possibilitar que qualquer um de nós,
com idades de 8 até 108 anos, ache fácil e rapidamente respostas,
crie produtos ou complete tarefas, tudo simplesmente por expressar
nossos desejos.
Da
‘mente para produto real em momentos.’ Logo, seremos capazes de
fazer e criar qualquer coisa que quisermos.
Neste
futuro, quais atributos serão os mais importantes para nossas
crianças aprenderem para se tornarem bem sucedidas na sua vida
adulta? O que é mais importante para a educar nossos filhos hoje?
Para
mim é sobre paixão, curiosidade, imaginação, pensamento crítico
e coragem.
1.
Paixão:
Você ficaria impressionado em saber quantas pessoas não tem uma
missão na vida… Um chamado… algo que os faça pular da cama todo
dia de manhã. O recurso mais valioso para a humanidade é a
persistente e apaixonada mente humana, então criar um futuro de
crianças apaixonadas é bem importante.
Para
meus filhos de 5 anos, eu quero ajuda-los a achar sua paixão ou
propósito… algo que seja unicamente deles. Da mesma forma que o
programa Apollo e Star Trek guiaram meu antigo amor por todas as
coisas no espaço, e essa paixão me guiou a aprender e a fazer.
2.
Curiosidade:
Curiosidade é algo inato nas crianças, algo que é perdido pelos
adultos durante o curso de suas vidas. Por quê?
Em
um mundo de Google, robôs e I.A, criar um filho que constantemente
pergunta e testa experimentos “E se?” pode ser extremamente
valioso. Em uma época de aprendizado maquinal, dados massivos e um
trilhão de sensores, será a qualidade de suas questões que será o mais importante.
3.
Imaginação:
Empreendedores e visionários imaginam o mundo (e o futuro) que
querem viver e eles criam isso. Acontece que as crianças são alguns
dos seres humanos mais imaginativos que existem… é importantíssimo
saber que eles sabem o quão importante e libertador a imaginação
pode ser.
4.
Pensamento
Crítico:

Em um mundo inundado por ideias regularmente conflitantes,
reivindicações sem base, títulos enganadores, notícias negativas
e desinformação, o aprendizado do pensamento crítico ajuda a achar
um sinal no meio do ruído. Esse princípio é, talvez, o mais
difícil de ensinar às crianças.
5.
Grit(Garra)/Persistência:
Grit é definido como “paixão e perseverança em busca de
objetivos à longo prazo”, e recentemente, foi amplamente conhecida
como um dos mais importantes indicadores que contribuem para o
sucesso.
Ensinar
suas crianças a não desistir, a continuar tentando novas ideias
para as coisas que eles realmente têm desejo de atingir é
extremamente importante. Grande parte do meu sucesso pessoal vem de
muita teimosia. Eu brinquei que, tanto a XPRIZE quanto a Zero
Gravity Corporation foram “sucessos da noite para o dia após 10
anos de trabalho árduo.”
Então,
dados estes cinco princípios básicos, como um currículo da escola
de ensino fundamental pareceria? Vamos dar uma olhada…

Um
Currículo de Ensino Fundamental para o Futuro

Durante
os últimos 30 anos, tive o prazer de fundar duas
universidades, International Space University (1987) e Singularity
University (2007). Minha parte favorita de ser co-fundador de ambas as
instituições foi desenvolver e implementar o currículo. Seguindo
estas linhas, esta é a minha primeira aposta no tipo de
currículo que eu adoraria que meus filhos estivessem aprendendo.
Para o propósito
de ilustrar a ideia, vou falar sobre os ‘cursos’ ou ‘módulos’,
mas na realidade estes são só elementos que seriam muito bem
entrelaçados durante o curso de educação K-6.

Modulo
1:

Narrativa/Comunicações

Quando
eu penso sobre a habilidade que mais me ajudou na vida, seria a
habilidade de expressar as minhas ideias da forma mais convincente
possível, para conseguir outros no meu barco, e incentivar o
nascimento e crescimento em uma direção de inovação.
Na minha
vida adulta, como um empreendedor e como um CEO, tem sido minha
habilidade me comunicar claramente e dizer histórias convincentes
que possibilitaram criar o futuro.
Eu não acho que essa lição pode
começar muito cedo na vida.
Então imagine um módulo, ano após
ano, onde nossos filhos aprendem a arte e a prática de formular e
testar suas ideias. O melhor da oratória e narrativa.
Talvez as
crianças nessa classe assistissem apresentações do TED, ou quem
sabe eles poderiam juntar com o TEDx for kids.
Definitivamente, é
sobre a prática e ficar confortável em colocar você e suas ideias
lá fora e superar quaisquer medos de falar em público.

Modulo
2:

Paixões

A
escola moderna deveria ajudar nossas crianças a procurar e explorar
suas paixões. Paixão é o maior presente da sua auto-descoberta. É
a fonte de interesse e excitação, e é único em cada criança.
A
chave para achar a paixão é a exposição. Permitindo que as
crianças experienciem as mais diversas aventuras, carreiras e
adultos apaixonados que forem possíveis.
Historicamente, isso foi
limitado pela realidade da geografia e custo, sendo implementado por
mães e pais locais falando em classe sobre suas carreiras. “Oi,
Sou o Alan, Pai do Billy e sou um contador. Contadores são pessoas
que…”
Mas
em um mundo de YouTube e realidade virtual (VR), a capacidade de
nossas crianças explorarem 500 possibilidades diferentes de
carreiras ou paixões durante sua educação K-6 se torna não só
possível como convincente.
Eu imagino um módulo onde as crianças
compartilham sua nova paixão a cada mês, compartilhando vídeos (ou
experiências em VR) e explicando o que eles amam e o que eles
aprenderam.

Módulo
3:

Curiosidade
e Experimentação

Einstein
disse a famosa frase, “Eu não tenho nenhum talento, sou só um
curioso apaixonado.” Curiosidade é inata nas crianças, e muitas
vezes perdidas durante a vida. Indiscutivelmente, pode ser dito que a
curiosidade é responsável por todo o grande avanço científico e
tecnológico – o desejo de um indivíduo de saber a verdade.
Aliado
com a curiosidade é o processo de experimentação e descoberta. O
processo de fazer perguntas, criar e testar hipóteses e repetida
experimentação até que a verdade seja encontrada.
Como estudei os
mais bem sucedidos empreendedores e empresas, desde Google e Amazon
até Uber, o sucesso é significantemente devido ao uso implacável
de experimentação para definir os produtos e serviços.
Aqui
eu imagino um módulo que incuta na criança a importância da
curiosidade e os dê permissão para dizer “Eu não sei, vamos
descobrir”.
Adiante,
um módulo mensal que ensina as crianças como projetar e executar
experimentos válidos e significativos.
Imagine crianças que
aprendem a habilidade de fazer uma pergunta, propor uma hipótese,
projetar um experimento, coletar as informações e chegar a uma
conclusão.

Módulo
4:
Persistência/Grit(Garra)

Fazer
algo grande, ambicioso e significante na vida é um trabalho árduo.
Você não pode apenas desistir quando o caminho fica difícil.
A
mentalidade de persistência, de garra, é um comportamento que pode
ser aprendido e eu acredito que pode ser ensinado na infância,
especialmente quando está atrelado a buscar a paixão de uma
criança.
Eu
imagino um currículo que, a cada semana, estude a carreira de
grandes empreendedores e destaque sua história de persistência.
Isso destacaria os indivíduos e companhias que persistiram,
reafirmaram e finalmente obtiveram sucesso.
Adiante, imagino um módulo que combine a persistência e experimentação
da jogabilidade encontrada no Dean Kamen’s FIRST LEGO league, onde
alunos da 4ª série (e séries acima) procuram sobre um problema do
mundo real como segurança alimentar, reciclagem, fontes de energia,
etc. e eram desafiados a desenvolver uma solução. Eles também
devem projetar, construir e programar um robô usando LEGO
MINDSTORMS®, e então competir em um campo de jogo de mesa

Módulo
5:

Exposição
à Tecnologia

Em
um mundo de rápida aceleração tecnológíca, entender como as
tecnologias funcionam, o que fazem e o seu potencial para beneficiar
a sociedade é, na minha humilde opinião, crítico para o futuro de
uma criança. 
Tecnologia e programação (mais sobre isso abaixo) são
a nova “língua franca” de amanhã.

Neste
módulo, imagino o ensino de crianças (com idade apropriada)
através de jogos e demonstração.
Dar a eles um panorama das
tecnologias exponenciais como computação, sensores, redes,
inteligência artificial, manufatura digital, engenharia genética,
realidade virtual/aumentada e robótica, só para citar alguns.
Este
módulo não é sobre fazer uma criança uma expert em qualquer
tecnologia, é mais sobre dar a eles a linguagem dessas novas
ferramentas, e conceitualmente um panorama de como eles poderiam usar
tal tecnologia no futuro.
O objetivo aqui é deixá-los excitados,
dar a eles demonstrações que fazem conceitos grudarem e após isso,
fazer suas imaginações fluírem.

Módulo
6:

Empatia

Empatia,
definido como “a habilidade de entender e compartilhar os
sentimentos de outra pessoa”, foi reconhecido como uma das
habilidades mais importantes para nossas crianças hoje.
Enquanto há muito material escrito e ótimas práticas para incutir isso em casa
e na escola, as ferramentas atuais aceleram este processo.
Realidade
virtual não é mais só sobre vídeo games apenas.
Artistas,
ativistas e jornalistas agora enxergam o potencial da tecnologia para
ser um motor de empatia, algo que pode fazer brilhar os holofotes em
tudo desde a epidemia de Ebola até como é viver em Gaza. E Jeremy
Bailenson esteve na vanguarda da investigação do uso do poder do VR
para o bem.
Por
mais de uma década, o laboratório de Bailenson em Stanford esteve
estudando como o VR pode nos fazer melhores pessoas. Através do
poder do VR, voluntários do laboratório sentiram como é ser o
Superman (para ver se os faziam ficar mais propícios a ajudar o
próximo), uma vaca (aprender como reduzir o consumo de carne) e até
um coral (para aprender sobre acidificação do oceano).
Por
mais bobo que isso pareça, esses tipos de cenários de VR poderiam
ser mais efetivos que os tradicionais serviços públicos de
propaganda para fazer as pessoas se comportarem.
Posteriormente, eles
gastam menos papel.
Eles guardam mais dinheiro para a aposentadoria.
Eles são mais legais para as pessoas a sua volta.
E isso pode ter
consequências na forma em que ensinamos e treinamos todos desde a
criança mais elitista até juízes do tribunal superior.

Módulo
7:

Ética/Dilemas
Morais

Relacionado
com a empatia, e igualmente importante é o objetivo de infundir nas
crianças uma bússula de moral.
Recentemente eu visitei uma escola
especial criada por Elon Musk (a escola Ad Astra) para seus cinco
filhos (de 8 a 13 anos).
Um elemento que é persistente na pequena
escola de 31 crianças é a conversa sobre ética e moral, uma
conversa expressada através de debates sobre os cenários do mundo
real que nossas crianças poderão um dia enfrentar.
Aqui
está um exemplo do tipo de jogo/simulação que eu ouvi falar sobre
a Ad Astra, que eles implementariam um módulo de ética e moral.
Imagine uma pequena cidade em um lago, cuja maioria da cidade está
empregada em uma mesma empresa. 
Mas esta empresa está poluindo o
lago e matando todo o tipo de vida.
O que você faz?
É unânime o
conhecimento de que se a fábrica fechar, todos perdem seus empregos.
Por outro lado, deixar a fábrica funcionando normalmente significa
que o lago será destruído e o lago morrerá. 
Este tipo de
conversa/jogo normal e rotineiro possibilita as crianças a verem o
mundo de uma forma realmente importante.

Módulo
8:

Os
3R Básicos (LeituRa, escRita & aRitimética)

Não
tem nenhuma dúvida que uma criança entrando no jardim da infância
deve saber o básico de leitura, escrita e matemática.
A única
questão é qual a melhor forma para eles conseguirem isso?
Nós
crescemos no modo clássico onde o professor no quadro-negro, livros
e tarefa de casa à noite.
Mas eu poderia dizer que tais formas de
ensino estão desatualizadas, agora substituídas por apps,
jogabilidade e o conceito de sala invertida.
Promovido
pelos professores de ensino médio Jonathan Bergman e Aaron Sams em
2007, a sala invertida inverte a sequência de eventos da sala
tradicional.
Estudantes
assistem materiais de palestras, comumente palestras em forma vídeo,
como uma lição de casa antes de ir para a aula.
O tempo dentro da
sala de aula é reservado para atividades como discussões
interativas e trabalhos em grupo – tudo feito com a supervisão do
professor.
Os
benefícios são claros:
  1. Estudantes
    podem usufruir das palestras em seu próprio ritmo, vendo o vídeo
    repetidas vezes até eles entenderem o conceito, ou adiantando o
    vídeo se a informação é óbvia.
  2. O
    professor está presente enquanto os estudantes colocam em prática
    um novo conhecimento. Fazer a lição de casa durante o período de
    aula dá ao professor tempo de analisar quais conceitos, se tiver
    algum, seus alunos estão tendo dificuldade e os ajuda, adaptando a
    aula se necessário.
  3. A
    sala invertida produz resultados tangíveis: 71% dos professores que
    inverteram as suas aulas tiveram notas melhoradas e 80% reportaram
    melhores atitudes dos alunos como resultado.

Módulo
9:

Expressão
Criativa & Improvisação

Cada
um de nós é um ser criativo.
É da natureza humana ser criativo…
Porém, cada um de nós deve ter diferentes maneiras de expressar
a nossa criatividade.
Nós
devemos encorajar as crianças a descobrir e a desenvolver cedo as
suas tomadas criativas.
Neste módulo, imagine mostrar para as
crianças as diferentes formas que a criatividade é expressa –
desde arte até engenharia, até música, até matemática – e
então guiando-os enquanto escolhe a área (ou áreas) em que eles
estão mais interessados.
Crucialmente, professores (ou pais) podem
desenvolver lições únicas para cada criança baseada em seus
interesses, graças a recursos de educação grátis como o YouTube e
a Khan Academy.
Se minha criança está interessada em pintar
androbots, um professor ou inteligência artificial pode vasculhar a
internet e reunir uma lição personalizada feita de vídeos e
artigos onde os melhores pintores robóticos no mundo compartilham
suas informações.
Adaptar
à mudança é crucial para o sucesso, especialmente em nosso mundo
atual em constante transformação.
Improvisação é uma habilidade
que pode ser aprendida, e nós precisamos ensinar isso cedo.
Na
maioria das aulas de “improviso” do colegial, o centro da grande
improvisação é a mentalidade “Sim, e…”. 
Quando atuando em
uma cena, o ator pode introduzir um novo personagem ou ideia, mudando
completamente o contexto da cena. É crucial que os outros atores na
cena digam “Sim, e…” aceitem a nova realidade e então
expressem algo novo de sua autoria.
Imagine
jogar jogos similares de encenação em escolas de ensino
fundamental, onde o professor dá ao seu estudante a cena/contexto e
constantemente muda as variáveis, os forçando a se adaptar e jogar.

Módulo
10:
Programação

Ciência
da computação abre mais portas para estudantes que qualquer outra
matéria no mundo de hoje. 
Aprender apenas o básico já vai ajudar
os estudantes em qualquer carreira virtual, de arquitetura até
zoologia.
Programar
é uma importante ferramenta para a ciência da computação, da
mesma forma que a aritmética é uma ferramenta para fazer a
matemática e as palavras são uma ferramenta para o Inglês.
Programar cria software, mas ciência da computação é um amplo
campo que abrange conceitos profundos que vão muito além de
programação.
Cada
estudante do século 21 deveria também ter uma chance de aprender
sobre algoritmos, como fazer um aplicativo ou como a Internet
funciona.
Pensamento computacional permite alunos da pré-escola a
compreender conceitos como algoritmos, recursão e heurística –
mesmo se eles não entenderem os termos, eles aprenderão os
conceitos básicos.
Existem
mais de 500.000 vagas de emprego no ramo da computação agora mesmo,
representando a fonte nº1 de novos salários nos Estados Unidos, e
essas vagas estão projetadas para crescer ao dobro da taxa de todos
os outros empregos.
Programar
é divertido! Além de razões práticas para aprender a programar,
existe o fato de que criar um jogo ou animação pode ser realmente
divertido para as crianças.

Módulo
11:

Empreendedorismo
& Vendas

Em
sua essência, empreendedorismo é sobre identificar um problema (uma
oportunidade), desenvolver uma visão de como resolver isto, e
trabalhar com um time para transformar aquela visão em realidade. Eu
mencionei a escola de Elon, Ad Astra. Aqui, novamente,
empreendedorismo é a disciplina central onde os estudantes criam e
de fato vendem produtos e serviços entre eles e para a comunidade
escolar.
Você
poderia refazer este exercício básico com um grupo de crianças de
várias formas divertidas para os ensinar as lições básicas do
empreendedorismo.
Relacionado
com o empreendedorismo são as vendas. Na minha opinião, nós
precisamos ensinar vendas para cada criança desde cedo.
Ser
capaz de “vender” uma ideia (de novo relacionado com contar
histórias) tem sido uma habilidade crucial na minha carreira, e isso
é uma competência que muitas pessoas simplesmente nunca aprenderam.
A
barraca de limonada tem sido uma clássica, embora um pouco escassa,
lição em vendas vinda de gerações passadas, onde uma criança
sentava na esquina da rua e tentava vender limonada feita em casa por
US$0,50 para as pessoas que estivessem passando.
Eu sugeriria nós
subirmos o nível e ter uma abordagem mais ativa em vendas
gamificadas, e talvez fazendo a turma criar uma campanha no
Kickstarter, Indiegogo ou uma campanha do GoFundMe.
A experiência de
criar um produto ou serviço e o vende-lo com êxito criará uma
indelével memória e dará aos estudantes as ferramentas para mudar
o mundo.

Módulo
12:
Linguagem

Eu
acabei de retornar de uma semana na China, onde tive uma reunião com
pais cujo foco na educação das crianças é extraordinário.
Uma
das áreas que achei mais fascinante é como alguns dos mais velhos
familiares estão ensinando novas línguas para suas crianças:
através de games.
No tablet, as crianças podem jogar jogos, mas
apenas em Francês. O desejo de uma criança de vencer a envolve
completamente e o guia para aprender rapidamente.
Além
dos games, existe a realidade virtual.
Nós sabemos que imersão
total é o que precisa para ficar fluente (pelo menos, mais tarde na
vida).
Um semestre no exterior na França ou Italia, e você já
consegue manejar bem a língua e a cultura.
Mas e quanto a um filho
de 8 anos?

Imagine
um módulo onde, por uma hora a cada dia, as crianças passam o tempo
caminhando pela Itália em um mundo de VR, saindo com os personagens
do jogo dirigidos por AI, que os ensinam, os envolvem e compartilham
a cultura e o idioma da forma mais detalhada e convincente possível.

Tecnologias
Exponenciais para nossas salas de Aula

Se
você já visitou a Abundance 360, a Singularity University, ou seguiu meus blogs, você provavelmente
concordará comigo que a maneira como nossos filhos aprenderão
mudará fundamentalmente na próxima década.
Aqui
está uma visão geral das top
5 tecnologias

que irão remoldar o futuro da educação:

Tech
1:
Realidade
virtual (VR) pode tornar o aprendizado verdadeiramente imersivo.
 

A pesquisa mostrou que lembramos 20% do que ouvimos, 30% do que vemos
e até 90% do que fazemos ou simulamos.
A realidade virtual produz o
último cenário de forma impecável.
A VR permite que os alunos
simulem voar através da corrente sanguínea enquanto aprendem sobre
diferentes células que encontram, ou viajam para Marte para
inspecionar a superfície para a vida. 
Para tornar isso realidade, o
Google Cardboard acaba de lançar seu produto Pioneer Expeditions. 
Sob este programa, milhares de escolas em todo o mundo receberam um
kit contendo tudo o que um professor precisa para levar sua aula em
uma viagem virtual.
Embora os dados sobre o uso de VR nas escolas e
colégios da K-12 ainda não tenham sido reunidos, o crescimento
constante do mercado se reflete no aumento das empresas (incluindo o
zSpace, Alchemy VR e Immersive VR Education) exclusivamente dedicado
a fornecer escolas com conteúdo e um currículo educacional
empacotado.
Junte
com o VR uma tecnologia relacionada chamada realidade aumentada (AR),
e a educação experiencial realmente ganha vida.
Imagine usar um
fone de ouvido AR que seja capaz de sobrepor aulas educacionais em
cima de experiências do mundo real.
Interessado em botânica?
Ao
atravessar um jardim, o fone de ouvido AR mostra o nome e os detalhes
de cada planta que você vê.

Tech
2:
A
impressão em 3D está permitindo aos estudantes trazer suas idéias
à vida.
 

Esqueça o computador em cima de cada mesa (ou um tablet para cada
aluno), isso é ultrapassado. 
No futuro próximo, professores e
alunos vão ter ou querer uma impressora 3D na mesa para ajudá-los a
aprender os principais princípios de Ciência, Tecnologia,
Engenharia e Matemática (STEM). 
Bre Pettis, da MakerBot Industries,
em uma visão grandiosa mas prática, vê uma impressora 3D em cada
mesa da escola na América.
“Imagine se você tivesse uma
impressora 3D em vez de um conjunto LEGO quando era criança; Como
seria a vida agora? “, pergunta o Sr. Pettis.
Você poderia
imprimir seus próprios bonecos, seus próprios blocos, e você
poderia repetir os novos projetos o quão rápido sua imaginação
permitisse.
A MakerBots está agora em mais de 5.000 escolas K-12 ao
redor dos Estados Unidos.
Dando
um passo adiante, você poderia imaginar ter um arquivo 3D para a
maioria das entradas na Wikipedia, permitindo que você imprima e
estude um assunto que você só pode ler ou visualizar em VR.

Tech
3:
Sensores
& Redes.

Uma explosão de sensores e redes vai ligar todos a velocidades de
gigabit, dando acesso a vídeos de conteúdo rico a qualquer momento.
Ao mesmo tempo, os sensores continuam a miniaturizar e reduzir o
poder, incorporando-se em tudo.
Um benefício será a conexão dos
dados de sensor com o aprendizado automático e AI (abaixo), tal
conhecimento sobre a perda de atenção ou confusão de uma criança
pode ser facilmente medido e comunicado.
O resultado seria uma
representação da informação através de uma modalidade
alternativa ou a uma diferente velocidade.

Tech
4:
Aprendizado
Automático é tornar a aprendizagem adaptável e personalizada.

Nenhum estudante é idêntico – eles têm diferentes modos de
aprendizagem (aprendem lendo, vendo, ouvindo, fazendo), vêm de
diferentes origens educacionais e têm diferentes capacidades
intelectuais e capacidade de atenção.
Os avanços no aprendizado
automático e o movimento crescente no aprendizado adaptativo, estão
buscando resolver esse problema.
Empresas como Knewton e Dreambox têm
mais de 15 milhões de alunos em suas respectivas plataformas de
aprendizagem adaptativa.
Logo, cada teste educacional será
adaptável, aprendendo a personalizar a lição especificamente para
um aluno.
Haverá aplicativos de quiz adaptativo, aplicativos de
flashcard, aplicativos de livros didáticos, aplicativos de simulação
e muito mais.

Tech
5:
Inteligência
Artificial(AI) ou “Um Companheiro de Ensino com AI”.

O livro de Neil Stephenson “The
Diamond Age

apresenta uma fascinante peça de tecnologia educacional chamada “A
Young Lady’s Illustrated Primer”.

Conforme
descrito por Beat Schwendimann, “O primer é um livro interativo
que pode responder às perguntas de um aluno (falado em linguagem
nativa), ensinar através de alegorias que incorporam elementos do
ambiente do aluno e apresenta informações contextuais em tempo
real.

“O primer inclui sensores que monitoram as
ações do aluno e fornecem feedback. O aluno está em um aprendizado
cognitivo com o livro: o primer modela uma certa habilidade (através
de personagens de conto de fadas), que o aluno então imita na vida
real.”

“O primer segue uma
progressão de aprendizado com tarefas cada vez mais complexas. Os
objetivos educacionais do primer são humanistas: apoiar o aluno a se
tornar um pensador forte e independente”.

O
primer, um companheiro de ensino com IA individualizado é o
resultado da convergência tecnológica e é extremamente bem
descrito pelo YouTuber CGP Gray em seu video: DigitalAristotle: Thoughts on the Future of Education.
Seu
companheiro com IA terá acesso ilimitado a informações na nuvem e
irá entregar isso na velocidade ideal para cada aluno de uma forma
empenhada e divertida.
Esta IA irá desmonetizar e democratizar a
educação, estará disponível para todos de graça (assim como o
Google) e oferecerá a melhor educação para as crianças mais ricas
e mais pobres do planeta.
Este
companheiro com IA não é um tutor que mostra fatos, números e
respostas, mas um colega do lado do aluno, estando lá para ajudá-lo
a aprender e, ao fazê-lo, fazer com que aprenda de uma forma melhor.
A IA está sempre alerta, observando sinais de frustração e tédio
que podem preceder o abandono, sinais de curiosidade ou interesse que
tendem a indicar exploração ativa e sinais de prazer e domínio, o
que pode indicar uma experiência de aprendizado bem-sucedida.
Em
última análise, estamos indo em direção a um mundo amplamente
mais educado. Estamos realmente vivendo durante o momento mais
emocionante para estar vivo.

(NOTA:
Neste momento, a Fundação XPRIZE está operando o Global
Learning XPRIZE
em que:
100 equipes estão criando softwares baseados em Android com o
intuito de levar à um estudante analfabeto no meio da Tanzânia a
leitura básica, escrita e informação em 18 meses.)

Mentalidades
para o Século 21

Finalmente,
é muito importante para mim discutir mentalidades.
Como pensamos
sobre as cores futuras, como aprendemos e o que fazemos.
Eu escrevi
extensivamente sobre a importância de uma abundância e mentalidade
exponencial para empresários e CEOs.
Eu também acho que devemos dar
atenção à mentalidade em nossas escolas primárias, quando uma
criança está moldando o seu “sistema operacional” mental
para o resto de sua vida, é ainda mais importante.

Como
tal, eu recomendaria que uma escola adote um conjunto de princípios
que ensinem e promovam uma série de mentalidades nos seus
programas.

Muitas
“mentalidades” são importantes para se promover.
Aqui
estão alguns para consideração.

Otimismo
Estimulante e Uma Mentalidade de Abundância

Vivemos
em um mundo competitivo, e as crianças experimentam uma quantidade
significativa de pressão para se expressar.
Quando eles ficam
encurralados, eles se sentem murchos.
Todos nós falhamos às vezes –
isso é parte da vida.
Se quisermos criar crianças “capazes de
fazer” que possam trabalhar com o fracasso e sair mais fortes
para isso, é sábio estimular otimismo.
Crianças otimistas estão
mais dispostos a assumir riscos saudáveis, são melhores
solucionadores de problemas e experimentam relacionamentos positivos.
Você pode estimular o otimismo em sua escola, começando cada dia,
se focando na gratidão (o que cada criança é grata), ou um “foco
positivo” em que cada aluno leva 30 segundos para falar sobre o
que eles estão mais entusiasmados ou qual evento recente teve um
impacto positivo neles. (NOTA: eu começo cada reunião dentro da
minha equipe de PHD Ventures com um foco positivo.)

Por
último, ajudar os alunos a entender (através de dados e gráficos)
que o mundo está de fato melhorando (veja meu primeiro livro:
Abundance:
The Future is Better Than You Think
)
irá ajudá-los a combater o fluxo contínuo de notícias negativas
que fluem através de nossos noticiários.
Quando
as crianças se sentem confiantes em suas habilidades e entusiasmadas
com o mundo, estão dispostas a trabalhar mais e a ser mais
criativas.

Tolerância
ao Fracasso

Tolerar
o fracasso é uma lição difícil de aprender e uma lição difícil
de ensinar.
Mas é extremamente importante para ter sucesso na vida.
O
Astro Teller, que administra o ramo de inovação do Google “X”,
fala muito sobre incentivar o fracasso.
No X, eles regularmente
tentam “matar” suas idéias.
Se eles são bem sucedidos em
matar uma idéia e, assim, “falhando”, eles economizam
muito tempo, dinheiro e recursos.
As idéias que eles não conseguem
matar, sobrevivem e se desenvolvem em negócios de bilhões de
dólares.
A chave é que cada vez que uma idéia é morta, a Astro
recompensa sua equipe – literalmente, com bônus em dinheiro.
Seu
fracasso é celebrado e eles se tornam heróis.
Isso
deve ser reproduzido na sala de aula: as crianças devem tentar
criticar suas melhores idéias (aprender pensamento crítico), e
então eles devem ser presenteados por “falhar com êxito”
– talvez com bolo, balões, confetes e muita serpentina.

Conclusão

Compartilhei este texto por achar fascinante a educação que espero poder proporcionar para o meu filho nos próximos anos.
E você, concorda comigo?
Conhece algum projeto educacional no Brasil que siga esta linha de pensamento?
Compartilha aqui!!! Quero muito saber mais!

20 Coisas Incríveis que a Inteligência Artificial poderá Fazer no Futuro Próximo!

Inteligência Artificial Futuro
O debate sobre os benefícios e malefícios da inteligência artificial tem sido intenso nos últimos anos e deve continuar assim por um bom tempo.
Por isso eu resolvi selecionar 20 das coisas mais legais que eu li que a inteligência artificial vai viabilizar no futuro próximo.
Ao mesmo tempo, sei que há riscos reais relacionados ao mau uso da tecnologia. Mas vou deixar pra falar disso outro dia.
Foco no positivo hoje, ok?
Vamos à lista.

1 – Governo Acessível

A inteligência artificial pode abrir a oportunidades para os cidadãos interagirem com o governo de uma maneira que nunca foi possível antes. Novas ferramentas que incluam processos ativados por voz podem fazer com que áreas do governo passem a ser acessíveis a pessoas com problemas de visão, audição e aprendizado, que de outra forma não teriam essa oportunidade. Referência.

2 – Melhorar Diagnósticos de Doenças

Um time de pesquisadores da Universidade de Stanford liderado por Andrew NG, professor adjunto e pesquisador proeminente na área de inteligência artificial, mostrou que um modelo de machine learning pode identificar arritmia do coração a partir de um eletrocardiograma melhor do que um especialista. Abordagem automática pode-se mostrar importante para o tratamento médico do dia-a-dia ao tornar mais confiável o diagnóstico de irregularidades do coração potencialmente mortais. Referência.

3 – Aumentar a Segurança da Informação

Os ataques de ransomware estão se multiplicando. Está claro que o mundo precisa de melhores defesas, e felizmente as soluções estão começando a emergir, ainda que lentamente. Pesquisadores da área de segurança da informação estão se voltando para machine learning buscando analisar exemplos de softwares bem e mal comportados, para descobrir qual a combinação de fatores que provavelmente está presente em malwares. Ao lidar com um novo software, o sistema calcula a probabilidade de que seja malware e rejeita aqueles que tem uma pontuação acima de um certo limite.

4 – Melhorar o Transporte Público

O congresso americano pode começar a regular os veículos autônomos e isso pode ser bom para tecnologia, para a segurança dos motoristas, para a comunidade de pessoas com deficiência, para o transporte público e para investidores. É o tipo de situação rara onde vários interesses convergem e podemos ter esperança de algo positivo. Referência.

5 – Novas Formas de Comunicação

Pesquisadores do laboratório de Inteligência Artificial do Facebook tiveram que ajustar um dos seus modelos porque do contrário a conversa entre os bots levou-os a desenvolverem sua própria linguagem para negociação. Em outras palavras, o modelo que permitia a dois robôs conversarem entre si usando Machine Learning para interações estratégicas envolvendo a conversação ao longo do caminho, levou os robôs a se comunicar na sua própria linguagem não humana. Referência.

6 – Pilotar Aviões

À medida que as viagens aéreas continuam a crescer, a escassez de pilotos vai aumentar. Isso vai dar à indústria o incentivo para desenvolver uma inteligência artificial que possa tomar o controle da aeronave, com um humano auxiliando no cockpit. O maior desafio pode ser convencer as pessoas de que isso é mais seguro. Por isso é provável que o desenvolvimento desse tipo de tecnologia por empresas como a Boeing deve-se iniciar pelas aeronaves de carga. Referência.

7 – Facilitar a Paz Mundial

A tradução automática dos mais diversos idiomas está se tornando melhor o tempo todo. 5 anos atrás as traduções eram risíveis. Agora traduções entre linguagens complexas como na região da Ásia e Europa são razoáveis em muitos casos. Isso vai aumentar significativamente as possibilidades para colaboração e comunicação entre as pessoas nos próximos 10 anos, com impactos inclusive nas negociações de paz em áreas de conflito. Referência.

8 – Manusear Objetos com Agilidade

No laboratório da Universidade da Califórnia, em Berkeley, um robô desenvolveu habilidade excepcional para lidar com objetos estranhos. Desenvolvimentos relativos à destreza das máquinas ao lidar com objetos pode ser bastante significativo para o desenvolvimento da inteligência artificial, assim como o desenvolvimento de habilidades manuais para lidar com objetos do mundo real foi importante para o desenvolvimento da inteligência humana. Referência.

9 – Aprender Imitando Humanos

O projeto OpenAI está tentando ensinar um braço robótico como empilhar uma série de blocos coloridos. Objetivo de longo prazo é dar à inteligência artificial a habilidade de aprender novos comportamentos rapidamente e usar esse conhecimento para se adaptar a mudanças não previstas no ambiente. Crianças nascem com habilidades para imitar o que outras pessoas fazem. A imitação permite aos humanos aprender novos comportamentos rapidamente, e os robôs devem ser capazes de aprender dessa maneira também, segundo os pesquisadores. Referência.

10 – Monitorar de Condições de Saúde

Ao treinar com algoritmo de machine learning em dois fluxos, um time de pesquisadores percebeu que o algoritmo poderia ensinar a si próprio como detectar condições cardíacas preocupantes, a partir de dados de relógios inteligentes da Apple. Testes com cerca de 50 pessoas mostraram um percentual de precisão de 97% ao indicar fibrilação cardíaca, uma condição que frequentemente não produz nenhum sintoma perceptível. Referência.

11 – Tecnologia Embarcada (no corpo!)

A inserção de elementos eletrônicos no corpo é algo que já existe e tem sido testado há um bom tempo. Se levarmos as ideia ao limite, é fácil imaginar que o que carregamos na mão em forma de smartphone hoje, no futuro será mais uma célula do nosso corpo. Referência.

12 – Combater Doenças Graves

A condição neurológica crítica chamada de Mal de Alzheimer é uma das mais perigosos na sociedade moderna. São milhões e milhões de pessoas com esta condição em todo o mundo. Por se tratar de uma doença de custo elevado no tratamento, ela afeta significativamente o sistema de saúde em muitos países. Há evidência de que o progresso da doença pode ser desacelerado e até mesmo interrompido se identificado cedo, e é nesta linha que pesquisadores têm desenvolvido redes neurais para identificar esta condição ainda nos estágios iniciais. Referência.

13 – Desvendar Mistérios da Mente

A inteligência artificial tem o potencial para nos ajudar a compreender o mundo melhor. À medida que descobrimos mais sobre seus processos de aprendizado e comparamos com o cérebro humano, podemos um dia alcançar uma melhor compreensão do que nos torna únicos, incluindo elucidar mistérios da mente como sonhos, criatividade e talvez até mesmo a consciência. Referência.

14 – Reduzir Ofensas na Internet

Atualmente é muito difícil para moderadores de conteúdo em plataformas como Facebook, intervir para evitar o abuso emocional que as pessoas direcionam uma às outras, e é difícil para as pessoas que são vítimas ter que esperar até que a situação seja resolvida. A inteligência artificial pode permitir a criação de robôs que possam interagir rapidamente com a vítima e identificar se alguma ação é necessária, permitindo monitorar grupos particularmente visados como mulheres e negros. Referência.

15 – Auxiliar Motoristas no Trânsito

Usando câmeras com reconhecimento facial e outros indicadores biométricos, os fabricantes de automóveis estão buscando personalizar a experiência de dirigir. Os veículos modernos observarão os motoristas e ajustarão assentos e modos de direção automaticamente, além de fornecer informações importantes ao motorista, como sinalizar um carro quebrado à frente ou o limite de velocidade da via. Referência.

16 – Redefinir as Cidades

A autonomia tem consequências profundas além da indústria de veículos. Quando os estacionamentos deixarem de existir, a capacidade das estradas vai aumentar e talvez até se multiplique. Junte isso com a expectativa de redução de custos de viagens utilizando carros autônomos, e é possível concluir que as cidades (até então desenvolvidos em torno da realidade do trânsito) terão que ser repensadas. Referência.

17 – Melhorar a Vida de Pessoas com Necessidades Especiais

Testes com usuários do youtube indicam que uma funcionalidade de conversão de voz em texto melhora significativamente a experiência de pessoas com dificuldade de audição. Referência.

18 – Inspirar Novas Soluções para Problemas

Como podemos levar mais pessoas aonde elas querem é segurança com os carros autônomos? Como podemos aumentar a vazão e a confiabilidade da cadeia de suprimentos de comida através de entregas autônomas? Como podemos tornar as pessoas mais saudáveis analisando conjuntos de problemas médicos que são tão grandes que nenhum homem pode tratá-la de modo confiável? Como podemos entender e melhorar o clima através da análise de dados em escala planetária? Talvez não seja possível endereçar cada um desses problemas, mas veremos os algoritmos de machine learning ajudando a compreender todos esses dados e, em última análise, agindo sobre eles de formas novas e surpreendentes. Referência.

19 – Revolucionar as Empresas

A adoção da inteligência artificial pelas organizações é essencial para o seu sucesso. A inteligência artificial é profunda nas suas implicações, assim como ocorreu com a eletricidade. Da mesma forma que não é possível imaginar um negócio optando por não utilizar energia elétrica, empresas que não repensarem seus departamentos considerando as novas tecnologias estão em risco de serem substituídas pela concorrência. Referência.

20 – Encontrar sua Alma Gêmea

A inteligência artificial pode transformar os namoros nos próximos anos. O Tinder do futuro pode simplesmente conversar com você e dizer o seguinte: encontrei alguém nas redondezas que acho que faz seu tipo. Ela também está livre amanhã à noite, e gosta daquela banda que você é fã e que vai tocar aqui na cidade essa semana. Posso comprar os ingressos? Referência.

Conclusão

E aí? Gostou do futuro que te espera?
Eu, como otimista inveterado, sempre busco ver o lado bom das coisas, e o futuro com inteligência artificial me parece fascinante.
Mas sei que nem tudo são flores (nunca é).
Em breve vou relacionar também os riscos que os especialistas têm identificado e que preocupam personalidades como Stephen Hawking e Elon Musk.
Não perca!

Inteligência Artificial: 100+ Ferramentas pra você usar hoje!

Inteligência Artificial - 100+ Ferramentas pra você usar hoje!

Lyra é um assistente virtual de IA que te ajuda a monitorar suas emissões de carbono.

O pessoal que desenvolveu esta solução resolveu fazer um levantamento IN-CRÍ-VEL, e listaram mais de 100 ferramentas de IA para uso pessoal!!!

Veja bem.

É apenas a primeira parte de um levantamento com 3 etapas, a primeira voltada para ferramentas que usam IA para te ajudar a usar melhor seu dinheiro, cuidar da saúde, planejar viagens, encontrar emprego e muito, muito mais!

Eu não resisti e pedi ajuda pra traduzir a lista, completinha, e compartilhar aqui com você.

Então vamos lá conferir estas 100+ ideias geniais?

A
inteligência artificial é como escalar uma árvore para tentar
alcançar a lua; pode-se relatar um progresso constante, mas sempre
há mais para descobrirmos.

Nota:
alguns dos produtos ainda não foram lançados, e ainda podem ser
Beta, embora sejam ideias emocionantes, bem embasadas e promissoras.
A maioria você já pode acessar..

Inteligência Artificial para uso pessoal

🏠 Pessoal / Casa
Ems
– ajuda a encontrar o lugar perfeito para viver

Bridge
Kitchen
– assistente de cozinha para orientações
passo-a-passo na cozinha

UnifyID
– verifica a sua identidade pelo modo como você anda, digita e senta
👔
Trabalho
Carly
– ajuda a gerenciar chamadas telefônicas

ETCH
– ajuda você a gerenciar suas redes em um banco de dados pesquisável

Findo
– seu assistente de busca inteligente em e-mail, arquivos e nuvem
pessoal
Leap
– recomenda em quais empresas procurar por empregos baseado em suas
habilidades
Lomi
– identifica leads de vendas
Mosaic
– ajuda a escrever melhores currículos
Newton
– ajuda a encontrar o emprego dos sonhos
Notion
– ajuda com a sobrecarga de e-mails, organização e comunicação
Robby
– um calendário melhor e mais inteligente
Stella
– procura empregos e ajuda a gerenciar seu processo de candidatura
Woo
– ajuda você a tomar decisões mais inteligentes para sua carreira,
de forma anônima
👯
Social
Brightcrowd
– ajuda a encontrar conexões profissionais significativas

Capsule.ai
– lembre-se dos bons momentos da sua vida

Dating.ai
– aplicativo de namoro com pesquisa de rosto
ETCH
– ajuda você a gerenciar suas redes em um banco de dados pesquisável
Eezy
– deixe o Eezy cuidar da sua noite para que você possa se divertir
Hashley
– gerador de hashtags irônicas e de comentários para suas fotos
Hotness.ai
– consegue dizer o quão sexy você é
Rey
– apresenta-lhe as pessoas que você realmente deve conhecer (para
trabalhar e jogar)
🎓
Educação
Thirdleap — ajuda
as crianças a aprender matemática
Woogie —
o robô de IA conversacional que torna a aprendizagem e a descoberta
divertidas para crianças
🏥
Saúde / Medicina
Abi
– seu assistente de saúde virtual

Ada
– pode ajudar se você estiver se sentindo mal

Airi
– treinador de saúde pessoal
Alz.ai
– ajuda você a cuidar de seus entes queridos com Alzheimer
Amélie
– chatbot para saúde mental
Bitesnap
– reconhece alimentos com fotos das refeições e ajuda a contar
calorias
Doc.ai
– torna os resultados de laboratório fáceis de
entender
Gyan
– ajuda você a ir de sintomas para prováveis condições
Joy
– ajuda você a acompanhar e melhorar sua saúde mental
Kiwi
– ajuda você a reduzir e parar de fumar
Tess
por X2AI
– terapeuta de bolso
Sleep.ai
– diagnostica o ronco e moagem de dentes
🕵️
Agentes – Pessoal
Amazon
Echo / Alexa
– assistente pessoal diário para a casa

Apple
Siri
– assistente pessoal diário no iPhone e no Mac

Cortana
– assistente pessoal diário no PC e em dispositivos Windows
Facebook
M
– concorrentes da Siri, Now e Cortana
Focus
– ajuda você a se concentrar, priorizar o seu dia
Gatebox
– um assistente de anime holográfico em uma máquina de café
expresso
Assistente
do Google
– assistente pessoal diário
Hound
– assistente pessoal diário
Ling
– semelhante ao Amazon Echo
Mycroft
– é o primeiro assistente de voz de código aberto do mundo
Remi
o Siri com uma interface
Spoken
– assistente virtual com uma interface
Viv
– tipo o Siri mas 10x melhor
📅
Agentes  – Profissional
Clara
– assistente de agendamento de reuniões

Julie
Desk
– assistente de agendamento de reuniões
(direcionado a C-Suite)

Kono
– assistente de agendamento de reuniões
Mimetic
– assistente de agendamento de reuniões
My
Ally
– lida com agendamento de reuniões e gerencia
seu calendário
SkipFlag
– descobre e organiza automaticamente o seu trabalho
Vesper
– assistente virtual para o C-Suite
X.ai
assistente de programação de reuniões
Zoom.ai
– assistente pessoal para ajudá-lo no trabalho
🙍
Agentes – Diversão
Fembot
sua namorada de IA

Lifos
– entidades dinâmicas e independentes que interagem com a web e com
o social

Replika
seu amigo de IA que você conhece através de mensagens texto
📝
Agentes –  Chatbot
Brin
– ajuda você a tomar decisões de negócios mais inteligentes

Chatfuel
– criar um Facebook chatbot em 7 minutos

Luka
– chatbot messenger para pessoas e outros chatbots
MyWave
– chatbot que o ajuda em toda a sua vida
Lyra
– monitor analisa suas emissões de carbono
🗞️
Entretenimento / Notícias

Jottr
– aplicativo de conteúdo e notícias que aprende o que você gosta e
não gosta

News360
– aprende o que você gosta e encontra histórias que você vai
gostar
✈️
Viagens
Ada – chatbot que ajuda você a navegar e tomar decisões

Emma
calcula e adiciona automaticamente o tempo de viagem da reunião

ETA
– ajuda a gerenciar itinerários e reuniões de viagens
HelloGbye
– marcar vôos será muito mais simples
Mezi
– ajuda com a reserva de voos, hotéis, reservas de
restaurantes e muito mais
Ready
– Previsão de tráfego e previsão do tempo de viagem
🚗
Veículos
Vinli — transforma
qualquer carro em um smart car
🏃‍
Fitness
Mara —
aplicativo de corrida inteligente
🎵
Música
Aiva
– compõe uma trilha sonora emocional

Pandora
– encontra músicas que você pode gostar

🏛️
Seguros
Docubot
– pode aconselhá-lo sobre questões jurídicas

Driveway
– rastreia e recompensa motoristas cautelosos

🛒
Compras
Entrupy
– ajuda a detectar se os produtos high-end são autênticos

Fify
– ajuda você a comprar roupas

GoFind
– ajuda-o a encontrar roupas online tirando uma foto
Mode.ai
– ajuda você a encontrar roupas online
💰
Finanças
Abe
– respostas rápidas sobre suas finanças

Andy
– um contador pessoal

Ara
– ajuda o seu orçamento
Bond
– ajuda você a atingir seus objetivos financeiros
Mylo
– arredonda pra cima suas compras diárias e ajuda a guardar dinheiro
Olivia
– ajuda você a gerenciar suas finanças
Roger
– ajuda você a pagar suas contas facilmente
Wallet
– IA para suas decisões financeiras diárias
Xoe.ai
– IA que empresta o chatbot
📱
Mídias Sociais / Gerenciamento de Sites

Firedrop
– sites projetados automaticamente, basta adicionar o conteúdo e
publicar

Hashley
– hashtags irônicas e gerador de comentários para suas fotos
Millions.ai
– lance o índice nele e ele irá lhe construir um Web site
Oly
– seleciona e ajuda a publicar conteúdo em suas mídias sociais
Signature
– cria páginas de destino elegantes usando seu conteúdo de mídia
social
Zen.ai
– recomendações personalizadas para a sua loja Shopify
💡
IoT / IIoT
Aerial
Sensor de atividade, movimento e identidade

Bridge.ai
– plataforma de smart-home focada na fala e no som

Cubic
– um lugar para conectar seus dispositivos domésticos
inteligentes
Grojo
– um ótimo sistema de monitoramento
Home
– operações domésticas autônomas com dispositivos conectados
Hello
– ajuda você a monitorar e melhorar seu sono
Josh
– controle de voz da casa inteira
Mycroft
– é o primeiro assistente de voz de código aberto do mundo
Nanit
– o monitor de bebês reinventado
Nest
– uma gama de dispositivos internos como termostatos, segurança e
alarmes

‘’Vestíveis’’
Eli
– ajuda a aprender um
novo idioma a partir de conversas através do seu dia

Kick.ai
– lhe ajuda a analisar seus chutes e lutas

🌐
Línguas Traduções
Liv
– transcreve conversas em inglês e hindu

Microsoft
Translator
– tradutor de línguas baseado em redes
neurais

🤖
Robôs

Dispatch
– entrega por robôs

Roboy
– um robô humanóide destinado a ser tão capaz quanto um ser humano
Spoon
– um robô (eu não consegui entender seu propósito, mas parecia
legal!)
💌
Útil – Divertido – Aleatório
CaptionBot
– Microsoft descreve qualquer foto
Crowdfunding.ai
– plataforma de crowdfunding para projetos de IA
Elevador
– ajuda a encontrar e comprar cannabis (com recomendações)
Fieldguide
– guia de campo universal que sugere possíveis correspondências
Frankenstain.ai
– é uma experiência colaborativa de contar histórias usando a IA,
aprendizagem de máquinas, robótica, bio-engenharia e IoT
#Laugh
– risos visualizados em formato digital, que podem ser enviados para
o espaço
IntelligentX
Brewing Co
. – cerveja fabricada por inteligência
artificial
Spark
– faça um pedido de cannabis através de mensagens de
texto
Token
– ajuda a enviar o presente perfeito
Wixi
– ajuda a corrigir problemas com a Wifi
📚
Pesquisa
Apollo
– divide artigos e PDF’s em pontos de pontos rápidos e legíveis

Ferret.ai
– ajuda-o a pesquisar resumindo artigos e a habilidade da busca

Iris
– lhe ajuda a pesquisar e visualizar conceitos em trabalhos de
pesquisa
🎫
Eventos, Conferências e Comunidades
Events.ai
– o balcão único para eventos e conferências de AI / ML / DL
Nucl.ai
– conferências e cursos de IA
Oh.hai.ai
– jogo de nome forte!
Amesterdão
– comunidade e eventos de IA aplicados
Bangalore
– comunidade e eventos de IA aplicados
Berlim
– comunidade e eventos de IA aplicados
Bucareste
– comunidade e eventos de IA aplicados
Budapeste
– comunidade e eventos de IA aplicados
City.ai
– comunidade e eventos de IA aplicados
Hamburgo
– comunidade e eventos de IA aplicados
Hongkong
– comunidade e eventos de IA aplicados
Londres
– comunidade e eventos de IA aplicados
Madrid
– comunidade e eventos de IA aplicados
Milão
– comunidade e eventos de IA aplicados
New
York.ai
– comunidade e eventos de IA aplicados
Cracóvia
– comunidade e eventos de IA aplicados
Oslo
– comunidade e eventos de IA aplicados
Tallinn
– comunidade e eventos de IA aplicados
Tirana
– comunidade e eventos de IA aplicados
Seattle
– comunidade e eventos de IA aplicados
Cingapura
– comunidade e eventos de IA aplicados
Sofia
– comunidade e eventos de IA aplicados
Estocolmo
– comunidade e eventos de IA aplicados
Valletta
– comunidade e eventos de IA aplicados
📰
Notícias e blogs
AI
Weekly
– uma coleção semanal de notícias e recursos
sobre IA e ML
Approximately
Correct
– IA e um blog sobre o aprendizado de máquinas
Axiomzen
– Boletim informativo da IA a cada 2 semanas
Concerning.ai
– Comentaristas com IA
Fast.ai
– dedicado a tornar o poder da aprendizagem profunda
acessível a todos
Machinelearning.ai
– notícias dedicadas e atualizações para ML e IA
Machine
Learning Weekly
– um boletim de notícias manual
PRAI
– forum para IA, ML e Robótica
Narrador
– o surgimento de novas narrativas como algoritmos
inteligentes

Conclusão

Resta alguma dúvida de que a Inteligência Artificial veio pra ficar?
E que já está transformando a maneira como compramos, investimos, nos exercitamos, relacionamos com outras pessoas (e com as máquinas!), planejamos o futuro, cuidamos da saúde, etc etc etc?
O profissional de TI que buscar aproveitar as oportunidades que a explosão da IA já está proporcionando vai se dar muitíssimo bem!
Boa sorte e sucesso!
E não deixa de indicar nos comentários qual a ferramenta que achou mais legal… Eu achei a UnifyID uma viagem (identificar você pelo modo como anda?!?!?!). Diz aí! Qual te chamou a atenção?

E se você quer descobrir mais listas interessantes, fatos estranhos e curiosos, acesse http://biglistas.com.