"Tamanho Único" não é algo que se possa aplicar a dados distribuídos. Diferentes tipos de dados requerem diferentes abordagens de como distribuir e manipular os dados.

Taxa de geração? Expiração? Push ou Pull? Legado ou novo? Cache ou leitura direta? Event Sourcing? Eventos de negócios ou de baixo nível? Confira nesta palestra e veja como diferentes tecnologias tais como Virtualização de Dados, Change Data Captura, In-Memory Data Grids, Reactive Programming e muito mais podem ser aplicados para resolver uma grande variedade de problemas de distribuição de dados diferentes.

Construir e preencher uma base de dados estruturados de um domínio específico é um desafio por si só. Essa tarefa se torna ainda mais desafiadora quando surge a necessidade desses dados serem acessados e manipulados tanto por usuários humanos quando algoritmos de processamento em batch, em escalas e padrões diferentes.

Falaremos sobre o processo de desenvolvimento da nossa plataforma de lugares e estabelecimentos do mundo, os desafios que encontramos e como tudo isso pode se aplicar a desenvolvedores enfrentando situações similares. A palestra abrangerá APIs em escala industrial, event sourcing, databases, jobs Spark e como conectá-los para criar uma plataforma de dados.

Nessa palestra vou abordar todos os desafios que tivemos pra implementar um novo modelo de buscas, que fosse mais fácil de implementar novos recursos e escalar. Mostrar resultados de performance e decisões importantes que influenciaram o modelo adotado.

Após migrar seus dados para o SQL Azure, como ativar a geo-replicação e como usar as replicas para acesso aos dados? Quais os ganhos e os possíveis Gaps? Se for necessário ativar mais réplicas, como fazer o processo de encadeamento? Abordaremos as melhores estratégias e os benefícios desta arquitetura.

Nesta sessão será possível aprender sobre o Starburst Presto. Ele é uma ferramenta de Bid Data Query Engine. Aqui você aprenderá não somente como instalá-lo em ambiente de Azure como também como usá-lo para executar consultas em seu ambiente híbrido de dados e/ou Data Lake.

Cada vez mais os sistemas precisam de diferentes tipos de persistência para resolver problemas específicos. Ao mesmo tempo que surgem dezenas de bancos de dados especializados em determinadas tarefas, também crescem as complexidades de integração, segurança e governança dos dados. A evolução da capacidade "Multi-Modelo", que por meio de APIs oferecem aos desenvolvedores vários tipos de persistência no mesmo banco de dados, surge como uma alternativa para possibilitar o armazenamento poliglota sem os trade-offs de ter que lidar com várias tecnologias diferentes.

Nessa palestra vamos abordar as principais vantagens e desvantagens de se utilizar ferramentas de BI Self Service como Power BI, Qlik Sence , Tableau e afins. Quais os impactos dentro da minha organização em relação a desempenho, segurança e principalmente gestão dos dados que são consumidos e transportados dentro dos computadores de meus colaboradores.

É cada vez mais difícil o processamento de grande quantidade de dados, alinhando o baixo custo, maior extração de inteligência e ganho na qualidade das informações extraídas.

Nesta palestra, apresentarei os desafios e lições aprendidas com o projeto desenvolvido aqui na reviewr.me, onde consolidamos e processamos milhões de dados diariamente. Um case que mostra como atingimos baixíssimo custo, alta performance e qualidade.

Quem já pensou em usar BigQuery com certeza tomou um susto ao fazer as contas de quanto gastaria. Mas isso é facilmente resolvido quando você conhece os caminhos da ferramenta, qual será o uso( e como identificar), e como funciona o cache. Você verá tudo isso e muito mais sobre essa incrível ferramenta e ainda uma demo durante toda a apresentação.

Nesta palestra, temos o objetivo de explicar o que é a ferramenta de Cloud Azure DataBricks, como ela funciona, a criação de cluster, notebooks, execução de código demo que poder ser em SQL, Python ou R e a demonstração de uso da biblioteca de criação de gráficos.

Aproveitando a integração do Spark com o Power BI, faremos a criação dos mesmos objetos no Power BI, porém ressaltando o ganho de velocidade, falicilidade e uma melhor apresentação visual.

Se algum dia você precisou criar um sistema de mensageria, sabe como o esforço pode ser grande para criar aplicações produtoras, consumidoras e também dashboards de gerenciamento. Aqui vamos mostrar como o ecossistema do Kafka abstrai boa parte da dificuldade, apresentando ferramentas plug and play para que você tenha, em pouco tempo, uma stream de eventos funcional. Com o Kafka Connect você importa dados rapidamente tanto de um bucket S3 da AWS, como de um índice do Elasticsearch, por exemplo, para que fiquem disponíveis para manipulação com o KSQL (tão simples quanto fazer um SELECT).

O Governo do Estado de SC possui dados espalhados nos diversos órgãos que compõe a sua estrutura. Cada órgão possui, além dos sistemas corporativos, aplicações setoriais produzindo dados que precisam ser acessados pelos gestores e por outros órgãos do Governo. Nessa palestra veremos como o CIASC (empresa de TI do Estado de SC) mudou a maneira como o Estado de SC trabalha com os seus dados, centralizando-os em uma plataforma única e facilitando o compartilhamento, a análise, a integração e o cruzamento de dados. Tudo isso de maneira segura e preservando investimentos já realizados pelo Estado.

Seria maravilhoso começar um projeto de engenharia de dados do zero, sem nenhuma dependência, não é? Mas isso não é o que ocorre na maioria das empresas. Sempre existe algum sistema legado, geralmente o famoso monolito. Nesses casos, como extrair eventos? Devemos instrumentar todo o código para isso? Nessa apresentação irei mostrar como utilizar o conceito de CDC para obter os eventos rapidamente sem ter que alterar um linha de código do sistema legado, olhando somente para o banco de dados