Big Data Week São Paulo 2014 Technical Sessions

O desenvolvimento de uma aplicação distribuída requer diversos conhecimentos
para lidar com problemas como: particionamento de entrada, escalonamento da
execução, comunicação entre as máquinas e falhas no cluster. Para que o
desenvolvedor possa focar somente na aplicação que está sendo desenvolvida,
diversos modelos para processar os dados distribuídos foram criados. Cada modelo tem suas características, pontos fracos e fortes, que os fazem apropriados para determinados tipos de aplicações. A apresentação irá abordar os temas: Hadoop 2/Map Reduce; Bulk Synchronous Parallel; Pregel; Dremel; Processamento de Stream; Próximas tecnologias.

Machine Learning esta intimamente ligado aos 3 temas do Big Data Week, uma vez que trata de como o sistemas inteligentes poderão reagir as informações que recebem de sensores sem interação humana.

Assuntos a serem abordados:
1) Cenário atual de investimentos e inciativas em torno de machine learning e Deep Learning
2) Machine Learning – Visão conceitual
3) Áreas de aplicacão – Machine Learning
4) Deep Learning – visão conceitual
5) Conjunto de forças que favorecem Deep/Machine Learning nesse momento
6) Roadmap de adoção
7) Promessas do Deep Learning
8) impactos na sociedade

A Samba Tech é uma startup fundada em 2004 e atualmente líder na América Latina em gestão e distribuição profissional de vídeos online. Atualmente suporta um tráfego anual de 15PB, garantindo a entrega e análise de mais de 400 milhões de video views/mês. Os vídeos entregues pela Samba Tech atingem 1 a cada 10 usuários únicos no Brasil e geram cerca de 2 Bilhões de requisições mensais.

Será tema desta palestra os desafios e soluções adotadas na construção de uma ferramenta para análise dos dados de consumo dos vídeos administrados através da plataforma da empresa. Com um grande volume de requisições, a solução exigiu uma arquitetura de alto desempenho, confiável e elástica para gerar informações precisas para tomada de decisões estratégicas dos clientes.

Dentre as várias abordagens de recuperação de imagens existentes, o uso de uma imagem de rascunho permite que o usuário expresse o que deseja buscar de forma visual, simples e rápida. O maior desafio desta categoria de busca consiste em encontrar uma representação para o conteúdo visual que permita comparar de forma eficiente o rascunho do usuário e as imagens da base de dados, mantendo ainda a precisão dos resultados e tendo uma solução escalável. O sketch-finder é uma abordagem para recuperação de imagens com base em rascunho onde tanto o rascunho quanto as bordas das imagens da base de dados são representadas e comparadas no domínio da transformada de wavelet. Assim, apenas os dados mais relevantes, provenientes do rascunho e das imagens, são representados. Um índice invertido indexa as informações com o objetivo de prover uma abordagem eficiente e rápida para a comparação do rascunho com as imagens da base. Além do mais, a solução proposta permite o ajuste do tamanho do índice com base na taxa de compressão de dados. Esse ajuste reflete o balanço entre eficiência e precisão, podendo ser facilmente adequado aos recursos computacionais disponíveis. Uma avaliação comparativa entre o estado da arte usando uma base de imagens de Paris e um subconjunto da base do ImageNet com 535 mil amostras, revela que a presente solução preserva os mesmos níveis de precisão dos resultados ao mesmo tempo em que é bem mais rápida nas consultas.

No workshop, um ambiente MongoDB distribuído será configurado de maneira a possibilitar a escalabilidade de sua aplicação. Serão abordadas boas práticas para a utilização da infra-estrutura além dos seguintes temas:

– Replicas e sharding;
– Definição, utilização e manutenção de índices;
– Map Reduce vs Aggregate;
– Ferramentas úteis.

Pre-requisitos:
Computador pessoal com MongoDB 2.6 instalado (http://www.mongodb.org/downloads)
No Ubuntu, o pacote é o mongodb-org; repositório disponível em http://docs.mongodb.org/manual/tutorial/install-mongodb-on-ubuntu/.