Nova linha de produtos Teradata
Artigo interessante sobre nova linha de produtos Teradata em resposta aos novos competidores (appliances).
Teradata Appliance Product Lines
Adicionar comentário 27 de Novembro de 2008 às 09:09 admin
Oportunidade de Estágio - Rio de Janeiro
Venha aprender as tecnologias de data warehousing e business intelligence trabalhando com os profissionais mais experientes do mercado.
A TDW Bi Consulting está buscando alunos dos cursos de Sistemas de Informação para atuar em projetos nas áreas de business intelligence e data warehousing, tanto na implementação tecnológica quanto no processo de utilização da informação como vantagem competitiva. São necessários os seguintes pré-requisitos:
Foco Tecnológico - inglês básico (leitura /escrita) , Microsoft Office obrigatório; noções de SQL, banco de dados e técnicas de modelagem.
Foco Negócio - inglês básico (leitura no mínimo) , Microsoft Office obrigatório, noções de análise financeira e sistemas de informação.
Outros requisitos: capacidade de aprendizado, interesse pela carreira de consultoria e relacionamento inter-pessoal são requisitos importantes
Período de estágio: Integral
Benefícios: Bolsa auxílio compatível com mercado
Local de estágio: Rio de Janeiro
Em caso de interesse enviar email para: rh@tdwbi.com.br
Para mais informações visite nosso site: www.tdwbi.com.br
Adicionar comentário 11 de Agosto de 2008 às 10:26 admin
Encontro do time TDW
Olá Pessoal,
No dia 5 de Julho foi realizado mais um encontro do time TDW e tivemos a oportunidade de fotografar todos juntos. Dá para notar que já é um grupo de respeito.
Na ocasião tivemos a oportunidade de comemorar um crescimento de 65% no primeiro semestre do ano, comparado ao primeiro semestre do ano anterior. Além disso pudemos compartilhar as novidades relacionadas com as novas parcerias com a SAS, a HP e a IBM.
Parabéns a todos e que o segundo semestre seja ainda melhor.
Abraços,
Fernando, Flavio, Guillermo e Paulo
Adicionar comentário 14 de Julho de 2008 às 08:28 ppinho
TDW e SAS – uma nova parceria!
A ferramenta SAS é uma tecnologia que transforma simples dados em informação organizada, capaz de agregar valor ao negócio e gerar informação importante para Business Intelligence.
Foi assim que Luis Guilherme Schmidt iniciou seu treinamento teste realizado nos dias 26 e 27/06/08 no instituto SAS. O escopo do treinamento foi o SAS Programming I e teve como objetivo validar sua aptidão para ministrar treinamentos dos módulos SAS Programming I e II.
Os consultores trainees da TDW, Pedro Balthazar e Vanessa Balbo, participaram do treinamento e puderam aprender a programação SAS e conhecer os resultados que a ferramenta pode oferecer para os clientes e para o desenvolvimento projetos de BI.
Parabéns ao Luis, novo instrutor SAS!
Que esta seja mais uma parceria de sucesso!
Vanessa, Luis e Pedro - Treinamento SAS Programming I
Adicionar comentário 30 de Junho de 2008 às 20:27 VanBalbo
Jantar Prêmio - confraternização e apetite
A TDW premiou duas equipes em reconhecimento ao trabalho desenvolvido nos
projetos. A idéia inicial de um “jantar prêmio” acabou virando um grande
almoço de confraternização que aconteceu na sexta-feira dia 20 de junho.
Mesa farta e bom humor é uma ótima combinação para promover a integração do
time e o reconhecimento sempre é fonte de motivação.
Somos gratos à TDW pelos bons momentos registrados nas fotos abaixo.
Adicionar comentário 24 de Junho de 2008 às 12:19 VanBalbo
SpagoBI : Ferramenta de BI Open Source
Não existe uma variedade muito grande de sistemas BI de Código Aberto que possam ser chamados de completos. Devido à diversidade de componentes de um pacote de BI, tais como:
➧ geradores de relatórios;
➧ análise de dados em cubos OLAP(on-line analytic processing);
➧ mineração de dados
➧ indicadores e painéis de controle (dashboards)
Sistemas que atendem somente a uma ou poucas dessas áreas estão classificados como sistemas BI. Também é perceptível o fato de que os sistemas BI completos de Código Aberto contam com suporte oficial de uma empresa, seja atuante no mercado BI ou profundamente envolvida com o Software Livre em geral.
Características e Tecnologia
O SpagoBI é um sistema que satisfaz as condições para ser usado corporativamente, atendendo a grande parte das necessidades de informação relatadas acima. Ele está agrupado sob o conceito do “Spago World” que tem os seguintes objetivos gerais:
➧ fornecer uma solução livre;
➧ poder ser usado em ambientes corporativos;
➧ facilitar a incorporação de outras tecnologias para formar um pacote de componentes variados;
➧ enfocar o desenvolvimento de soluções;
➧ formar uma comunidade e contar com serviços de suporte.
O SpagoBI é membro do consórcio OW2, suportado principalmente pela Bull e pela France Telecom. O sistema foi desenvolvido como um framework para aplicativos web em Java, para atender a projetos internos. Em 2004, o ambiente foi completado e liberado sob a GPL no Source-Forge e posteriormente hospedado no ObjectWeb, hoje OW2.
O sistema, hoje, está sob a licença LGPL e tem também a vantagem de ser verdadeiramente livre, devido ao modelo de negócio aplicado. O SpagoBI não oferece qualquer restrição ao uso, e não existem versões comerciais mais completas, como é freqüente em outros aplicativos de negócio de Código Aberto.
Em 2007, foram liberadas algumas outras soluções do Spago World: Spago4Q (indicadores e métricas de qualidade no processo de desenvolvimento de software) e Spagic (plataforma de integração de sistemas utilizando SOA e BPM – Business Process Management, nesse caso).
Componentes
O SpagoBI possui seis componentes principais: servidor SpagoBI, Spago-BI Studio, SpagoBI SDK, SpagoBI Meta e SpagoBI Applications.
O servidor SpagoBI compreende o núcleo para consultas pelo aplicativo, além de apresentar o modelo
analítico do sistema. Ele oferece os seguintes serviços:
➧ interface com o usuário intuitiva, tipo rich client;
➧ configuração de fontes de dados;
➧ geração livre de consultas ao sistema para análise;
➧ assinaturas para receber informação periódica e notificações;
➧ áreas (pastas) para uso pessoal;
➧ salvar, importar e exportar as configurações;
➧ página individual (do tipo “MeuBI”);
➧ integração com mecanismos de visualização (PALO, para Excel e JPALO, para Web);
➧ alertas e notificações;
➧ motor de busca;
➧ acesso a consultas pré-configuradas, agrupadas por tipos.
O SpagoBI Studio, por sua vez, é um ambiente em forma de plugin para o Eclipse para desenvolver soluções dentro do SpagoBI. Ele oferece modeladores para todos os documentos analíticos, permite o upload para o servidor SpagoBI e possibilita a realização de testes acessando dados de testes ou reais.
A SpagoBI SDK consiste em uma interface para acesso a serviços de BI que possam ser integrados a outros aplicativos. Oferece uma biblioteca de tags, a própria API de integração e acesso a Web Services.
Enquanto isso, o SpagoBI Meta é um mecanismo de armazenamento de metadados (informação que
descreve os dados). Os metadados permitem que o usuário que faz a análise possa conhecer melhor a
informação tratada, assim como a fonte dessa informação.
Por último, as SpagoBI Applications compreendem diversos aplicativos verticais. Dentro desse conceito, podemos mencionar o “SpagoBI for AREAS”, utilizado para BI no campo da medicina. AREAS é um sistema ERP italiano, voltado para empresas de medicina, que selecionou o SpagoBI como seu componente BI.
As funcionalidades do sistema são:
➧ geração de relatórios com suporte a diversos mecanismos;
➧ análise de dados em visões de cubos OLAP;
➧ painéis de controle com indicadores (KPI);
➧ mineração de dados;
➧ visualização geográfica;
➧ processos ETL (Extract, Transform,Load);
➧ simulações what-if;
➧ dossiê, catálogo de informações;
➧ gerador de consultas usando mecanismos QbE (query by example);
➧ integração de serviços BI ao Microsoft Office;
➧ colaboração.
A figura 1 mostra o fluxo de informação entre as diversas funções da solução. Todas as funções são acessadas somente pelo módulo denominado Modelo Comportamental, que gerencia as permissões de acesso.
Fazer uso eficiente e produtivo de um pacote de BI é uma meta nobre e difícil de atingir.
A implementação do SpagoBI considera ter resultados bons, mesmo que parciais, algo muito importante para o projeto de implementação. O SpagoBI permite que a empresa inicie, por exemplo, apenas com a necessidade de um termômetro que mostre em forma de painel de controle a quantidade de peças vendidas por semana.
Segue um estudo de caso que utiliza o banco de dados MySQL. Aqui é demostrado o uso das ferramentas SpagoBI QBE Engine (Criação de Queries) e JPilot/Mondrian OLAP (Visualização de CUBOS).
Mais informações : http://www.spagobi.com/
Fonte utilizada:
Revista Linux Magazine
Abraço,
Henrique Silva
Adicionar comentário 11 de Junho de 2008 às 02:05 Henrique Silva
DW aliado ao CRM - a importância da análise dos dados
Por: Wylton Luis Moura de Campos
Analista de Sistemas – Certificado Oracle DBA 9i
wylton@gmail.com
No mundo corporativo atual notamos que as empresas estão focadas principalmente em aumentar a base de clientes, não dando a devida atenção aos clientes que já possuem e que, inclusive, custeiam seus investimentos.
Através do CRM operacional e analítico a empresa pode conhecer o perfil de seu cliente, e a partir daí fazer um trabalho dirigido de fidelidade. Com a concorrência, em todos os segmentos, cada vez mais acirrada, é primordial conhecer a fundo o seu cliente e oferecer a ele produtos que superem sua expectativa, antes que um concorrente o faça.
Os dados dos sistemas transacionais, os quais são a fonte para o CRM operacional, aliados às necessidades dos clientes, obtidas através das centrais de relacionamento (CRM analítico), podem gerar uma importante fonte de informações. Porém nem sempre isso acontece, pois os dados são armazenados separadamente no repositório de cada departamento, impossibilitando a integração dos dados para que se transformem na inteligência do negócio.
As soluções de BI têm o propósito de fazer o cruzamento dos dados extraídos de diversos sistemas operacionais e fornecer ferramentas mais apuradas de gestão, permitindo a tomada de decisões com maior agilidade e segurança.
Uma das formas de se utilizar o DW como ferramenta de CRM, é armazenar as informações operacionais e analíticas do relacionamento empresa/cliente, desta forma é possível obter respostas para as seguintes questões:
1) Qual a amplitude deste relacionamento?
2) Qual o volume de compras do cliente?
3) Qual o valor anual deste cliente?
4) Quais os produtos/serviços consumidos por este cliente?
5) Quais outros produtos/serviços que se deve oferecer para este cliente?
6) Quantas referências se esperam deste cliente? (obtenção de novos clientes através de indicação)
7) Quais as necessidades do cliente?
8) Quais as sugestões do cliente?
De acordo com o IDC (Instituto de Direito do Consumidor), as empresas com processos analíticos têm cerca de 1,5% a mais de retorno por analisar e conhecer melhor seus clientes, isto denota que não basta focar apenas nos processos operacionais, é necessário “ouvir” o cliente e procurar satisfazer suas necessidades. Fidelizando os clientes atuais e, ao mesmo tempo, inovando na oferta de produtos e serviços, a obtenção de novos clientes acontece naturalmente.
Finalizando, para traçar o perfil do cliente, principalmente em empresas que possuem milhares (ou milhões) deles, o projeto de CRM deve investir na integração dos bancos de dados operacionais e considerar as informações analíticas obtidas através das centrais de relacionamento. Não é possível tratar um cliente de maneira diferenciada sem conhecer o histórico de sua relação com a empresa, independente da origem da informação (operacional ou analítica).
Fonte utilizada:
Revista Consumidor Moderno
Adicionar comentário 8 de Fevereiro de 2008 às 09:10 Wylton
Teradata 12.0
Pessoal,
Estou incluindo uma tradução livre do artigo Teradata 12.0:Active Performance, escrito por Todd Walter e Alan Greenspan, publicado na revista Teradata Magazine Volume 7, No. 3.
Ainda não está completo, a medida que o tempo permitir pretendo incluir o artigo inteiro traduzido.
“Active Data Warehousing” (ADW) é o processo de combinar inteligência estratégica e operacional na mesma plataforma, utilizando dados corporativos atualizados. Uma aplicação ADW, submete a plataforma tecnológica a requerimentos intensos.
Primeiro, o ADW precisa de um desempenho consideravelmente bom em toda a sua carga de trabalho. Não é somente necessário gerenciar e acompanhar uma carga de trabalho ampla e variada sob qualquer circunstancia. Ele precisa ainda ser capaz de acompanhar o fluxo da mudança dos dados. Segundo, o ADW precisa permitir o desenvolvimento de novas aplicações de forma rápida e fácil.
O Teradata 12.0 é o próximo passo em direção a tornar fácil para todos a construção de um ADW de alto desempenho.
Que mudanças proporcionam novos níveis de desempenho?
O índice primário particionado (“PPI – Partitioned Primary Index”), foi estendido para múltiplos níveis, as estatísticas foram aprimoradas a fim de entregar melhores estimativas, várias melhorias no planejamento e estimativa de consultas (queries) foram adicionadas e os planos de execução (“explain plan”) foram incrementados com informações que anteriormente eram presumidas.
Como o PPI em vários níveis funciona ? (ML-PPI, Multi Level PPI)
A funcionalidade PPI atual permite que uma função determine o particionamento horizontal da tabela. Com o ML-PPI, as funcionalidades de particionamento são estendidas a vários níveis. Funções separadas dentro do ML-PPI definem o particionamento para cada nível, e podem ser utilizadas de forma conjunta ou independente possibilitando acesso muito mais granular aos dados desejados na tabela.
Por exemplo, uma companhia de seguros poderia particionar primeiro por estado (UF), depois por mês. As perguntas (queries) podem ser feitas por estado, mês ou ambos, possibilitando que a quantidade de dados acessados seja melhor adequada a analise em questão. Com a redução da quantidade de dados acessados o carga de I/O no sistema também é reduzida melhorando o desempenho geral do sistema (overall throughput).
Como as estimativas baseadas em estatísticas foram melhoradas?
Muitos e variados usuários submetem uma grande diversidade de queries, tornando a execução de estimativas precisas extremamente importante. As estatísticas são cruciais para guiar a otimização de queries baseada em custo.
O número de intervalos na estrutura de estatísticas foi dobrado, incrementando significativamente os detalhes, precisão e entendimento dos desvios (skew). As demografias das estatísticas de várias colunas (multiple column statistics) foram melhoradas com uma melhor figura sobre como os nulos aparecem nos dados.
O que acontece se as minhas estatísticas não são correntes?
Estatísticas desatualizadas podem levar a estimativas inválidas que por sua vez podem afetar negativamente o planejamento da querie. Balancear o custo de atualizar estatísticas versus o risco potencial de estatísticas imprecisas, frequentemente demantam “trade-offs”. Por exemplo, com determinadas colunas (especialmente datas), é necessário coletar estatísticas frequentemente para obter planos de execução razoáveis em queries que atuam no fim ou proximo ao fim dom do intervalo de dados.
O Teradata 12.0 reduz significativamente a perda de recursos (overhead), extrapolando valores quando as estatísticas coletadas não estão atualizadas, reduzindo a frequencia necessária de atualização estatísticas e o consumo de recursos total do ambiente.
Continuando com o cenário acima, quando estatísticas em uma coluna de datas não foi recentemente atualizada, o otimizador irá determinar quanto dado adicional foi incluído na tabela e irá estender as estatísticas contabilizando os novos intervalos de datas. O planejamento das queries será melhorado mesmo que as estatísticas não sejam coletadas diáriamente.
O que há de novo sobre estimativas e planejamento de queries ?
A complexidade das queries continua a aumentar com muitas views aninhadas, subqueries, tabelas derivadas e joins complexos. O otimizador do Teradata foi aprimorado para capturar informãções adicionais sobre cada nível aninhado da querie e então levar estas informações para o processo de planejamento. Também foram implementadas melhorias nas estimativas de custo e resultados de joins complexos. Novas regras para re-escrita de queries foram adicionadas endereçando várias oportunidades de otimização enviadas por usuários. A engrenagem de re-escrita pode agora executar múltiplas passadas, permitindo maiores oportunidades de otimização do plano. Planos de execução mais precisos e consistentes serão produzidos como resultado.
Que mudanças foram implementadas nos planos de execução (”explain plans”) ?
Tamanho dos spools, colunas chave para joins e agrupamento, nomes dos objetos referenciados na query, além de outras informações adicionais, foram incluídas na saída do plano de execução propiciando informações mais detalhadas para o usuário que estiver lendo o plano de execução.
Como o Teradata melhorou a capacidade de gerenciar a carga de trabalho ativa em constante crescimento?
Todas as implementações já citadas, relacionadas a melhoria das estimativas das queries ajudam também na precisão das regras de gerenciamento da carga de trabalho. Mais informações podem ser fornecidas sobre cada querie. Exceções de carga de trabalho (workload exceptions), foram extendidas e um “guarda de trânsito” (traffic cop) foi adicionado para automatizar mudanças nas regras de carga de trabalho (workload rules) em função de eventos do sistema ou definidos pelo usuário. Uma forma completamente nova para acesso as informações está sendo desenvolvida para fornecer informações de gerenciamento adicional para mais usuários do data warehouse.
O que é o “guarda de trânsito” (traffic cop) ?
Novos perfis de gerenciamento da carga de trabalho podem ser implementados quando as condições do sistema são alteradas ou quando eventos definidos pelo usuário, como por exemplo o final da janela de carga, ocorrem. Por exemplo, se um componente do sistema falha ou se o sistema estiver excepcionalmente carregado, o “guarda de trânsito” pode alterar as políticas de gerenciamento do sistema de acordo com as condições atuais do sistema.
Como usuários e aplicações fornecem mais informações sobre a carga de trabalho no sistema ?
Assim como marcando um pássaro para acompanhar seu vôo, uma marca na querie (”query band”) pode agora ser associada a cada querie. A marca pode conter qualquer número de atributos e valores associados proporcionando informações detalhadas que podem ser referenciadas pelas regras de gerenciamento da carga de trabalho durante a etapa de classificação de queries. Em seguida a informação é capturada pelo log, onde pode ser utilizada para analises futuras da carga que passou pelo sistema.
A marcação de queries (”querie banding”) é especialmente valiosa para aplicações que enviam trabalho através de um pool de sessões (”session pool”) tais como aplicações tradicionais, aplicações analíticas usando pool de sessões, aplicações BI utilizando pool de sessões e novas aplicações web.
Informações úteis para gerenciamento da carga de trabalho, ou para rastrear a utilização do data warehouse (como aplicação, unidade de trabalho, usuario solicitante, etc.), podem ser obtidas através da marcação de queries. Após a aplicação ser ajustada para prover estas informações, todo o acompanhamento e “linking” ao gerenciamento da carga de trabalho é manuseado automáticamente.
Quais exceções de carga de trabalho novas estarão disponíveis ?
Uma nova exceção de carga de trabalho a nível de sistema foi adicionada no Teradata 12.0. Agora, uma única regra pode ser usada para levantar exceções, independente do grupo de carga de trabalho da querie. Multiplas regras podem ser associadas a um único grupo de carga de trabalho possibilitando vários níveis de controle para requisições que não estão se comportanto como esperado.
Como as informações de gerenciamento do sistema serão fornecidas no futuro?
O Teradata 12.0 possui uma API para disponibilizar informações de gerenciamento do ambiente disponível via interface SQL padrão. Com esta funcionalidade, dados podem ser recuperados e configurações de controle alteradas. Isto torna as informações disponíveis através das interfaces ODBC e JDBC convencionais.
Sobre estas novas APIs, uma nova interface de gerenciamento do sistema foi implementada. Utilizando serviços Web e portais, uma nova forma de gerenciamento do sistema será entregue aos usuários administradores e finais.
Como o crescente fluxo de mudanças no data warehouse será manipulado ?
O contínuo fluxo de dados necessita ser carregado no banco de dados de forma eficiente e em seguida tem que ser copiado para backup sem afetar o fluxo. Se disponibilidade e “disaster recovery” requerem um sistema dual, os dados precisam sincronizados entre os 2 sistemas.
O que há de novo sobre o processo de aquisição e indegração de dados ?
Muitas implementações utilizam o processo de extração, carga e transformação (ELT), executando os passos de transformação e aplicação dentro da engrenagem de banco de dados, aproveitando a capacidade de processamento paralelo do banco de dados para realizar o trabalho. O Teradata 12.0 possui a capacidade de realizar um “merge em massa” (bulk merge, upsert), a partir de uma tabela de dados alterados, realizando todo o trabalho dentro do banco de dados.
Operações de inserção e atualização foram melhoradas com uma opção de “logar” erros em uma tabela de erros ao invés de iniciar um “abort”. Isto significa menor esforço para conseguir dados perfeitos antes de carregá-los. Em conjunto estas funções melhoram significativamente a capacidade ETL para data warehouse.
O ELT usando os SQL em lote (bulk SQL operations) elimina as restrições dos utilitários de carga, permitindo maior utilização de técnicas de “tuning” físico como índices secundários e join indexes e permitindo maior utilização de funções ativas (triggers, integridade referencial).
Como efetuar backup sem afetar um processo de carga contínuo ?
O “archive online” permite agora que o backup seja feito sem interrupção do processo de carga. Ele irá automaticamente iniciar um ckeckpoint, gravar um log de mudanças, salvar o log e copiar junto com o backup. No processo de recuperação (restore), o log será automaticamente recuperado e processado até o checkpoint garantindo que uma recuperação consistente tenha sido feita.
Adicionar comentário 20 de Janeiro de 2008 às 17:02 admin
Mensagem de Natal
Olá Pessoal,
O Natal está chegando e nós da TDW queremos deixar uma mensagem de paz e harmonia a todos os que visitam esse blog.
Que essa época tão bonita nos ajude a renovar as capacidades de amar e de ter compaixão pois é delas que a humanidade mais precisa.
Um grande abraço a todos.
Equipe TDW
1 comentário 23 de Dezembro de 2007 às 07:47 ppinho
Quando e onde colocar o dado
Pessoal,
Uma dúvida que sempre surge em minhas apresentações está relacionada com o uso dos conceitos de ODS e Data Marts. Navegando no site da Teradata, encontrei um artigo que recomendo ler. Ele dá recomendações sobre o uso desses conceitos.
O endereço do artigo é: http://www.teradata.com/t/pdf.aspx?a=83673&b=175847
Paulo
Adicionar comentário às 07:31 ppinho
