Como criar conexão MySql no Spoon ( Pentaho Data Integration PDI )

Será apresentado agora uma das formas de estabelecer uma conexão entre o Spoon (PDI) e uma base de dados MySql. Basicamente será o mesmo procedimento para que você realize conexão com outros servidores de banco de dados.

O que vamos precisar ?

1 - Spoon funcionando.

2 - Servidor MySql instalado, com pelo menos uma base de dados criada.

3 – Biblioteca Java de conexão MySql.

 

Configurando conexão Spoon (PDI) com MySql

Para configurar uma comexão siga os seguintes passos:

1. Abra o Spoon.

2. Crie uma nova transformação, você pode criar uma tranformação através do menu File > Novo > transformação ou através do atalho Ctrl+N

 

3. Antes de iniciar a configuração da nossa conexão com o banco de dados precisamos baixar a biblioteca Java MySql JDBC. Você pode obter opcionalmente a biblioteca através das opções abaixo:

Download Java MySql JDBC Connector

Opção 1 – MediaFire

Opção 2 – 4Shared

Após realizar o download da biblioteca, a coloque pasta ..\lib que está dentro do diretório de instalação do Spoon (PDI).

4.  Agora vamos iniciar a configuração da nossa conexão. A tela de configuração de conexões pode ser acessada através do menu File > Novo > Database Connection…

4.1. Certifique-se de estar selecionado o tipo General (1) no painel localizado no lado esquerdo da janela de configuração de conexões.

4.2. Defina agora um nome para a sua conexão no campo Connection Name (2), pode ser definido o nome de sua preferência. Para nosso exemplo vamos definir o nome como conexaoMYSQL.

4.3. No painel Connection type (3) você deve selecionar o tipo de conexão que deseja configurar. Para nosso exemplo escolheremos a conexão MySql.

4.4. No painel Acess (4) selecionamos o método de acesso que será utilizado pelo Spoon. Para nosso exemplo selecione Native (JDBC), lembre-se que adicionamos a biblioteca Java JDBC a pasta de ..\lib do Spoon (PDI).

4.5. Por fim no painel Settings (5) informamos as propriedade da conexão:

Host Name: localhost (IP de conexão para o seu servidor de banco de dados)

Database Name: spoon_trainer (Nome do banco de dados que deseja conectar)

Port Number: 3306 (Número da porta de comunicação utilizada por seu servidor MySql)

User Name: root (Usuário de acesso ao banco de dados)

Password: **** (Senha de acesso ao banco de dados)

4.6. Após definidas as configurações vamos testar nossa conexão clicando no botão Test (6).

Se for apresentada uma tela com uma mensagem semelhante a esta:

Connection to database [NOME_DA_CONEXAO] is OK.
Hostname       :  IP/MÁQUINA
Port           :  PORTA
Database name  : BASE_DE_DADOS

Parabéns, você configurou uma conexão entre o Spoon (PDI) e uma base de dados MySQL.

5. Após criar e testar a conexão espera-se que você possa visualizar algo parecido com a imagem abaixo, pode-se observar que no quadro 1 na aba view podemos visualizar a conexão cria com o banco de dados e no quadro 2 está o container da transformação criada, onde iremos criar nosso processo de tratamento e transferência dos dados.

Read More

Configurando Variáveis de Ambiente JAVA

Java é uma plataforma utilizada para desenvolvimento de diversas aplicações ao redor do mundo. Para utilizar algumas dessas aplicações é necessário definir algumas configurações em nosso sistema operacional.

Após realizar a instalação do JDK na versão escolhida recomenda-se que sejam configuradas as variaveis de ambiente.

Será mostrado agora como realizar a configuração de variáveis de ambiente que auxiliam na compatibilidade entre o SO e aplicações JAVA

Vamos configurar as variaveis de ambiente em três passos:

PASSO 1

- Clique com o botão direito em cima do ícone “Meu Computador”;

- Vá em “Propriedades”;

- Selecione a aba “Avançado” (Windows XP) ou “Configurações avançadas do sistema”, depois na aba “Avançado” (Windows 7);

- Clique no botão “Variáveis de ambiente”;

- Clique no botão “Novo” em “Variáveis do sistema”;

- Nome da variável: JAVA_HOME

- Valor da variável: coloque aqui o endereço de instalação do seu JDK  (no meu caso é  “C:\Program Files\Java\jdk1.6.0_26”)

Veja abaixo o resultado:

 

 

Em seguida clique no botão “OK” para registrar a variável JAVA_HOME.

Não feche a janela de Variaveis de Ambiente ainda.

PASSO 2

Agora vamos configurar nossa segunda variável de ambiente.

- Clique no botão “Novo” em “Variáveis do sistema”;

- Nome da variável: CLASSPATH

- Valor da variável: .;%JAVA__HOME%

Em seguida clique no botão “OK” para registrar a variável CLASSPATH.

Não feche a janela de Variaveis de Ambiente ainda.

PASSO 3

Desta vez não vamos criar uma nova variável.

- Procure pela variável Path, que certamente já deve existir.

- Selecione a variável e clique no botão “Editar”.

- Adicione o texto ;%JAVA_HOME%\bin ao valor da variável, não apague o valor que já estiver lá, trata-se de configurações de outras aplicações do seu computador.

Realizada as configurações apresentadas, certamente seus problemas com compatibilidade de aplicações java serão minimizados.

 

Obrigado por nos visitar!

Read More

Iniciando com Spoon ( Pentaho Data Intregation )

A ampla gama de informações recolhidas por uma empresa raramente é armazenado em um único banco de dados ou formato. No entanto, o software de análise é acusado de fornecer uma visão holística das operações de uma empresa com base nesses dados diversificados. A integração de dados é o processo pelo qual as informações de várias bases de dados são consolidadas para uso em uma única aplicação. Resumidamente, a integração de dados combina partes que normalmente não se encaixam.

Softwares de análise de negócios dependem da integração de dados para construir painéis, visualizações e relatórios que refletem informações precisas, consistentes. A falta de limpeza de dados resultaria em consultas que retornam as comparações inúteis. Os desafios de volume e diversidade criada por dados grandes tornam a integração ainda mais importante.

Aplicações desenvolvidas internamente podem ser utilizadas para traduzir dados de diversas fontes para um formato comum. No entanto, como o aumento de informação, as exigências de gestão de dados sobre uma aplicação podem tornar-se excessivas, sendo necessário uma codificação complexa e investimentos cada vez maiores podem ser necessários para manter tudo funcionando.

Um ETL (extração, transformação e carga) recebe e limpa os dados de uma base de dados origem, em seguida, envia a informação para o data warehouse (base de dados destino). Programas que acessam o data warehouse encontraram as informações prontas para análise.

Há vantagens e desvantagens para a integração de dados, a solução mais eficaz dependerá dos recursos e necessidades da sua empresa ou equipe de trabalho.

SPOON

Com uma interface gráfica arraste e solte intuitiva, ambiente de design e escalável, arquitetura baseada em padrões, o Spoon é uma ferramenta ETL, ótima para criação de um data warehouse ou para migração de dados entre diferentes bases de dados.

Preparação de ambiente (Instalação)

Por ser uma aplicação desenvolvida em Java, o Spoon não necessita de instalação. Porém é necessário realizar algumas configurações em seu computador para garantir que a ferramenta funcione corretamente.

Vamos mostrar como realizar a configuração da ferramenta em um ambiente Windows.

 

Onde baixar o Spoon ?

Para utilizar o Spoon você pode optar entre a versão paga e a versão gratuita (comunitária), vale ressaltar que com a versão gratuita você conseguira trabalhar com grande volume de informações sem problemas, independentemente do tamanho do seu projeto.

Para baixar a versão gratuita acesse: Download Spoon

Após realizar o download do Spoon você deve se atentar a algumas configurações que devem ser realizadas em seu sistema operacional.

Requisitos Windows:

1. - JDK  instalado- recomendável 7 ou superior ( por questão de dependências de alguns pacotes, recomenda-se sempre possuir o JDK instalado).
2. - Configurar variaveis de ambiente.
3. - Bibliotecas  de conexão JDBC.

Configurando variáveis de ambiente para o Spoon

As configurações a seguir visam assegurar o funcionamento do Spoom.

 

Configurando Variáveis de Ambiente

Para configurar as variáveis de ambiente java acesse o link: Configurando Variáveis de Ambiente Java

Após configurar as variáveis Java, você deve configurar uma variável java pouco utilizada, mas de grande importância para o Spoon.

Na tela de configuração de variáveis de ambiente crie uma nova variável:

Variável: _JAVA_OPTIONS

Valor da Váriavel: –Xmx1g

Após criar a variável acima, vá até a pasta de instalação do Spoon e execute o arquivo “Spoon.bat”

Após  executar o arquivo BAT primeiro irá aparece uma tela do prompt de comando.

 

Após poucos segundos será a presentada a tela de Splash  do Pentaho Data Integration.

Após mais alguns segundos a tela inicial do Spoon é apresentada.

Geralmente demora um pouquinho para que ele seja iniciado, então não se preocupe.

 

Bibliotecas JDBC

Para conseguir conectar-se a alguns bancos de dados é necessário baixar algumas bibliotecas e coloca-las na pasta \lib que há no diretório de instalação do Spoon.

Por exemplo, para realizarmos uma conexão MySql precisamos baixar a biblioteca JDBC.

Read More