Fala pessoal tudo beleza?
Esse artigo é uma extensão de um artigo que escrevi há alguns anos, onde fiz a criação de um simples script de backup para bancos Mysql.
Hoje estarei refatorando aquele primeiro script e adicionando uma opção para poder armazenar o backup no S3 da AWS.
Caso queira ver o primeiro artigo que escrevi, acesse aqui.
Instalando AWS S3 CLI
Primeiro vamos instalar e configurar a ferramenta de CLI que a AWS fornece para podermos interagir com os recursos na nuvem.
A instalação será feita em um sistema Linux, para a instalação em outros sistemas, pode ser encontrado nesse link.
Execute os comandos:
$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
$ unzip awscliv2.zip
$ sudo ./aws/install
Podemos confirmar se a instalação ocorreu com sucesso, com o comando:
$ aws --version
aws-cli/2.10.3 Python/3.9.11 Linux/5.10.0-21-amd64 exe/x86_64.debian.11 prompt/off
Caso já tenha o aws-cli instalado, poderá verificar se há alguma atualização para ser feita. No terceiro comando mostrado acima, pode usar a flag --update para atualizar para a versão mais recente.
$ sudo ./aws/install --update
You can now run: /usr/local/bin/aws --version
Criando usuário na AWS
Agora é necessário configurar o aws-cli com as credenciais de um usuário, para isso é necessário ter uma conta na AWS.
Nesse artigo irei pressupor que você já tem uma conta na AWS, não irei abordar o processo de criação de conta, mas iremos passar pela criação de um usuário programático e gerar as credenciais.
Com o foco na segurança, esse usuário terá um permissão restrita a um determinado bucket no S3, podendo apenas realizar ações nesse bucket e não tendo acesso nenhum a outros bucket que não seja o que definimos.
Acesse o console da AWS e navegue até a sessão do IAM.
No menu esquerdo, clique em Usuários.
Na tela de listagem de usuários, clique em Adicionar usuários.
Informe o nome de usuário, nesse exemplo vamos criar um usuário chamado backup-s3. Clique em Próximo.
Nessa tela, iremos adicionar uma política ao usuário. Clique no card Anexar políticas diretamente.
Na listagem de políticas, clique em Criar política.
Na tela de criação, clique na aba JSON para informar a política manualmente.
Copie a seguinte política e cole no editor de política - Altere o nome do bucket conforme sua preferência, nesse exemplo estou usando backups-aristides-dev
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::backups-aristides-dev/*"
]
},
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": [
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::backups-aristides-dev"
]
}
]
}
Clique em Próximo duas vezes até chegar na tela para informar o nome da política.
Informe o nome BackupS3ReadWriteAccess e clique em Criar política.
Nesse ponto, a política foi criada. Volte para a aba inicial e procure na listagem a política que acabou de ser criada, selecione ela e clique em Próximo.
Revise os dados e clique em Criar usuário.
Até aqui acabamos de criar um usuário e anexamos uma política para que esse usuário tenha acesso somente a um bucket chamado backups-aristides-dev. Com essa política, o usuário poderá executar as ações de Leitura/Escrita/Remoção de arquivos dentro do bucket.
Para dar continuidade precisamos que o bucket já esteja criado. Para isso crie um bucket pela console da AWS com o mesmo nome que foi definido por você ao criar a política, no meu caso backups-aristides-dev. Não irei abordar a criação por se tratar de um passo simples, apenas informe o nome e deixe as opções padrões do bucket.
Gerar credenciais de segurança
Após a criação do usuário e do bucket, acesse novamente a listagem de usuários do IAM e clique sobre o usuário backup-s3 que acabamos de criar.
Na aba Credenciais de segurança, na sessão Chaves de acesso, clique em Criar chave de acesso.
Selecione a opção Command Line Interface (CLI), marque o checkbox Compreendo a recomendação acima e quero prosseguir para criar uma chave de acesso. e clique em Próximo.
Caso queira deixar alguma descrição (essa informação é opcional), informe na caixa de texto e clique em Criar chave de acesso.
Esse passo é muito importante, as chaves geradas serão mostradas apenas uma vez na tela. Clique em Baixar arquivo .csv e salve em um lugar seguro as credenciais.
Após baixar o arquivo .csv, clique em Concluído.
Configurando AWS S3 CLI
Após todo os passos acima de criação de usuário e geração das chaves de acesso, devemos configurar a ferramente de CLI para podermos interagir com o S3.
Execute o comando abaixo para configurar o acesso e informe as credenciais do usuário criado.
$ aws configure
AWS Access Key ID [None]: <access-key-id>
AWS Secret Access Key [None]: <secret-access-key>
Default region name [None]: us-east-1
Default output format [None]: json
Para validarmos o acesso, vamos copiar um arquivo para o bucket e em seguida listarmos.
$ touch teste.txt && echo "Backup Mysql" > teste.txt
$ aws s3 cp teste.txt s3://backups-aristides-dev/
upload: ./teste.txt to s3://backups-aristides-dev/teste.txt
$ aws s3 ls s3://backups-aristides-dev/
2023-03-11 18:45:18 13 teste.txt
Podemos validar também se o nosso usuário tem acesso para visualizar outros buckets:
$ aws s3 ls
An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied
$ aws s3 cp teste.txt s3://meu-bucket-pessoal/
upload failed: ./teste.txt to s3://meu-bucket-pessoal/teste.txt An error occurred (AccessDenied) when calling the PutObject operation: Access Denied
Show de bola, como visto acima o usuário criado tem acesso somente a um determinado bucket. Com isso nós garantimos uma segurança a mais para o nosso script de backup.
Script de backup Mysql
Nesse script, deixei toda parte do código comentado para um melhor entendimento de cada linha. Mas em resumo o script executará os seguintes passos:
Define algumas variáveis que serão usadas durante a execução do script.
Define o nome dos bancos de dados que devem ser realizado o backup.
Verifica se o diretório de armazenamento dos arquivos e do log existem, caso não, serão criados.
Faz um loop nos bancos de dados para realizar o backup, compactar e sincronizar com o S3.
O script irá sincronizar todo o conteúdo do diretório de backup, caso um arquivo já exista no S3, esse não será enviado novamente.
Remove arquivos de backups antigos conforme a quantidade de dias determinada. Essa remoção será somente do servidor, no S3 os arquivos irão ser mantidos normalmente.
Abaixo segue todo o código de backup:
#!/bin/bash
USER='root'
PASS='root'
DIA=`date +%d`
MES=`date +%m`
ANO=`date +%Y`
DATA_ATUAL=`date +%Y-%m-%d-%H-%M`
DATA_INICIO=`date +%d/%m/%Y-%H:%M:%S`
LOG_DIR=/var/log/backup
LOG=$LOG_DIR/backup_db_$ANO$MES$DIA.log
DIR_BK=/backups/mysql
DATABASES=(banco01 banco02)
if [ ! -d $LOG_DIR ]; then
mkdir $LOG_DIR
fi
if [ ! -d $DIR_BK ]; then
mkdir -p $DIR_BK
fi
echo -e "MYSQLDUMP Iniciado em $DATA_INICIO\n" >> $LOG
for db in "${DATABASES[@]}"; do
echo "...Realizando backup do banco ...........................[ $db ]" >> $LOG
mysqldump --routines -u$USER -p$PASS $db > $DIR_BK/$db'_'$DATA_ATUAL.sql
echo "...Compactando arquivo de backup ........................[ $db ]" >> $LOG
bzip2 $DIR_BK/$db'_'$DATA_ATUAL.sql
aws s3 sync $DIR_BK s3://backups-aristides-dev
echo "...Sincronização do diretório de backup com S3 ..........[ OK ]" >> $LOG
done
DATA_FINAL=`date +%d/%m/%Y-%H:%M:%S`
echo -e "\nMYSQLDUMP Finalizado em $DATA_FINAL\n" >> $LOG
find $DIR_BK -type f -mtime +5 -exec rm -rf {} \;
Para executar esse script recomendo que seja feito com o usuário root, pois serão criados diretórios e arquivos em locais que serão necessárias permissões de super usuário. Caso deseja executar com um usuário não root, certifique que terá as permissões corretas.
Log de execução do script
Ao executar o script, será criado um arquivo de log no caminho definido na variável LOG => /var/log/backup que conterá informações do banco backupeado e sincronização com o S3.
Esse é um arquivo bem simples, mas é uma forma de monitorar o andamento do backup.
MYSQLDUMP Iniciado em 11/03/2023-19:00:34
...Realizando backup do banco ...........................[ banco01 ]
...Compactando arquivo de backup ........................[ banco01 ]
...Sincronização do diretório de backup com S3 ..........[ OK ]
...Realizando backup do banco ...........................[ banco02 ]
...Compactando arquivo de backup ........................[ banco02 ]
...Sincronização do diretório de backup com S3 ..........[ OK ]
MYSQLDUMP Finalizado em 11/03/2023-19:04:14
Conclusão
Esse é um script simples, que não contém validações em caso de possíveis erros nos comandos executados. É uma boa prática e recomendado adicionar validações nos comandos executados e validar se foi executado com sucesso ou não.
Não será o foco desse artigo essa implementação, mas recomendo que tenha validações e em casos de erros tenha um alerta, seja o envio de um e-mail ou uma notificação em um canal como o Slack, Microsoft Teams ou outro. Esses programas disponibilizam um webhook para esses casos que irá te ajudar a enviar as notificações.
Espero que seja útil esse script e qualquer dúvida, melhorias ou comentários, não deixe de comentar abaixo.
Até a próxima.
