Nos últimos anos, a demanda por armazenamento de dados escalável e altamente disponível aumentou significativamente, impulsionada pelo crescimento exponencial dos dados gerados por empresas e consumidores. Nesse cenário, as plataformas de armazenamento de objetos desempenham um papel crucial. O Ceph Object Gateway é similiar ao Amazon S3 (Simple Storage Service) que é um dos serviços mais populares, oferecendo uma solução confiável e escalável para atender a diversas necessidades de armazenamento de objetos.
O que é o Ceph Object Gateway?
O Ceph Object Gateway, também conhecido como RADOS Gateway é uma plataforma de armazenamento de objetos de código aberto compatível com o S3 que oferece uma solução robusta para armazenamento e gerenciamento de objetos. Neste artigo, exploraremos o Ceph Object Gateway e como ele pode ser uma escolha ideal para suas necessidades de armazenamento de objetos escaláveis de forma segura.
Principais Características do Ceph Object Gateway:
Versionamento de Objetos: Oferece suporte ao versionamento de objetos, permitindo que você mantenha várias versões de um objeto e recupere versões anteriores conforme necessário.
Imutabilidade: Durante o período de retenção definido, os objetos no bucket são considerados imutáveis. Isso significa que eles não podem ser excluídos nem modificados de forma alguma. Mesmo o proprietário do bucket ou administrador não poderá realizar essas operações até que o período de retenção expire, isso protege seus dados contra ameaças de segurança cibernéticas como os ransomwares.
Escalabilidade: O Ceph Object Gateway é altamente escalável e pode lidar com grandes quantidades de dados e objetos. À medida que suas necessidades de armazenamento crescem, o Ceph Object Gateway pode crescer com você.
Compatibilidade: Ele suporta os protocolos S3 e Swift, permitindo a integração fácil com aplicativos e serviços que usam esses protocolos.
Auditoria e Monitoramento: O Ceph Object Storage S3 oferece recursos de auditoria e monitoramento que permitem rastrear atividades de acesso aos objetos e monitorar o desempenho do sistema.
Autenticação e Segurança: Suporta autenticação e segurança avançada, incluindo a autenticação baseada em chave, para garantir a proteção de seus dados.
Onde é Utilizado?
O Ceph Object Gateway é amplamente utilizado em diversos casos de uso, incluindo:
Armazenamento de Backups: Empresas podem usar o S3 para armazenar backups de dados e sistemas, garantindo a recuperação rápida em caso de falhas e também oferece segurança dos dados devido ao recurso de imutabilidade.
Hospedagem de Sites Estáticos: O S3 é uma escolha popular para hospedar sites estáticos, pois oferece escalabilidade e baixo custo.
Armazenamento de Mídia: Empresas de mídia e entretenimento podem usar o S3 para armazenar vídeos, imagens e outros conteúdos multimídia.
Big Data e Análise: O S3 é frequentemente usado como um local de armazenamento para dados de big data, permitindo análises escaláveis.
Armazenamento de Log: Muitas organizações usam o S3 para armazenar registros de aplicativos e sistemas, facilitando a análise e monitoramento.
No Ceph, o Object Gateway roda sob o serviço de RGW, onde pode ter um ou mais daemons de RGW para prover o acesso a API do S3:
O serviço de RGW opera sob o protocolo HTTP (Porta 80) ou HTTPS (Porta 443), no caso do uso sob HTTPS será necessário a configuração de um certificado SSL, conforme podemos ver abaixo:
Um exemplo de acesso via protocolo HTTPS através de FQDN com certificado SSL válido:
Os clientes se conectam no Data Center através da API e sob o protocolo HTTPS para acessar os buckets S3 alocados no Cluster Ceph:
O que são Buckets?
No contexto do RGW, um bucket é um grupo de objetos. Em uma analogia baseada no sistema de arquivos em que os objetos são a contrapartida dos arquivos, os buckets são a contrapartida dos diretórios. Pode ser aplicado a opção de "Locking" na criação de um Bucket para aplicar a imutabilidade conforme os dias configurados.
Como Funciona a Alta Disponibilidade do Serviço de Object Gateway ?
O HAProxy (High Availability Proxy) é uma solução de balanceamento de carga que pode ser usada para garantir a alta disponibilidade e a distribuição equitativa do tráfego entre várias instâncias do serviço RADOS Gateway (também conhecido como Ceph Object Gateway). Ele desempenha um papel crucial na melhoria da confiabilidade e do desempenho do serviço. Aqui está uma explicação de como o HAProxy funciona para o serviço RADOS Gateway:
Balanceamento de Carga: O HAProxy atua como um ponto de entrada para os clientes que desejam acessar o serviço RADOS Gateway. Ele distribui o tráfego de entrada de forma equitativa entre várias instâncias do RADOS Gateway para evitar sobrecarga em qualquer instância específica. Isso ajuda a melhorar o desempenho do serviço, distribuindo a carga de trabalho de forma uniforme.
Detecção de Falhas: O HAProxy monitora constantemente o estado das instâncias do RADOS Gateway. Ele realiza verificações regulares de saúde para verificar se as instâncias estão operacionais e disponíveis. Se uma instância falhar ou se tornar inacessível, o HAProxy pode detectar a falha e direcionar o tráfego para instâncias saudáveis e funcionais. Isso ajuda a garantir a alta disponibilidade do serviço, minimizando o tempo de inatividade.
Alta Disponibilidade: O uso do HAProxy com várias instâncias do RADOS Gateway fornece alta disponibilidade para o serviço. Se uma instância se tornar inacessível devido a uma falha ou manutenção, o HAProxy redireciona o tráfego para outras instâncias, garantindo que os clientes continuem a ter acesso ao serviço.
Configuração Flexível: O HAProxy oferece uma configuração flexível que permite ajustar a distribuição do tráfego de acordo com as necessidades específicas. Você pode configurar pesos para as instâncias para que algumas recebam mais tráfego do que outras, dependendo da capacidade e do desempenho. Isso é útil ao dimensionar o serviço.
Proxy SSL/TLS: Pode ser configurado para lidar com a terminação SSL/TLS, permitindo que o tráfego HTTPS seja decifrado no HAProxy antes de ser encaminhado para o RADOS Gateway. Isso alivia a carga das instâncias do RADOS Gateway, já que elas não precisam realizar a criptografia e descriptografia SSL/TLS.
Redirecionamento de Portas: Pode redirecionar solicitações de clientes em uma porta específica para as portas corretas nas instâncias do RADOS Gateway. Isso é útil quando você deseja oferecer serviços diferentes em portas distintas.
Monitoramento e Relatórios: Oferece recursos de monitoramento e geração de relatórios que permitem que você acompanhe o desempenho do balanceamento de carga e as estatísticas de tráfego.
No geral, o HAProxy desempenha um papel essencial na garantia de alta disponibilidade, escalabilidade e desempenho do serviço RADOS Gateway. Ele distribui o tráfego de forma eficiente entre as instâncias e monitora constantemente seu estado, garantindo que o serviço esteja sempre acessível e funcional. Isso é especialmente importante em ambientes onde a disponibilidade contínua do serviço é crucial.
Daemons do HAProxy no Ceph:
No serviço do HAProxy, devemos configurar um IP virtual que servirá para comunicação entre os daemons rodando em backend junto ao serviço do RGW:
Ferramentas de Backup Compatíveis:
Veeam Backup & Replication: Uma solução popular para backup e recuperação de dados que oferece integração com o S3 para armazenamento de backup.
Bacula: Um software de backup de código aberto que possui suporte nativo ao protocolo S3 tanto na versão Enterprise quanto na versão Community.
Arcserve: Crie um repositório para os dados de backup do arcserve e aumente a sua segurança habilitando dados imutáveis com a solução de Object Storage.
Acronis Backup: Uma solução de backup e recuperação que suporta o uso do S3 como local de armazenamento de backup.
Veritas: Uma solução de backup empresarial que oferece integração com o S3 para armazenamento de backup.
Commvault: Uma solução corporativa de backup e recuperação de dados que oferece suporte ao S3 para backup e arquivamento.
Duplicati: Uma ferramenta de backup que suporta o uso do S3 Object Storage como destino de backup. É popular em sistemas baseados em Linux.
Rclone: Outra ferramenta de código aberto que oferece suporte a vários serviços de armazenamento em nuvem, incluindo o S3.
Rubrik: Uma plataforma de gerenciamento de dados que oferece integração com o S3 para arquivamento e retenção de dados.
Amanda: Um software de backup de código aberto que suporta o S3 como destino de backup, entre outros.
Clientes de S3 Compatíveis:
Boto3: Boto3 é o kit de desenvolvimento de software (SDK) da Amazon Web Services (AWS) para Python, que permite aos desenvolvedores Python escrever software que faz uso de serviços como Amazon S3 e Amazon EC2.
S3 CMD: Ferramenta de linha de comando utilizada para comunicar com os serviços de S3.
Cyberduck: O Cyberduck é um cliente gráfico livre de código aberto compatível com Amazon S3 para Mac OS X licenciado sobre GPL.
S3 Browser: S3 Browser é um cliente Windows freeware para Amazon S3.
FileZilla: FileZilla é um client de FTP e SFTP que também possuí compatibilidade com Amazon S3.
O Ceph Object Gateway é uma plataforma de armazenamento de objetos escalável e altamente confiável que pode atender a uma variedade de necessidades de armazenamento de objetos. Sua integração perfeita com outros componentes do ecossistema Ceph, juntamente com sua capacidade de escalabilidade, o torna uma escolha sólida para empresas que buscam uma solução de armazenamento de objetos flexível e robusta.
Se você está considerando implementar uma plataforma de armazenamento de objetos escalável, o Ceph Object Gateway oferece uma solução de código aberto que pode ser uma escolha econômica e eficaz para atender às demandas de armazenamento de objetos da sua organização e de seus clientes.
Com o Ceph Object Gateway, você pode ter a confiança de que seu armazenamento está preparado para crescer com suas necessidades.
Guilherme Soncini | Gerente de Inovação e Tecnologia | NewFront
Ficou interessado em saber mais ? Entre em contato conosco e fale diretamente com um de nossos especialistas.