top of page
  • Foto do escritorGuilherme Soncini

Ceph Object Gateway S3: Plataforma de Armazenamento de Objetos Escalável

Atualizado: 21 de nov. de 2023

Nos últimos anos, a demanda por armazenamento de dados escalável e altamente disponível aumentou significativamente, impulsionada pelo crescimento exponencial dos dados gerados por empresas e consumidores. Nesse cenário, as plataformas de armazenamento de objetos desempenham um papel crucial. O Ceph Object Gateway é similiar ao Amazon S3 (Simple Storage Service) que é um dos serviços mais populares, oferecendo uma solução confiável e escalável para atender a diversas necessidades de armazenamento de objetos. 


O que é o Ceph Object Gateway?


O Ceph Object Gateway, também conhecido como RADOS Gateway é uma plataforma de armazenamento de objetos de código aberto compatível com o S3 que oferece uma solução robusta para armazenamento e gerenciamento de objetos. Neste artigo, exploraremos o Ceph Object Gateway e como ele pode ser uma escolha ideal para suas necessidades de armazenamento de objetos escaláveis de forma segura.


Principais Características do Ceph Object Gateway:

  • Versionamento de Objetos: Oferece suporte ao versionamento de objetos, permitindo que você mantenha várias versões de um objeto e recupere versões anteriores conforme necessário.

  • Imutabilidade: Durante o período de retenção definido, os objetos no bucket são considerados imutáveis. Isso significa que eles não podem ser excluídos nem modificados de forma alguma. Mesmo o proprietário do bucket ou administrador não poderá realizar essas operações até que o período de  retenção expire, isso protege seus dados contra ameaças de segurança cibernéticas como os ransomwares.

  • Escalabilidade: O Ceph Object Gateway é altamente escalável e pode lidar com grandes quantidades de dados e objetos. À medida que suas necessidades de armazenamento crescem, o Ceph Object Gateway pode crescer com você.

  • Compatibilidade: Ele suporta os protocolos S3 e Swift, permitindo a integração fácil com aplicativos e serviços que usam esses protocolos.

  • Auditoria e Monitoramento: O Ceph Object Storage S3  oferece recursos de auditoria e monitoramento que permitem rastrear  atividades de acesso aos objetos e monitorar o desempenho do sistema.

  • Autenticação e Segurança: Suporta autenticação e segurança avançada, incluindo a autenticação baseada em chave, para garantir a proteção de seus dados.


Onde é Utilizado?


O Ceph Object Gateway é amplamente utilizado em diversos casos de uso, incluindo:

  • Armazenamento de Backups: Empresas podem usar o S3 para armazenar backups de dados e sistemas, garantindo a recuperação rápida em caso de falhas e também oferece segurança dos dados devido ao recurso de imutabilidade.

  • Hospedagem de Sites Estáticos: O S3 é uma escolha popular para hospedar sites estáticos, pois oferece escalabilidade e baixo custo.

  • Armazenamento de Mídia: Empresas de mídia e entretenimento podem usar o S3 para armazenar vídeos, imagens e outros conteúdos multimídia.

  • Big Data e Análise: O S3 é frequentemente usado como um local de armazenamento para dados de big data, permitindo análises escaláveis.

  • Armazenamento de Log: Muitas organizações usam o S3 para armazenar registros de aplicativos e sistemas, facilitando a análise e monitoramento.

No Ceph, o Object Gateway roda sob o serviço de RGW, onde pode ter um ou mais daemons de RGW para prover o acesso a API do S3:



O serviço de RGW opera sob o protocolo HTTP (Porta 80) ou HTTPS (Porta 443), no caso do uso sob HTTPS será necessário a configuração de um certificado SSL, conforme podemos ver abaixo:



Um exemplo de acesso via protocolo HTTPS através de FQDN com certificado SSL válido:



Os clientes se conectam no Data Center através da API e sob o protocolo HTTPS para acessar os buckets S3 alocados no Cluster Ceph:




O que são Buckets?


No contexto do RGW, um bucket é um grupo de objetos. Em uma analogia baseada no sistema de arquivos em que os objetos são a contrapartida dos arquivos, os buckets são a contrapartida dos diretórios. Pode ser aplicado a opção de "Locking" na criação de um Bucket para aplicar a imutabilidade conforme os dias configurados.



Como Funciona a Alta Disponibilidade do Serviço de Object Gateway ?


O HAProxy (High Availability Proxy) é uma solução de balanceamento de carga que pode ser usada para garantir a alta disponibilidade e a distribuição equitativa do tráfego entre várias instâncias do serviço RADOS Gateway (também conhecido como Ceph Object Gateway). Ele desempenha um papel crucial na melhoria da confiabilidade e do desempenho do serviço. Aqui está uma explicação de como o HAProxy funciona para o serviço RADOS Gateway:


  1. Balanceamento de Carga: O HAProxy atua como um ponto de entrada para os clientes que desejam acessar o serviço RADOS Gateway. Ele distribui o tráfego de entrada de forma equitativa entre várias instâncias do RADOS Gateway para evitar sobrecarga em qualquer instância específica. Isso ajuda a melhorar o desempenho do serviço, distribuindo a carga de trabalho de forma uniforme.

  2. Detecção de Falhas: O HAProxy monitora constantemente o estado das instâncias do RADOS Gateway. Ele realiza verificações regulares de saúde para verificar se as instâncias estão operacionais e disponíveis. Se uma instância falhar ou se tornar inacessível, o HAProxy pode detectar a falha e direcionar o tráfego para instâncias saudáveis e funcionais. Isso ajuda a garantir a alta disponibilidade do serviço, minimizando o tempo de inatividade.

  3. Alta Disponibilidade: O uso do HAProxy com várias instâncias do RADOS Gateway fornece alta disponibilidade para o serviço. Se uma instância se tornar inacessível devido a uma falha ou manutenção, o HAProxy redireciona o tráfego para outras instâncias, garantindo que os clientes continuem a ter acesso ao serviço.

  4. Configuração Flexível: O HAProxy oferece uma configuração flexível que permite ajustar a distribuição do tráfego de acordo com as necessidades específicas. Você pode configurar pesos para as instâncias para que algumas recebam mais tráfego do que outras, dependendo da capacidade e do desempenho. Isso é útil ao dimensionar o serviço.

  5. Proxy SSL/TLS: Pode ser configurado para lidar com a terminação SSL/TLS, permitindo que o tráfego HTTPS seja decifrado no HAProxy antes de ser encaminhado para o RADOS Gateway. Isso alivia a carga das instâncias do RADOS Gateway, já que elas não precisam realizar a criptografia e descriptografia SSL/TLS.

  6. Redirecionamento de Portas: Pode redirecionar solicitações de clientes em uma porta específica para as portas corretas nas instâncias do RADOS Gateway. Isso é útil quando você deseja oferecer serviços diferentes em portas distintas.

  7. Monitoramento e Relatórios: Oferece recursos de monitoramento e geração de relatórios que permitem que você acompanhe o desempenho do balanceamento de carga e as estatísticas de tráfego.


No geral, o HAProxy desempenha um papel essencial na garantia de alta disponibilidade, escalabilidade e desempenho do serviço RADOS Gateway. Ele distribui o tráfego de forma eficiente entre as instâncias e monitora constantemente seu estado, garantindo que o serviço esteja sempre acessível e funcional. Isso é especialmente importante em ambientes onde a disponibilidade contínua do serviço é crucial.



Daemons do HAProxy no Ceph:



No serviço do HAProxy, devemos configurar um IP virtual que servirá para comunicação entre os daemons rodando em backend junto ao serviço do RGW:




Ferramentas de Backup Compatíveis:




  • Veeam Backup & Replication: Uma solução popular para backup e recuperação de dados que oferece integração com o S3 para armazenamento de backup.



  • Bacula: Um software de backup de código aberto que possui suporte nativo ao protocolo S3 tanto na versão Enterprise quanto na versão Community.



  • Arcserve: Crie um repositório para os dados de backup do arcserve e aumente a sua segurança habilitando dados imutáveis com a solução de Object Storage.


  • Acronis Backup: Uma solução de backup e recuperação que suporta o uso do S3 como local de armazenamento de backup.


  • Veritas: Uma solução de backup empresarial que oferece integração com o S3 para armazenamento de backup.




  • Commvault: Uma solução corporativa de backup e recuperação de dados que oferece suporte ao S3 para backup e arquivamento.



  • Duplicati: Uma ferramenta de backup que suporta o uso do S3 Object Storage como destino de backup. É popular em sistemas baseados em Linux.



  • Rclone: Outra ferramenta de código aberto que oferece suporte a vários serviços de armazenamento em nuvem, incluindo o S3.




  • Rubrik: Uma plataforma de gerenciamento de dados que oferece integração com o S3 para arquivamento e retenção de dados.




  • Amanda: Um software de backup de código aberto que suporta o S3 como destino de backup, entre outros.

 



Clientes de S3 Compatíveis:



  • Boto3: Boto3 é o kit de desenvolvimento de software (SDK) da Amazon Web Services (AWS) para Python, que permite aos desenvolvedores Python escrever software que faz uso de serviços como Amazon S3 e Amazon EC2.

  • S3 CMD: Ferramenta de linha de comando utilizada para comunicar com os serviços de S3.

  • Cyberduck: O Cyberduck é um cliente gráfico livre de código aberto compatível com Amazon S3 para Mac OS X licenciado sobre GPL.


  • S3 Browser: S3 Browser é um cliente Windows freeware para Amazon S3.



  • FileZilla: FileZilla é um client de FTP e SFTP que também possuí compatibilidade com Amazon S3.


O Ceph Object Gateway é uma plataforma de armazenamento de objetos escalável e altamente confiável que pode atender a uma variedade de necessidades de armazenamento de objetos. Sua integração perfeita com outros componentes do ecossistema Ceph, juntamente com sua capacidade de escalabilidade, o torna uma escolha sólida para empresas que buscam uma solução de armazenamento de objetos flexível e robusta.


Se você está considerando implementar uma plataforma de armazenamento de objetos escalável, o Ceph Object Gateway oferece uma solução de código aberto que pode ser uma escolha econômica e eficaz para atender às demandas de armazenamento de objetos da sua organização e de seus clientes.


Com o Ceph Object Gateway, você pode ter a confiança de que seu armazenamento está preparado para crescer com suas necessidades.




Guilherme Soncini | Gerente de Inovação e Tecnologia | NewFront

 

Ficou interessado em saber mais ? Entre em contato conosco e fale diretamente com um de nossos especialistas.

81 visualizações0 comentário
bottom of page