Public Cloud – Flexible Engine
Distributed Message Service pour Kafka
Un service de mise en file d’attente des messages basé sur Apache Kafka et plus particulièrement sur les instances premium de Kafka.
Distributed Message Service (DMS) pour Kafka est un service de mise en file d’attente des messages basé sur Apache Kafka et plus particulièrement sur les instances Kafka premium. Les ressources de calcul, de stockage et de bande passante utilisées par une instance sont exclusivement occupées par l’utilisateur.
Apache Kafka est un middleware de messages distribués qui offre un débit élevé, la persistance des données, l’évolutivité horizontale et le traitement des données en continu. Il adopte le modèle de publication et d’abonnement et est largement utilisé pour la collecte de journaux, le streaming de données, l’analyse de systèmes en ligne/hors ligne et la surveillance en temps réel.
Scénario 1 : Communication asynchrone
Les messages non essentiels ou moins importants sont envoyés de manière asynchrone aux systèmes récepteurs, de sorte que le processus du service principal n’est pas obligé d’attendre les résultats des autres systèmes, ce qui permet des réponses plus rapides.
Par exemple, Kafka peut être utilisé pour envoyer un courriel et un SMS de notification après qu’un utilisateur s’est inscrit sur un site web, fournissant ainsi des réponses rapides tout au long du processus d’inscription.
Figure 1 Enregistrement et notification des séries
Figure 2 Enregistrement et notification asynchrones à l’aide de files de messages
Scénario 2 : Synchronisation des logs
Les applications envoient de manière asynchrone des messages de logs aux files d’attente de messages via des canaux de transmission fiables. D’autres composants peuvent lire les messages du journal à partir des files d’attente de messages pour une analyse plus approfondie, en temps réel ou hors ligne. En outre, Kafka peut collecter des informations clés sur les logs pour surveiller les applications.
Processus de synchronisation des logs :
Avantages
Déploiement rapide
Il suffit de définir les informations relatives à l’instance sur la console DMS for Kafka, de soumettre votre commande et une instance Kafka premium complète sera automatiquement créée et déployée.
Migration des services sans modifications
DMS pour Kafka est compatible avec les API de Kafka open-source et supporte toutes les fonctions de traitement des messages de Kafka open-source. Si vos services d’application sont développés sur la base de Kafka open-source, vous pouvez facilement les migrer vers DMS pour Kafka après avoir spécifié quelques configurations d’authentification.
Sécurité
Les opérations sur les instances premium Kafka sont enregistrées et peuvent être auditées. Les messages peuvent être chiffrés avant d’être stockés. En plus de SASL, les cloud privés virtuels (VPC) et les groupes de sécurité permettent également de contrôler l’accès au réseau.
Fiabilité des données
Les instances Kafka premium supportent la persistance et la réplication des données. Les messages peuvent être répliqués de manière synchrone ou asynchrone entre les répliques.
Haute disponibilité
Kafka fonctionne en clusters, ce qui permet le basculement et la tolérance aux pannes afin que les services puissent fonctionner sans problème. Les instances premium de Kafka peuvent être déployées sur les AZ pour améliorer encore la disponibilité des services.
Simple O&M
Le cloud public fournit un ensemble de services de surveillance et d’alarme, éliminant ainsi la nécessité d’une présence 24h/24 et 7j/7. Un ensemble de paramètres d’instance Kafka premium sont surveillés et rapportés, notamment le nombre de partitions, de sujets et de messages accumulés. Vous pouvez configurer des règles d’alarme et recevoir des notifications par SMS ou par e-mail sur le fonctionnement de vos services en temps réel.
Des spécifications flexibles
Vous pouvez personnaliser la bande passante et l’espace de stockage pour l’instance et le nombre de partitions et de répliques pour les sujets dans l’instance.
Fonctions
Le tableau suivant décrit les fonctions visibles par les locataires. Ces fonctions n’incluent pas les fonctions O&M.
| Category | Function | Description |
|---|---|---|
Basic functions | Creating a queue | Creates a queue for receiving and sending messages. Two options are provided at the same time: one is selecting queue type for standard or FIFO. |
Viewing queues | Lists the brief information about all queues of a tenant. | |
Viewing queue details | Lists the details of a queue, and the details of the groups that consume messages in this queue. | |
Deleting queues | Deletes one or multiple specified queues. | |
Sending messages to a specified queue | Sends messages (including message content and user-defined message attributes) to a specified queue. | |
Creating a message consumer group for a specified queue | Creates a message consumer group with a specified name. Application can consume message from a queue using a message consumer group. | |
Consuming messages in a specified queue | With this function, you can choose the type of message, including normal, the number of automatically consumed messages and the interval between consuming messages. You can also view the content, size, and sending time of each message, and stop message consumption. | |
Confirming message consumption | Submits message consumption confirmation to a message queue after each instance of message consumption. | |
Managing queues | Manages message queues through the web-based DMS console. | |
Accessing message queues | Accesses message queues through RESTful APIs for standard queue and FIFO queue. | |
Monitoring | CES | For details, see the CES Product Description. |