微服务使用异步通信时,通常会用到消息代理。代理确保不同微服务之间的通信可靠稳定,消息在系统内部管理和监控,消息不丢失。您可以从大小和数据功能各不相同的多个消息代理中进行选择。这篇博文将比较三个最流行的代理:RabbitMQ、Kafka和Redis。微服务通信:同步和异步微服务之间的通信有两种常见的方式:同步和异步。在同步通信中,调用方在发送下一条消息之前等待响应,该消息作为基于HTTP的REST协议运行。相反,在异步通信中,消息无需等待响应即可发送。这适用于分布式系统,其中通常需要消息代理来管理消息。您选择的通信类型应考虑不同的参数,例如您构建微服务的方式、您拥有的基础设施、延迟、规模、依赖关系和通信目的。异步通信的设置可能更复杂,需要将更多组件添加到堆栈中,但对微服务使用异步通信的优势胜过劣势。异步通信的优点首先,异步通信从定义上讲是非阻塞的。它还支持比同步操作更好的缩放。第三,在微服务崩溃的情况下,异步通信机制提供了各种恢复技术,通常更擅长处理与崩溃相关的错误。此外,当使用代理而不是REST协议时,接收通信的服务实际上不需要相互了解。甚至可以在旧服务运行很久之后引入新服务,即更好的解耦服务。Finally,whenoptingforasynchronousoperation,youcanimproveyourabilitytocreatecentraldiscovery,monitoring,loadbalancing,andevenpolicyenforcersinthefuture.这将为您的代码和系统构建提供灵活性、可扩展性和更多功能。选择正确的消息代理异步通信通常通过消息代理进行管理。还有其他的方法,比如aysncio,但是比较稀缺和有限。选择执行异步操作的代理时,应考虑以下因素:代理规模——系统中每秒发送的消息数。数据持久性-恢复消息的能力。消费者能力——经纪人是否能够管理一对一和/或一对多消费者。一对一一对多我们检查了最新和最好的服务,以找到这三个类别中最强大的提供商。比较不同的消息代理RabbitMQ(AMQP)规模:取决于配置和资源,这里大约是每秒50K消息。持久性:支持持久性和瞬态消息。一对一消费者与一对多消费者:两者兼而有之。RabbitMQ于2007年发布,是最早创建的通用消息代理之一。它是一种开源软件,通过实施高级消息队列协议(AMQP),通过点对点和发布-订阅方法传递消息。它旨在支持复杂的路由逻辑。有托管服务允许您将其用作SaaS,但它不是本地主要云提供商堆栈的一部分。RabbitMQ支持所有主要语言,包括Python、Java、.NET、PHP、Ruby、JavaScript、Go、Swift等。持久模式下存在一些性能问题。KafkaScale:每秒最多可以发送100万条消息。坚持:是的。一对一消费者与一对多消费者:只有一对多(乍一看似乎很奇怪,对吧?!)。Kafka于2011年由Linkedin创建,用于处理高吞吐量、低延迟的处理。作为一个分布式流媒体平台,Kafka复制了一个发布-订阅服务。它提供数据持久性并存储记录流,从而实现高质量消息的交换。Kafka是在Azure、AWS和Confluent上托管的SaaS。他们既是Kafka项目的创造者,也是主要贡献者。Kafka支持所有主要语言,包括Python、Java、C/C++、Clojure、.NET、PHP、Ruby、JavaScript、Go、Swift等。Redis规模:每秒最多可发送100万条消息。持久性:基本上,没有——它是一个内存数据存储。一对一消费者与一对多消费者:两者兼而有之。Redis与其他消息代理略有不同。从本质上讲,Redis是一种内存数据存储,可用作高性能键值存储或消息代理。另一个区别是Redis没有持久性,而是将其内存转储到磁盘/数据库。它也非常适合实时数据处理。Redis本来就不是一对一和一对多的。但是,自从Redis5.0引入了pub-sub之后,功能得到了改进,一对多成为了一个真正的选择。对于每个消息代理用例,我们介绍了RabbitMQ、Kafka和Redis的一些特性。这三者都是同类的野兽,但正如所描述的那样,它们的运作方式却大不相同。以下是我们针对不同用例使用正确消息代理的建议。短期消息:RedisRedis的内存数据库几乎完美适用于不需要持久性的短期消息用例。因为它提供了极快的服务和内存中功能,Redis是短期保留消息的理想选择,在这种情况下持久性不是那么重要,您可以容忍一些丢失。随着RedisStreams在5.0中的发布,它也是一对多用例的候选者,由于限制和旧的pub-sub功能,这是绝对必需的。海量数据:KafkaKafka是一个高吞吐量的分布式队列,专为长时间存储大量数据而构建。Kafka非常适合需要持久性的一对多用例。复杂路由:RabbitMQRabbitMQ是一个较老但成熟的代理,具有许多支持复杂路由的特性和功能。当要求速率不高时(几万条消息/秒以上),甚至会支持复杂的路由通信。考虑您的软件堆栈当然,最后要考虑的是您当前的软件堆栈。如果您正在寻找一个相对简单的集成过程,并且您不想在一个堆栈中维护不同的代理,您可能更倾向于使用您的堆栈已经支持的代理。例如,如果您在RabbitMQ之上使用Celery作为任务队列,您将有动力使用RabbitMQ或Redis而不是Kafka,后者不受支持并且需要一些重写。
