我们介绍了如何使用Fluent Bit与Amazon Kinesis数据流,Amazon Lambda和Amazon OpenSearch搜索在同一帐户下的Amazon opensearch搜索。由于企业内部控制的需求,管理员希望通过私人链接将应用程序日志传输到指定帐户中的集中式日志处理或审核。在本文中,使用Amazon Lambda将日志写入Amazon OpenSearch Service基于上一个博客中介绍的内容。如果您之前没有阅读“为Fluent Bit和Amazon OpenSearch Service组建日志系统”,建议您单击此处firstread https://aws.amazon.com/cn/blogs/china/china/china/build-a-a---登录系统 - fith-fluent-d-nd- amazonsearch-服务/。通过本文,您将了解如何通过Amazon Kinesis Data Streams通过fluent sts pasherole,通过Fluent sts asherole cross-account场景中的记录日志集中和其他服务。阅读本文,您将知道:
根据下图的整体体系结构,我们以West-2为例,以详细说明整个实施过程。
在开始之前,我们考虑了这样的场景。我们在Amazon Web服务帐户A的EC2中部署了NGINX,以构建我们的Web服务器,并通过私有链接将Amazon EC2的Nginx日志发送到Amazon Kines流的Amazon Kines流。B帐户。在Amazon Lambda和Amazon Kinesis数据流和VPC Endpoint,Amazon OpenSearch Services的创建中,可以参考我们以前的文章。
我们首先登录到B帐户。在这里,我们使用Us-West-2区域在IAM服务中创建角色。如下图所示:在受信任的实体类型中选择另一个帐户,然后输入帐户A的ID。
单击下一步,创建策略,策略文档参考如下:
左滑动以查看更多
注意:请用您使用的B帐户ID替换并创建字符名称Demo-Writing-kds。
登录到一个帐户,还可以选择US-West-2区域。创建Amazon EC2并安装Fluent Pit。安装步骤还可以参考“ Fluent Bit 2.21.1”的“安装和配置Amazon Amazon”一部分的一部分。我们可以将/etc/fluent-bit/conf/fluent-conf文件内容的内容设置为空。为亚马逊EC2创建新的IAM角色,“用例”我们选择Amazon EC2,单击下一步,创建策略,配置Amazon STS假设,策略文档参考如下:
左滑动以查看更多
注意:请用您以前的步骤创建的emo-writing-kds字符的ARN替换为B帐户中。
我们仍然选择A帐户下的US-West-2区域。注意,以下场景不需要在A帐户下创建Amazon Kinesis数据流。
如果创建了一个新的安全组,则需要添加安全组的输入规则,以访问允许Amazon EC2的安全组访问端口443。
左滑动以查看更多
同样,我们需要
注意:如果您考虑如何通过Amazon Lambda拾取Amazon Kinesis数据流的日志消息,并将日志写入Amazon OpenSearch服务,您可以单击此处了解。在VPC中,您可以参考我们的官方文档https://docs.amazon.com/opensearch/lated/developerguade/dashboards.html。
在本文中,我们介绍了如何通过开源日志收集流利的位。在多个帐户的情况下,亚马逊角色信托和亚马逊STS假设合并。通过使用VPC端点,我们还可以使用内部网络访问运动式数据流,从而使用内部网络进行。从而在企业内部控制的需求中进行实际使用。要连接运动型数据流的帐户,两个帐户下的相应服务必须在同一区域。企业可以决定是否启用VPC端点与其实际情况相结合。
作者
小马
亚马逊云技术解决方案研发架构师
它主要负责云解决方案的设计和开发。
原始:https://juejin.cn/post/7101087668636745765
