作为携带质量功能数据存储的分布式文件系统,用户通常需要直观地了解整个系统的容量,文件数量,CPU负载,磁盘IO和缓存的变化。
JUICEFS不会重复轮子,而是通过兼容API兼容的API提供实时状态数据。它只需要将其添加到用户的自行构建的Prometheus服务器中即可建立顺序数据,然后通过Grafana和其他工具轻松实现Juciefs文件系统的可视化。
假设您设置的Prometheus Server,Grafana和Juicefs客户端都在同一主机上操作:
Juicefs提供了Prometheus类型API之外的数据。在安装文件系统后,默认情况下可以通过地址获得客户端的真实时间监视数据。
编辑Prometheus的配置文件,添加新作业并指向Juicefs的API地址,例如:
假设配置文件名是,加载启动启动服务:
您可以看到Prometheus的界面。
如下图所示,新数据源:
然后使用仪表板。输入新仪器面板以查看文件系统的视觉图表:
根据部署Juicefs的不同方法,有不同的方法来收集监视指标。以下是单独引入的。
通过命令安装JUICEFS文件系统后,您可以通过此地址收集监视索引,也可以通过选项自定义。
您可以使用命令行工具查看以下监视指标:
此外,每个Juicefs文件系统的根目录还具有一个隐藏的文件,该文件还可以通过此文件查看监视指示器。
Juicefs CSI驱动程序默认情况下在Mount Pod端口上提供监视指示器。您还可以通过添加选项自定义选项(请参阅CSI驱动程序文档以获取如何修改),例如:
添加了一项新任务来收集监视指标:
假定Prometheus服务在Kubernetes群集中运行。如果您的Prometheus服务在Kubernetes群集外运行,请确保Prometheus服务可以访问Kubernetes节点,请参阅上述文件中添加的此问题并配置:
Juicefs S3网关将默认提供监视指标,您也可以通过选项自定义它。例如:
如果您在Kubernetes中部署Juicefs S3网关,则可以参考Kubernetes部分的Prometheus配置来收集监视指标(区别主要在此标签的正则表达式中),例如:::::::::
通过Prometheus操作员收集Prometheus操作,使用户可以在Kubernetes环境中快速部署和管理Prometheus。在Prometheus操作提供的CRD的帮助下,将自动生成抓地力。
Juicefs Hadoop Java SDK支持向Pushdgateway或Graphite报告的监视指标。
PUSHGATEWAWAY在Pushdatway上启发指示器:
同时,可以同时修改报告指标的频率,并且每10秒报告一次默认值一次。
根据Pushgateway的官方文件的建议,需要设置Prometheus的处理配置。
应该注意的是,Pushgateway捕获的指标的Prometheus的时间戳不是Juicefs Hadoop Java SDK的时间,而是捕获时间的时间。有关详细信息,请参阅官方Pushgateway文件。
默认情况下,PushGateway仅将指示器保存在内存中。如果您需要持续到磁盘,则可以通过选项指定保存的文件路径和保存到文件的频率(默认情况下每5分钟保存一次)。
使用Juicefs Hadoop Java SDK的每个过程都将具有唯一的指标,并且PushGateway将始终记住所有收集的指标,这将导致指示器数量继续积累过多的内存,这也将使Prometheus在掌握指示器时慢慢。清洁Pushdgateway上的指示器。
定期使用以下命令清理PushGateway的指示数据。清除指示器不会影响运行的JUICEFS HADOOP JAVA SDK连续报告数据。注意,PusherGateWay启动时必须指定该选项,并且将在PushtGateway中清空以下命令。
石墨启用指示器可以报告到石墨:
同时,可以同时修改报告指标的频率,并且每10秒报告一次默认值一次。
对于Juicefs Hadoop Java SDK支持的所有配置参数,请参阅文档。
Juicefs支持使用领事作为监视索引API的注册中心。默认领事地址是您还可以通过选项自定义它。例如:
当配置领事地址时,该选项不再需要配置,JUICEFS将根据自己的网络和端口条件自动配置监视索引URL。如果您同时设置它,则将优先考虑URL配置。
在领事上注册的每个实例都是,格式为:。
每个实例元数据都包含两个维度,将实例表示为S3网关。
Juicefs提供了一些Grafana的仪器磁盘模板,该模板可以显示导入模板后收集的监视指标。当前提供的仪器磁盘模板是:
它用于显示由Kubernetes CSI和S3 Gateway(非Kubernetes部署)和Hadoop Java SDK Collection收集的Grafana仪器磁盘收集的索引。
使用Grafana作为宏观观察工具。当发生异常情况时,您可以首先观察是否存在异常指标,然后进一步分析。在同一时间,建议使用重要指标来设置警报提示,以实时获得异常系统状态的通知。
如果您有帮助,请注意我们的项目Juiceda/Juicefs!(0?0?)
原始:https://juejin.cn/post/71016077433791777502