hbase是一个分布式的、面向列的数据库，它可以存储海量的数据，并提供快速的查询和修改功能。hbase的一个常用操作是scan，它可以扫描一个表或者一个区域，并返回满足条件的数据。但是，有时候我们需要查询数据并去除重复项，例如，我们想要统计某个字段的不同值的个数，或者我们想要找出某个字段的最大值或最小值。这时候，我们就需要使用一些技巧来实现这个功能。
一种方法是使用hbase shell中的distinct命令，它可以对scan结果进行去重处理，并返回不同值的个数。例如，我们想要查询表test中name字段的不同值的个数，我们可以执行以下命令：
这个命令会返回一个数字，表示name字段有多少个不同值。但是，这个方法有一个缺点，就是它不能返回具体的不同值，只能返回个数。如果我们想要知道具体有哪些不同值，我们就需要使用另一种方法。
另一种方法是使用hbase shell中的aggregate命令，它可以对scan结果进行聚合操作，并返回最大值、最小值、平均值、总和等信息。例如，我们想要查询表test中name字段的最大值和最小值，我们可以执行以下命令：
这个命令会返回两个字符串，表示name字段的最大值和最小值。但是，这个方法也有一个缺点，就是它不能返回所有的不同值，只能返回一个或几个特定的值。如果我们想要知道所有的不同值，我们就需要使用第三种方法。
第三种方法是使用hbase shell中的scan命令，并结合一些参数来实现去重功能。例如，我们想要查询表test中name字段的所有不同值，并按照字典序排序，我们可以执行以下命令：
这个命令会返回一个表格，显示name字段的所有不同值，并按照字典序排序。其中，VERSIONS参数表示只返回每个键值对的最新版本，FILTER参数表示只返回每行数据的第一个键值对，并且只返回键而不返回值，LIMIT参数表示只返回前10条数据。这样，我们就可以实现查询数据并去除重复项的功能。