后台采集sdk作为汽车之家常用的数据采集和报表工具,为各业务线APP对海量数据的采集提供有力支持。采用代码埋点,sdk触发的形式,满足各业务线对埋点数据的精准管控、自定义数据、精细化数据分析的业务需求。然而,复杂的自定义数据格式和大量的上报数据对埋点数据的查看和校对提出了很高的要求。现有查看埋点数据的方法1、目前通过抓包工具查看和上报埋点信息一般采用在电脑上安装抓包工具,在手机上设置代理,通过抓包请求数据的方式和查看报告界面。(1)客户端APP出于安全需求,一般会对网络代理进行限制,开发者需要提供具体的测试APP或者提供关闭限制的方法,才能进行抓包操作。(2)官方环境上报数据经过压缩加密,抓包后数据可见性差。导致大部分测试工作只能在测试环境中通过测试app进行检查验证,无法在正式环境中直接查看正式上报的数据。(3)抓包工具对上报数据格式兼容性差,关键数据需要复制格式化后才能查看,操作不便。2.查看上报日志。对于正式环境下的埋点数据,通常只能通过查看平台导出的数据来验证。(1)现有数据平台决定无法查看实时数据,导出数据存在延迟。(2)如果发现有问题的数据,需要结合抓包操作再次验证埋点的位置和数据,需要进行二次操作。针对发现数据查看不及时、对app环境要求严格、数据格式不友好、无法验证在线数据等问题,我们在现有采集SDK和采集平台项目的基础上开发了埋点可视化功能。发展。目的是为了能够实时、方便地查看埋点的上报数据。实现原理及具体使用方法基本原理1、sdk方面,在原有集合sdk中新建一个入口,增加独立的上报路径。可以保证开启上报后不影响现有的采集上报逻辑,保证官方环境数据的稳定性,最大??限度减少集成工作。2.sdk增加了上报埋点数据的方法。数据经过压缩加密后传输,再交由后台服务解压、解密后发送至Web端,保证数据链路的安全。3、数据的实时展示是埋点可视化功能的基础。我们选择使用websocket建立连接,最终以动态代码的形式连接sdk、server和web,形成完整的数据链路。3.1web端根据既定规则随机生成动态码拼接方案跳转连接形成二维码,同时依靠动态码与服务器建立socket连接。sdk通过扫码进入控制页面,从方案中获取动态码。通过上报接口将埋点数据和动态代码上报给服务器,服务器解析数据,通过动态代码区分将埋点数据分发到不同的前端页面,从而形成完整的数据传输链路。3.2sdk首次进入动态代码生成规则3.3sdk再次进入流程4.埋点可视化提供历史记录查询接口,可以根据条件过滤查询历史数据。根据保存的数据结构和运行特点,选择Elasticsearch进行数据存储,保证海量数据的筛选性能。使用方法1、功能入口请进入OA搜索采集平台页面,点击服务系统,选择埋点可视化功能。2、集成方式对于已经集成了采集SDK的APP,只需要升级到最新版本的SDK即可;采集SDK的具体集成和使用请参考采集平台中的详细文档。3、为了更方便的使用埋点可视化功能,我们提供了两种打开方式。3.1扫码进入对于具备扫码功能的APP,只需简单适配扫描二维码获取方案跳转进入sdk埋点可视化控制页面,自动获取动态码并点击开关开启埋点可视化功能。Web端默认进入扫码登录页面。3.2对于没有扫码功能的APP,可以直接调用api进入控制页面。Web端使用APP端显示的动态码登录。4、登录完成后,即可进入数据展示页面。页面头部显示当前连接的设备名称和正在上报的APP,支持一键复制设备ID。页面主体实时展示上报数据,并根据常用数据分类区分四种类型:pv、click、show、other。单击该项目可显示所有详细数据。数据详情页对埋点数据进行排版,对重点关注数据进行优先级排序并格式化json数据,方便查看和复制。5、我们还提供丰富的历史报表记录查询功能。您可以通过时间类型等过滤条件过滤查询上报的数据。点击查看详情,查看所有数据汇总埋点可视化功能,致力于让查看埋点数据更简单、更方便。项目已经发布,我们还在不断丰富和完善。后期规划的单品聚焦模式、实时数据过滤、查询数据导出功能、数据副本对比等功能已经在开发中。
