在最近关于Quora的讨论中,程序员们分享了他们认为在工作中最大的困难是什么。第二个是:“编写测试任务描述”。小姐姐很疑惑,最难的不就是写代码吗?写测试有什么难的?无论是数据研发还是软件开发,实际上大规模的任务通常都是非常复杂的,包括几千行代码,包括无数的交互界面、路径和逻辑;每一个细节都要检查,才能确定结果无误后提交代码其实是非常困难的。因此,一些开发人员会鼓励开发人员在编写程序之前编写测试脚本。但这无疑是一件枯燥且费时的事情。有什么办法可以在本地快速测试代码,全部测试通过后再发布到线上进行调度?线上发布错误的脚本任务会影响我的线上数据库吗?同学们,Dataphin为我们指明了一条光明的道路!Dataphin支持本地数据调试和在线模拟测试,保证在线任务的正确性。例1.Dataphin·实时计算本地采样调试功能对于每一个实时计算任务,我们都支持对所使用的表进行数据采样。可采样本地数据调试,不影响在线数据表,安全高效测试;同时我们支持算子调试,即不需要采样数据的调试方式。调试完成后,可以看到调试的中间结果和结果。调试完成后,即可提交任务。边写边调,让任务开发安心有保障,线上任务更安心!例2.Dataphin·实时计算测试实例功能除了本地数据调试功能,我们还引入了全链路测试功能。提交实时计算任务,在生产环境正式发布前在开发环境启动测试实例。我们支持两种测试方式:打印日志和编写测试表格;轻松控制您写的任务对上线的影响。打印日志的方式比较简单,不会引入额外的成本。并且可以非常直观的看到输出结果。可独立测试验证,适用于快速验证实时代码处理逻辑的正确性。建议实时任务在正式发布前通过打印日志进行测试。虽然打印日志的方式可以发现实时任务中的大部分问题,但是对于ebuy系统来说,链接是否畅通,写入目标时是否会因为设置、权限等问题出现错误数据库系统,以及输出值是否能匹配目标系统等问题,也需要通过写表的方式来验证。所以我们提供第二种方式,写测试表。建议通过打印日志来验证整体链接逻辑的正确性,然后通过编写测试表来验证输出结果与目标数据库的匹配度。Dataphin支持一站式开发运维,简化整个流程。当然,对于简单的脚本查询,写任务是不够的!如何实现统一的任务管理、资源管理、运维监控等一系列的东西?我希望所有的数据都可以资本化,函数资源可以复用,任务可以定时触发,一些指标可以实时计算。如何实现?选择Dataphin总研发,帮您实现从规划到开发运维的一系列需求!1、元表功能模块实时计算,统一创建和管理元表,简化任务开发过程中的DDL流程,组件化配置数据表,让开发过程更加便捷高效。2、功能资源统一管理,代码任务可引用,平台可多次复用。3、实时计算代码模板化,有利于不同业务需求间的代码复用。4、提交脚本任务进行发布调度,生成周期性调度任务,可周期性触发,统一运维、监控告警等。阅读:https://yq.aliyun.com/article..._content=g_1000104752上云看云栖账号:更多云资讯、云案例、最佳实践、产品介绍,访问:https://yqh.aliyun.com/
