作为大型临床试验服务商，WCG对众多药品和医疗器械的市场路径有着不小的影响力。但作为一个由30多家以前独立的公司组成的联合企业，很难获得一致的数据来支持这些服务。这就是Tamr的数据掌握解决方案可以提供帮助的地方。作为一家临床服务机构，WCG代表制药公司和设备制造商处理临床试验的各个方面，从人力资源和IT到患者参与和伦理审查，服务于默克和罗氏等制药巨头以及数以千计的中小型企业规模的制药公司。关键服务由寻求获得新药和设备监管批准的初创公司和研究团体提供。公司唯一不提供的是实际试用。“我们不会那样做，”该公司首席技术和数据官阿特·莫拉莱斯(ArtMorales)说。在过去十年中，WCG通过收购35家公司在临床试验行业建立了有利可图的利基市场。每家公司（其中一些已有50多年历史）都专注于临床试验过程的某些方面。这些公司开发他们自己的定制软件应用程序来自动化他们的各种业务流程，提供非常有价值的知识产权来源。从每个单独的业务的角度来看，拥有不同的系统是有意义的，但这对WCG提出了挑战，WCG希望对所有子公司的运营保持一致的看法。该公司最初尝试手动解决数据不一致问题。一个由大约5到10人组成的团队工作了两年，以消除35家子公司使用的不同系统中的拼写错误、重复条目和其他数据错误。清洗和标准化后的数据存储在云端运行的WCG数据仓库中，可以使用各种强大的分析引擎对数据进行分析。“我们遇到的一个大问题是，你如何确定一个‘节点’在不同组织中是同一个‘节点’？”莫拉莱斯解释道。“在某些系统中，可能有也可能没有地址，或者地址可能拼写错误。可能只是缺少一些数据，而且确实存在很多不确定性。”由于这种不确定性以及需要根据具体情况做出决策，手动掌握数据的过程既繁琐又耗时。该公司花费了数百万美元来掌握数据，但数据仍然存在不一致之处。莫拉莱斯意识到必须有更好的方法。他从Tamr那里听说了一种数据掌握工具，该工具使用机器学习来自动识别大型数据集中的已知实体。基于机器学习的数据掌握Tamr是八年前诞生的一种数据质量工具，由著名的麻省理工学院计算机科学家迈克·斯通布雷克(MikeStonebraker)进行的学术研究诞生。据现任Tamr首席产品官的长期Qlik高管AnthonyDeighton所说，Stonebraker认为机器学习对于解决长期存在的数据质量问题是必要的，这些问题在大数据规模下可能会丢失。加剧。多年来，解决这一难题的指定解决方案一直是主数据管理(MDM)项目。独立的数据系统将拥有指向数据已知副本的指针，而不是依赖于每个单独的系统来确保一切正确——称之为“黄金记录”。GoldRecord方法可以解决问题，至少他们是这么认为的。然而，即使是经过深思熟虑的计划也有在现实到来时化为灰烬的风险。这正是传统MDM所发生的情况。依靠人类来清理和管理数据是徒劳的。这是行不通的。Stonebraker对问题的洞察是使用机器学习对数据进行分类，就像谷歌在早期互联网上使用机器学习自动对网站进行分类一样，击败了雅虎手动管理互联网的努力。通过训练机器识别业务系统中的实体，Tamr找到了一种自动创建黄金记录的方法。该团队得出的一个关键结论是，当人们被要求确认与一组有限选项的一致性时，他们比一次使用几十个或数百个选项时做得更好。ClinicallyGoldWCG的Tamr试验于2021年5月开始。经过一段时间的培训，Tamr软件观察并学习员工如何处理数据差异。WCG员工团队与Tamr合作审查和清理数据仓库中的所有数据源。该软件识别出“集群”，即在不同应用程序中表示相同事物的两个或多个术语，并将它们作为黄金记录加载到WCG的云数据仓库中。在将数据加载到数据仓库之前，每个数据源都通过Tamr运行。数据源的大小从大约50,000条记录到超过100万条记录不等，每个实体可能有大约200列。问题不在于数量，而在于复杂性。除了将数据掌握过程加快大约4倍之外，Tamr工具还生成了更加标准化的数据，这意味着业务运营更加清晰。“当你清理数据时，现在你可以使用更干净的数据来获得更好的运营洞察力，”莫拉莱斯说。“我们可以通过Salesforce和我们的应用程序进行匹配，以了解这些是正确的事情。以前，如果数据未清理，您将匹配50%。现在我们可以匹配80%。因此，使用我们正在做的事情具有非常明显的运营优势。”Tamr无法成功地将所有实体匹配到集群中，并且仍然存在一些需要人类专业知识的边缘案例。在这些情况下，软件会让操作员知道它对匹配的信心很低。但根据Morales的说法，Tamr非常擅长找到明显的匹配项。他说，从第一天起，准确率约为95%。“你必须接受任何数据掌握程序都会存在不匹配的情况。会有I类和II类错误，”他说。“如果你能从……追踪这些错误的来源，那就太好了。因为人类也会犯同样的错误。”此外，Tamr将帮助WCG更好地理解其数据。莫拉莱斯说，该公司的数据掌握手动方法总共花费了数百万美元，而Tamr的成本不到100万美元。数据质量的改进更难量化，但可以说更重要。
