当大家都在追求医疗AI落地速度的时候,这家公司为何对数据标准如此固执? 2019年9月21日,广州,第二届全国眼科人工智能大会主会场。
大会开幕后不久,主持人高兴地向大家宣布,业界首个《AI 眼底彩照标注》团体标准正式启动,平台上云集了业界大咖。
该标准历时一年多制定,由灵医智慧和中山大学中山眼科中心牵头,多名专家参与。
它将向产学研用各界同仁开放,并广泛招募会员单位。
这意味着,在盲目运行已久的人工智能眼底筛查行业,终于有人开始面临数据标准这一难以逾越的难题;也意味着这个凝聚了众多专家人努力的标准将正式惠及大家。
行业乃至整个行业也迎来了标准化发展的里程碑,引起了与会人员的热烈掌声和普遍赞誉。
专家启动仪式合影:小眼睛,大世界。
我国有近6.5亿人面临眼部疾病的风险,但受影响的人只有3.6万人。
大多数眼部疾病可以通过眼底筛查在早期发现,做到早诊断、早治疗,消除失明的风险。
但由于巨大的医生缺口,大多数患者家族在基层无法获得相应的眼保健服务。
这使得人工智能与眼底筛查的结合——AI眼底筛查行业充满想象空间,众多企业趋之若鹜。
众所周知,人工智能算法这棵大树需要大量优质数据来灌溉,在AI眼底筛查领域同样如此。
然而现实情况是,眼底彩色照片数据质量参差不齐,真正能用于算法训练的高质量数据少之又少。
这不仅仅是一两家企业的问题,也是整个行业的一大隐忧。
然而,如果想要获得统一的高质量数据,就需要一个所有贴牌医生都遵循的标准。
这是一个非常困难的过程。
困难在于,它需要由权威医生主导制定,需要医生和人工智能算法双方的认可和认可。
,这是所有行业参与者都想做却又很难做到的事情。
与此同时,在行业需求的推动下,几乎所有企业都在追求人工智能产品的尽快落地,以速度换取成长空间。
很少有人真正停下来思考“如何获取高质量数据”的问题。
毕竟,这可能带来的是执行速度的放缓甚至停滞。
这似乎有些“得不偿失”,甚至需要很大的勇气。
心灵医生智慧和中山大学中山眼科中心真的做到了,像堂吉诃德一样挑战“数据标准”。
1:严格的标准让愿景回到了大约一年半前。
百度创立AI医疗品牌“生医智慧”,并将AI眼底筛查作为核心业务。
自成立以来,灵医智慧团队就秉承“AI医疗的核心是医疗”的原则:人工智能技术再强,不了解医疗逻辑和场景也是枉然,因此成立了较早与眼科领域权威——中山大学中山眼科中心开展深度合作。
中山眼科中心张秀兰教授是我国乃至世界顶尖的青光眼专家。
在30多年的眼科临床和科研工作中,他见过很多因缺乏早期筛查渠道而延误治疗的患者。
因此,张教授对人工智能非常感兴趣。
入院眼底筛查充满期待,合作投入了极大的热情。
在她的推荐下,全国著名眼科专家专家、中山市眼科专科中心主任张少冲教授也与专家团队一起加入了这一行列。
张两位教授带头保证了眼底疾病和视神经疾病领域工作的权威性。
中山眼科中心和灵医智慧团队努力获取最高质量的原始数据:从获取原始眼底彩色照片开始,经过层层筛选机制,剔除曝光不足或曝光过度的数据,只留下一部分。
质量合格的数据进入标注阶段;在标注阶段,团队设计了非常严格的数据标注流程。
每张图片首先需要由三位医生进行注释。
只有三位医生的结果一致,数据才能进入训练库进行算法学习。
第一批参与标注的40余名医生全部是张教授选拔出来的。
他们均在中山眼科中心接受过规范化培训,拥有十多年丰富的专业临床经验。
“标准流程”加上“顶级专家”似乎会带来理想的结果。
整个合作团队期待快速发布优质的人工智能眼底筛查产品,服务行业。
这时,问题就在不经意间出现了。
首先,数据标注输出率不理想,可用标注数据量与预期值相差太大。
平均而言,十张标注图片中只有两张能够通过上述多人标注过程。
对于青光眼来说,发病率更低,甚至不到百分之一;其次,人工智能算法专家与医生之间存在沟通困难。
。
医生觉得这个算法已经给专家描述得足够清楚了,但是专家还是觉得这个算法有一些东西是无法定量描述的,不利于相应人工智能算法的设计。
经常有这样的情况,双方讨论一个问题,脸都红了。
速度还是质量?张教授选择了后者。
这时,她果断停止了合作组庞大的工作,把大家召集到一起反复讨论,组织层层排查,发现了问题的根源。
首先是医生对疾病的看法不一致。
不同的注释医生有不同的临床研究背景、师从学生、处理过的病例、所在地区,积累的经验和对疾病的看法也不同。
因此,当面对同一张眼底照片时,往往会得到不同的结果。
在这种情况下,数据标注的速度自然就变慢了。
此外,医生和专家之间出现分歧的原因也找到了。
专家理所当然地认为医生得到的结果应该从人工智能算法的角度来规定,医生也理所当然地认为人工智能算法可以无条件遵循临床实践。
医疗标准和指南都是借鉴自己的经验,两个行业的理念在这里发生了冲突。
“医疗是关系到人们最基本健康权利的行业,所有人工智能医疗的尝试都应该非常谨慎,以非常严格、专业的态度去做,没有任何虚假的空间,只有真正的医生团队和专业的医生团队。
”算法团队只有大家都认可的产品才能上线,即使灵易智汇根本不落地,也不愿意用不好的产品来换取落地速度。
”灵益智慧总经理黄岩回忆起当时的言论。
“让我们为自己的团队制定一个好的标准,真正推动这个困难的事情。
”这时,张教授提出了一个令人信服的方案。
“有了标准,医生之间的差异就可以统一为同一个思想,专家和医生之间的算法差距也可以弥合,问题可以真正在同一个框架下讨论。
”说到做到,在张秀兰教授的指导下,受新加坡国家眼科中心主任昂丁教授邀请,中山眼科中心张少冲教授、魏彦涛教授、刘秉干教授等业界知名专家教授中山大学的教授们放弃了难得的休息日,齐聚一堂,共建标准框架,组织标签医生与智能医疗算法和产品团队进行闭门讨论。
业内第一次,没有前人经验可借鉴;概念不同,很可能鸡鸭都能谈得来;一个既能让所有不同背景的医生都认同,又能让医生和算法双方都了解专家的“好标准”的诞生,注定是一个艰难而渐进的调整过程。
“这个应该是1DD,怎么会是2DD?”,“这怎么能识别为出血,这个机器怎么识别?”,“血管怎么变化才叫跪?”,“什么叫扭结?” ?”,“这是颜色曝光过度还是苍白?”会议室里议论纷纷,参考资料堆得高高的,每天忙着推进眼科最先进科研成果、每天面对世界上最疑难病例的专家,却面临着这样一个“小”和“小”的问题。
“看似不起眼”的标准,却是他亲自与注释医生和算法团队一起绘制,从最基本的定义和范围开始讨论和编写,直到今年5月,标准草案才最终成型。
参会医生和技术人员对初稿进行了进一步完善,专家团队对初稿进行了多轮审核、校对和细化,最终,灵医智慧和中山眼科中心的《AI 眼底彩照标注》企业标准在2017年发布并出版。
《中华医学会眼科杂志》在第二十四届全国眼科学术大会上发布。
该标准从标注、转诊规则、标注流程等方面对糖尿病视网膜病变、青光眼、黄斑变性、高危近视等四种主要疾病进行了详细定义。
此外,“年龄相关性黄斑变性”的标签已被扩展和重新定义,以包括“黄斑病变”,以更好地适应实际应用中的转诊目的。
此外,为了确保标准能够准确执行并被更多标签医生使用,专家团队还为每个体征和描述找到了多张“正例”和“反例”的参考图片作为附录,直观的图片与文字描述相匹配,保证标准中的信息能够准确传达。
“企业标准的正式发布,意味着灵医智慧拍摄的每一张眼底照片的标注都严格遵循这一凝聚了专家医生和技术人员匠心精神的指南,以更加规范的方式推动人工智能在眼科的临床研究。
灵医智慧总经理黄岩表示: 2:使命责任 升级企业标准对于灵易智汇来说意义重大,但影响力毕竟有限,其他行业的同仁仍然被数据质量低下的问题所困扰。
因此,灵医智慧决心将企业标准推广到更广泛的行业范围,让更多的企业、医院、研究人员能够从统一、规范的标准中受益。
数据注释标准。
第一步,将企业标准升级为团体标准。
回到故事的开始,9月21日第二届全国眼科人工智能大会主会场,亚太青光眼协会、中山大学中山眼科主任。
中心临床研究中心主任张秀兰教授应邀在启动会上作为代表致辞。
中国信息通信研究院高级业务主任、WHO-ITU医疗卫生人工智能焦点组副主席徐山与中山大学中山眼科中心特殊需求医疗中心主任张少冲教授-森大学、中国医学教育协会智能医学专业委员会副主任委员兼秘书长杨卫华、国家千人计划计算机科学与工程系刘江教授、南方科技大学专家华南理工大学计算中心主任谭明奎教授等多位导师、科研人员、医学界专家出席启动仪式,为企业《AI 眼底彩照标注》的升级提供了大力支持标准改为团体标准。
他还结合自己的领域解读了该事件的行业和社会意义。
专家解读了标准的含义“产业。
发展,标准先行。
没有标准,哪里来好数据?没有好数据,哪里去找真正能用、有用的人工智能算法?中山眼科中心和灵医智慧”愿意贡献我们的成果,希望更多的人能够使用,也希望更多的人参与进来。
”张秀兰教授说道。
WHO-ITU医疗健康人工智能焦点组副主席徐山这样解释该标准的意义:“标准化是促进行业良性发展的重要手段之一。
从标准化的角度来看,整个AI医疗行业从质量角度来看,标准化的推出具有重要意义,在眼科数据质量控制领域的开创性探索将为我们其他医疗人工智能专业领域提供宝贵的经验。
也愿意将这个标准国际化。
”作为企业标准升级为团体标准的支持者,中国医学教育协会智能医学专业委员会秘书长杨卫华教授非常积极地参与到升级过程中。
杨教授参与了多个医学数据库的建设,对《AI 眼底彩照标注》标准给予了积极评价。
“我认为标准是非常必要的。
标准是所有人工智能研究合作伙伴沟通的通用专业语言。
通过这个桥梁,彼此可以对人工智能研究的启动有一致的看法。
这次升级的团体标准将促进人工智能研究的加速。
眼科AI科学研究或有助于推动眼科AI研究思路的升级。
”这是对行业首个相关标准的进一步肯定和赞赏。
南方科技大学刘江教授从科研角度表达了自己的观点:“我们其实七八年前在从事AI眼底筛查行业科研的时候就发现了这个问题的难度。
我分享一个小故事,我们找到了一个耐心的样本来标记杯子和盘子的边界,但是我们花了半年的时间来做这样一个简单的事情,但我们仍然没有达成完全的共识,直到一年后。
我当时就在想,如果有一个标准让大家都遵循该多好,所以今天看到灵易智汇推出这个标准真是太令人失望了。
从这样一个细节和不起眼的点开始”。
最后,富士医疗CEO朱英林作为眼科AI行业应用代表发表了自己的看法。
“我们是一家做移动糖尿病筛查的公司,每天有几千个样本需要读,我们的医生根本不够。
我也担心我们医生的素质好不好,我不知道这个时候,当我得知心灵医生志辉正在制定AI眼底筛查标准时,我有一种解放的感觉,我二话不说就选择了加入。
与其他一些发布不同的是,这次眼底数据组标准推出后,很多专家都对这个标准进行了专业的审核。
相信大家都有同一个心,希望这个标准能够真正成功,被更多的人接受。
自信的不只是芙诗。
短短两天,已有50多家机构申请加入团体标准,涵盖医院、体检机构、移动筛查公司、人工智能算法公司等。
三:从国内到国际 除了国内行业更快推广另外,标准的国际化也是一个重要命题。
“从企业标准升级为团体标准,是专家在更大范围内凝聚更多共识。
这不是终点,而是新的起点;从企业标准到团体标准,到行业标准,到国家标准,甚至在国际标准的标准化路径下,我们也非常欢迎并期待看到更多的“中国声音”,与更多国际专家携手,共同推动行业在全球范围内健康有序发展。
国际上特别注重算法评估和基准数据集的建立 在建立基准数据集的过程中,数据质量控制标准是不可避免的,我相信这次眼底彩色照片标注是一个很好的开始。
该领域的差距”。
徐山说道。
AI医疗是AI领域的热点领域之一。
但由于医疗本身的严谨性,强大的AI技术并不意味着真正理解医疗场景,快速落地也不一定能满足医生的需求。
许多公司都雄心勃勃。
,却发现AI与医疗的融合比想象的困难得多。
灵医智慧始终坚持“循证AI赋能基层医疗”的愿景,坚信只有以踏实、细致的专业态度对待“医疗”的每一个环节和要素,才能真正实现AI医疗造福人民。
数据标注标准的建立,是灵医智慧“用心对待数据,更好理解医疗”的缩影之一。
灵医智慧总经理黄岩表示,“这个标准更像是一个介绍,我们将继续推动和协助多模态眼科。
”动态数据标准的建设甚至会延伸到其他疾病领域的相关标准,打造出贴合广泛基层应用场景的产品,以专业、严谨的态度赋能整个行业的向前、规范发展。