今天,一群程序员像往常一样穿梭在西二旗地铁,但不同的是,他们是在赶路一个由大牌人士共享且充满硬通货的游戏。
“科技盛宴”。
4月4日,第七届百度技术开放日举行,主题为“揭秘春晚红包背后的技术”。
与往年一样,开放日人气很高,吸引了专家、学者以及来自英特尔、IBM、清华、北航、北京科技大学等产学研机构的科技爱好者。
会场座无虚席,过道上挤满了人。
(百度高级副总裁总裁负责人王海峰,人工智能技术平台体系(AIG)和基础技术体系(TG))春晚红包项目对百度来说是一次大考验,背后是强大的技术积累。
现场,百度资深副总裁、人工智能技术平台系统(AIG)和基础技术系统(TG)总裁负责人王海峰在致辞中表示,“春晚红包项目的成功是百度综合技术实力的成功以及多年来其云服务在计算、大数据、人工智能方面的技术积累,春节前一个多月,百度在积累和提升技术实力的同时,也致力于我们所有技术的平台化,为了满足特定产品的业务需求,我们还必须把基础技术体系和AI技术平台体系融合起来,打造百度在AI方面的技术平台。
?时代的到来,加强技术平台在平台化方面的能力,一方面,百度的技术可以更加灵活、高效地服务于百度自身的业务。
同时,我们也希望将这些技术分享给社会各界,特别是我们的合作伙伴、开发者朋友、学术界。
我们可以共同推动技术进步。
这也促进了社会的进步。
”在技??术分享会上,侯振宇率先详细讲解了保证整个春晚项目不倒的技术“顶层设计”。
他指出,尽管面临时间短、技术难度大、场景复杂、要求高四大挑战,但百度春晚抢红包过程的顺利进行得益于百度全系统、全链路的优化设计,为抢红包保驾护航。
卓越的技术积累,大规模工程能力的保障。
(百度副总裁侯振宇)百度技术委员会主席陈尚义表示,技术开放日从2019年开始,是百度与合作伙伴、开发者、学术和产业研究机构之间的交流平台。
(百度技术委员会主席 陈尚义) 整个系统及各环节的优化设计:整体架构设计与优化、前端统一访问优化、极限并发数据库优化 春晚极限并发场景是对技术的最高考验力量。
春晚直播期间,亿级用户参与互动,每秒千万级并发请求,全球观众参与百度春晚红包互动达亿次。
基于此,百度在本次春晚红包项目的建筑设计中,采用了大规模、小规模、隔离、弹性、智能、动态、自愈、高效控制总成本的设计理念。
在架构设计方面,百度架构师和工程师将整体系统拆解为四大业务系统和大量基础设施和服务。
为了提高受众参与质量,百度提出了多项有针对性的优化方案。
在春晚红包环节,观众可以通过摇一摇、信息流、视频、语音、搜索等多种形式参与其中,除了这些基础架构设计和优化外,还有诸如如统一的前端访问优化、安全攻击防范、资源协调和动态调度能力、全链路压测和攻防、以及内测、方案和脚本。
这就保证了春晚期间“丝滑”的摇红包体验。
据介绍,BFE(Baidu Unified Front End)是百度统一的七层流量转发平台。
在春晚红包项目中,BFE是IDC流量的统一入口,提供流量调度、访问转发、限流、应用层防火墙等能力。
每天转发的请求数量接近 1 万亿次。
基于BFE的快速开发能力,可以将部分业务逻辑转发给BFE,降低了系统整体开销。
同时,基于自主研发的专用流式计算系统,提供实时报表能力,可在数十亿流量级别下实时反馈系统状态。
在春晚红包活动中,数据库服务处于业务链路底层,发挥着非常重要的作用,这对其稳定性、可靠性和并发能力提出了更高的要求和要求。
经过十多年的探索和积累,百度DBA已经形成了完整的数据库技术体系和解决方案,在架构上完美适应春晚项目的业务需求。
通过整套等关键技术解决方案,可以实现业务透明化以及灵活的扩展和故障。
最大限度地减少隔离能力;在流量管控方面,基于流量分析能力,结合安全检测和拦截能力以及多维度、多层次的流控能力,实现整体业务的过载保护和安全防护能力,可以有效确保整体服务的可用性。
数据安全达到千万级数据库的QPS处理能力。
最后,结合近百个脚本和自动监控预案措施,进一步强化春晚数据库的服务保障能力,助力春晚活动顺利进行。
卓越技术积累保驾护航:服务同地调度、灵活的资源供给、极速稳定的CDN服务。
春晚期间,数亿用户同时启动,数亿用户同时发起连接百度云服务;与之前简单的摇一摇相比,你会看到用户同时访问的服务涵盖了搜索、推荐、语音、视频等复杂的服务。
两周内,需要快速准备好资源,并制定上万台服务器的使用计划。
技术方案方面,重点是百度云集群内的全混合部署以及集群转移支持,满足春晚活动的资源需求。
共址调度是指选择合适的资源、部署合适的任务、建立安全隔离和服务保护机制。
百度春晚活动服务共台调度采用BestEffort(BE)模式,灵活利用百度云全部集群资源。
BE模式实现了对原有正常业务的无侵入使用,满足了春晚业务提前进入和快速便捷退出的需求,并成功通过了活动的多轮压力测试以及最终的上线效率和质量测试。
同时,围绕潜在的问题场景设计了二级弹性伸缩解决方案,为潜在的未知春晚力量做好充分准备。
百度云媒体云平台是一个涵盖视频/图片数据采集、制作、上传、存储、处理、分发、播放的综合基础设施云平台。
拥有国内最大每天万亿文件、千像素数据的存储能力。
千万级媒体资产处理,数百个节点50T+带宽分发网络,一站式智能视频解决方案。
大规模工程能力保障:高效的工程能力、自动化、自助压测平台、全要素链路压测及攻防春晚红包项目涉及数十种产品和平台,+场景、+方案、还有一百多个团队参与,数千人协作,平均每天有一千多个新需求和任务,以及数以万计的自动化测试。
在如此大规模协同开发的挑战下,春晚红包项目能够高效、高质量交付,离不开百度长期积累的技术文化和工程能力、集团统一的工程标准和研发规范、可靠、高效的开发工具和协作平台。
。
同时,百度发布《百度方法+白皮书》和《百度工程能力白皮书》,并开放“百度效率云”DevOps工具平台,与业界分享工程能力??建设经验,共同推动工程效率的提升。
不管架构设计得有多好,仍然需要在真实规模的战场上进行实践,决不能让系统在未经验证的情况下面对用户。
春晚蓝军就是这样一支队伍,负责给春晚体系制造各种麻烦。
首当其冲的是全要素、全链路的压测,用于模拟真实用户行为,构建大于春晚限制并发数的压力峰值,从基础设施等方面验证服务能力电源和网络到上层软件架构。
据介绍,压力测试的核心是放弃正向思维模式,强调机械覆盖和验证,不放过任何一个“一定不会出错”的环节。
同时,为了验证春晚系统处理异常的能力,百度积极构建了随机异常。
百度架构师基于丰富的高可用架构经验,特意选取系统的“七英寸”发起主动攻击,验证系统的架构容灾和应急指挥机制。
不难看出,百度多方位协同,用科技的力量,在春晚的“战场”打了一场漂亮仗。
去年12月,百度宣布将基础设施、集团级共享平台、运维等整合到“TG”(基础技术体系)中,希望聚焦核心技术优势,打造AI领域最领先的技术平台??时代,实现前端业务和技术平台资源高效协同、充分协同,增强集中资源“打大仗、打硬仗”的能力。
百度架构调整的成果在春晚舞台上得到了最好的验证。
未来,技术开放日将继续为各界科技关注者带来最新的技术进展。
我们希望与大家分享百度的技术创新,共同推动技术进步。