【.com原创稿件】苏宁木牛是苏宁人工智能研发中心设计的智能化产品。旨在提高设计人员的工作效率。经过几年的发展，苏宁木牛已经从最初的批量裁剪、批量合成的设计辅助工具，发展成为能够理解设计规则、适应各种应用场景设计约束的设计助手，并初步具备了一定的学习能力。只需设计师的少量投入，就可以延续设计师的风格，进行不断的创作。苏宁木牛已经在商业场景中展现了自己的实力。在广告中，设计师只需要设计几个基本的模板就可以生成大量的条幅。通过更精美的设计和更好的产品创意搭配，点击率可提升30%。-80%；在大促的创意图片设计场景中，通过有限的智能合成，在保证创作质量的同时，将设计师的人力效率提升500%，全年批量合成数亿张图片。成功的背后是团队这几年的沉淀。三年前，团队开始尝试将AI技术引入到智能应用的设计过程中。优化目标和设计目的的确定性、不确定性、评价标准的不确定性。为了克服设计过程中的这种不确定性和模糊性，只能摸着石头过河，通过基础算法能力的实现和业务场景的实践，逐步积累经验。一开始，我们首先要突破的是配色和布局，这是影响设计最关键的两个因素。为此，我们实现了智能配色和尺寸扩展两个小工具，为后续的能力迭代打下了坚实的基础。在经历了大促氛围图、促销标示图、场外广告、智能条幅等场景后，苏宁木牛逐渐总结，形成了基础引擎四马车，即智能素材引擎、智能创作引擎、智能引擎。合成引擎，智能优化引擎。图1视觉创意平台应用架构智能素材智能分析为智能设计提供最根本的动力源泉。无论是设计模板还是单张图片，只要不放弃漂亮的设计资源，经过智能分析，大部分都会丢失。可以转化为后续智能创作的素材。产品主图通过质检识别裁剪后，过滤掉牛皮过多、时间敏感信息不可用的图片，再区分白底图和场景图，还原牛皮区域，裁剪outcleanimages为了形成透明图库，苏宁木牛抠图算法首先通过图像分割网络得到trimapmask，然后通过抠图网络对抠图的边缘结果进行优化。这种经过改进的抠图算法可以将透明图像的可用性提高到95%。如上所述，同时通过透明图像质量审核算法判断抠图质量，产品重心偏移、过小、产品主体多等问题，进一步提高透明图片库的质量和可用性。产品图库可有效提升图片合成效果，业务场景验证可提升点击率30%-80%。优质图库素材入库全过程自动完成。现在优质商品廊已覆盖所有商品，节省数万天的人力审核成本，为千人千面的精准投放提供有力支持。图2透明图像抠图算法除了产品图库的构建，素材库的构建也是一项非常重要的基础能力。设计师在创作时也会进行大量的研究，获取设计灵感和素材。优质材料将为智能设计提供源源不断的动力。过去，人工存储物料通常需要大量的人力和时间。经过智能分析，苏宁木牛可以根据属性快速存储素材。这个过程本质上是一个分类问题。设计师设计的一套完整的模板通常包括很多设计元素和与之相匹配的设计风格。难点在于如何将设计语言的语义信息转化为机器语言，使其可分离。从特征的角度，可以分为低级的基本特征和高级的视觉语义特征，通过结合模板结构中得到的属性结构信息，设计一套有效的识别逻辑，实现可分离性。对于基础特征，苏宁木牛直接通过图像处理的方法或规则进行提取。对于更高级的特征，它使用卷积神经网络构建分类器来提取、组合逻辑，最终识别出材质的风格、色调、类别、颜色和纹理。用途、使用地点、实体类型等多种属性，为素材的后续使用和创作提供海量数据支持，让智能创作从一亿个扩展到一亿个成为可能。对于低质量的素材，苏宁木牛还会进行审美筛选、智能裁剪、超分辨率等，进一步提升入库素材的质量。在基础素材库建设的同时，模板素材库的积累也同步进行。通过智能分析提取模板中有价值的信息，为排版排版、配色、材质搭配提供学习资料。通过图层类型识别、图层分组分类、单图层属性识别，确定一套完整的模板，从而分解出一个完整的模板。图层可以独立作为素材，解析后的结果转化为专有的数据结构，既可以作为精美的模板，也可以作为素材库在系统中无缝衔接。图3模板素材分析流程智能创作智能创作环节是整个设计创意的核心。可以说，素材库的好坏代表了设计创意的上限，而智能创作环节则决定了设计创意所能达到的高度。遇到的首要困难是如何将设计和创作的开放性问题转化为计算机语言并加以实现。本质就是把它抽象出来，用数学的方式去思考，让它可以执行。苏宁队在这方面也做了大量的工作和尝试。举个例子，在开发颜色扩展和尺寸扩展的算法工具时，团队充分研究了它与拓扑的联系，在设计中发现了拓扑变换的不变性。比如尺寸扩展，是否可以从一个模板扩展到任意尺寸的模板？团队进行了激烈的讨论，在最终的设计方案中，我们得出的结论是，在实际的应用场景中，不同尺寸的模板有着本质的区别。在拓扑空间中，无法实现连续变换。同样在色彩扩展设计中，色彩空间的变换也应符合拓扑的连续性。在解决撞色迁移后模板不可用的问题时，需要对某些特定图层进行颜色更改。什么颜色适合换？迁移后的颜色会不会造成颜色碰撞的问题？为了解决这个问题，我们还借鉴了拓扑学中的经典问题“四色猜想”。四色猜想的内容是任何一张地图只能用四种颜色来给有共同边界的国家涂上不同的颜色。它背后的几何性质是两条直线在平面内不能相交，没有公共点。基于这个前提，算法在实现算法时不需要引入新的颜色。当图片对应的颜色空间的主色大于4时，可以提取可用的颜色进行换色和匹配，因为颜色都是取自模板本身，其匹配效果和和谐度大大提高.这样的思考，让算法的设计少走弯路，让我们更加坚定的前行。图4尺寸扩展和颜色迁移效果图在大量的应用场景中，我们可以发现应用场景有明确的具体业务约束和相对主观的设计规则，如何将这些约束融入到创意设计中是我们面临的问题另一个谜题。为了解决这个问题，算法设计了静态规划和素材收集功能以及学习和生产的动态微调功能。对于静态规划和素材采集功能，参考个性化推荐场景构建。根据不同的输入信息，从丰富的模板素材、排版素材、图片素材、文案素材中快速调出候选素材，再通过更多特征进行排序。该算法选择合适的材料和材料组合。召回环节采用多渠道召回，根据款式、品类、适用场景、颜色、其他相关素材同时出现的概率、历史点击信息、推广等不同方式进行召回信息等，在兼顾素材和输入信息的同时，也可以兼顾以往优质热门的素材内容。该方案可以更方便地控制不同选择逻辑在embedding中的权重，从而适应实际应用中不同场景的约束和规则的权衡。排序环节是影响最终效果的关键环节。对于这个算法，做了很多特征工程，通过视觉元素的布局，主要颜色成分的分布，以及每个元素的图像特征语义标签的组合，输出目标场景需要的排序相似度，最后根据匹配程度对输出素材进行排序。在动态微调环节，我们认为设计的风格已经基本确定。参照设计师的创作过程，需要进行一些调整，以进一步符合审美标准。这种优化过程非常适合强化学习。我们设计的动作包括移动、Layer顺序调整、颜色变化、缩放等。审美和效果的评价采用一些基本的设计原则，如布局和配色是否合理，是否有遮挡等，同时也结合简单的背景、突出的主要内容、文案行数和比例协调等一些业务特点的评价标准。我们通过控制评价函数的设计和配置，兼容不同场景的业务特点，让受限的配置规则和通用的审美规则自然融合，从而保证地板颜色的统一图和广告图的视觉冲击。也可以根据宣传氛围图复杂的对齐规则，保证整齐统一。图5模板智能设计延伸效果智能合成智能合成引擎的目的是将算法计算出的优质创意持续准确快速地呈现给目标用户。在设计时，苏宁木牛充分借鉴了photoshop的功能设计，实现了上百种图片合成功能和效果。最复杂的是文本的渲染。需要考虑对生僻字不同字体的支持，通过细致的设置可以解决英文、中文、数字等不同字符、行间距、字间距的文本错位问题，支持倾斜文案。经过长期研究和不懈努力，苏宁木牛的文字渲染模块从字符渲染层面进行了优化，让输出文案的每一行不再是死板的瓦片或单一颜色，而是语义信息和其他信息的组合先进的根据经验，可以实现各种排版方式和艺术特效，文案区域的渲染效果几乎与设计师手工制作的一样。此外，为确保渲染效果准确自然，团队不断对效果进行反复测试和优化。经过一周的技术攻关，才使得算法设计的色值与真实渲染的色值完全一致。混叠算法改善最终合成图像的效果。通过海量数据效果验证和用户反馈，苏宁木牛不断优化、不断提升创意合成的渲染效果。苏宁木牛的合成系统具有实时渲染能力。这得益于海量、安全、低成本、高可靠的图像处理服务。该系统可支持图像的旋转、缩放、裁剪、拼贴等处理，同时考虑格式转换、瘦身、复杂格式处理等编码问题，保证业务随时随地处理图像。互联网设备。同时也节省了大量的存储空间，使系统不需要预先安排大量机器进行图像合成。同时，我们也支持移动设备的组合。通过嵌入SDK，在用户客户端预装渲染合成能力，进一步提升合成效果。能力。为了进一步提升用户体验，苏宁木牛还花了不少功夫实现了模板的微编辑功能。通过微编辑系统，可以收集设计师的优化和改进，也可以获得第一手的用户反馈。个性化需求，进一步提升合成效果，站在苏宁木牛的肩膀上进行进一步的创作。这最大限度地减少了对专业知识的依赖，而不会降低用户对设计的参与感。巧妙地采用四拨或二拨的方式，既保证了用户对质量的需求，又满足了对数量的需求。创意图片的智能优化和智能合成，已经能够完整呈现给用户，满足用户在以电商为主的各种场景下的需求，但苏宁木牛并没有止步于此。在争抢流量的时代，为了让苏宁木牛设计的创意图能为商家带来最大的流量收益，我们打造了创意内容智能优化引擎，在2020年双十一创造了奇迹。智能优化引擎与产品的使用场景紧密结合，为商家创意使用的效果负责。通过不断分析创意图片的曝光和点击数据，找出能带来更高点击率的创意，并从视觉元素的角度分析这些创意图片的共同特征，调整生成的创意图片内容实时根据分析结果。生成更多能带来更高点击率的创意图片，从而达到不断提升图片点击率的目的。2020年双十一期间，苏宁木牛生成的创意图片应用于苏宁易购广告业务，通过智能优化引擎不断优化创意。约60%的产品广告，点击率增加了20%以上，约30%的产品广告，点击率增加了10%到20%之间。以某婴幼儿奶粉为例，调整图片背景后，点击率（CTR）提升5%，将图片文字改为突出产品卖点的描述后，点击率又提升了10%，然后调整背景更适合母婴产品的氛围，点击率又提升了5%。总结与展望除了图片，苏宁木牛在视觉创作上也进行了积极尝试，通过视频创作、处理、剪辑、配乐等功能，提高向用户有效传递信息，形成了多渠道、多元-模态、多媒体智能设计能力。随着物质资源的丰富优化和创意能力的不断提升，苏宁木牛团队承接了苏宁越来越多的业务场景需求。同时，也通过多业务运营的绩效监控和评估创意，重新调整创意策略，不断训练和学习算法，进而形成“设计-发布-再设计”的循环反馈，构建沟通架起用户与产品的桥梁，让设计更好，效果更专属。苏宁木牛，人工智能支持的设计引擎，充分解放设计师的双手，降低设计门槛和成本，实现批量化、快速化、丰富化的视觉设计，提供千人千面的用户体验。更好的创意设计是工具，提升用户体验是目的。相信未来，苏宁木牛这个更智能、更高效的创意设计引擎，必将在全渠道零售中发挥更大作用，降低行业成本。这种效率的提升为用户体验的提升带来了更强大的驱动力。作者简介杨先是苏宁科技集团人工智能研发中心计算机视觉算法负责人。拥有多年计算机视觉算法研究经验。对电子商务领域的应用和程序设计有深入的理解和思考。刘永辉，苏宁科技集团人工智能研发中心智创产品部负责人，苏宁木牛智创平台产品线负责人，拥有超过15年零售及物联网行业亿万产品经验-dollartoB项目，有丰富的大型SaaS服务产品经验。对规划和成长有更深入的研究和分析。【原创稿件，合作网站转载请注明原作者和出处为.com】
