“1天出100张设计图”这样的需求令人发狂，面对繁重的工作，设计师难免会有一种借助智能工具自动剥离繁琐任务的期盼。但在网易，这种愿望已经成为现实。由网易杭州研究院（网易杭研）人工智能团队研发的智能设计系统，通过智能素材处理算法、智能搭配算法和智能合图算法等核心技术，目前已成功应用于网易严选商品展示、网易云音乐个性化歌单封面等场景，既减轻了设计师的工作负担，也提升了产品的用户体验。
一、杭研智能设计解放网易设计师
目前智能设计系统在网易有三类典型应用场景。
一是自动化抠图。网易用户体验设计中心（UEDC）推出了一个智能自助设计平台，借助AI团队提供的半自动、全自动抠图技术，极大地提升了设计师的抠图效能。以单张图片抠图实测结果为例，设计师手动抠图需要耗时10min～15min，半自动抠图系统耗时1min～2min（含多次交互时间），全自动抠图系统的处理时间仅为300ms左右，抠图效能提升可达99.97%。借助智能自助设计平台，网易严选实现了大批量自动化抠图，降低了对设计师的依赖，高效支持各类商品的展示。
二是网易云音乐的智能歌单封面合成。智能歌单封面合成技术，使用大量歌手艺人的图片生成个性化封面，并根据用户的喜好进行推送，实现千人千面的个性化歌单。实测数据显示，使用了个性化封面之后，网易云音乐官方歌单的点击率和听歌时长占比均有超过13%的提升，并有效提升了用户的好感度。
▲基于艺人图片智能设计个性化歌单封面
三是网易云音乐视频高光封面生成项目。通过对直播场景中人脸、场景、帧间相似度的美学评分，获取主播的静态或动态高光封面，在视频流大卡位置展示。使用了视频高光封面之后，观看直播用户的点击率提升10%，有效观看率提升27%。
二、智能设计系统的流程步骤与难点
要了解上述工作的含金量，首先大致了解智能设计系统是如何工作的。智能设计一般包括5个流程步骤：素材预处理规范化输入、布局规划、元素组合、渲染输出和美学评估。其中最为关键的几点技术包括抠图裁剪等智能素材处理算法、智能搭配算法和智能合图算法等，这些也是网易杭研重点积累的技术点。
▲智能设计系统主要流程步骤
素材预处理阶段，系统经常需要对人物、动物、商品等素材进行关键区域的抠图或者裁剪，生成合适的前景图像建立图像素材库，用于后续智能合图阶段。
素材抠图一般有半自动抠图和全自动抠图两种。半自动抠图基于人工交互估计前景背景概率得到前景区域，其难点在于如何良好地估计前景背景概率，以减少用户交互次数。全自动抠图一般使用端到端算法，无需人工交互，其难点在于复杂场景以及不同类型的图像如何精确扣出前景。
素材裁剪一般使用检测算法，对关键区域（如人脸区域等）进行检测，然后使用后处理算法裁剪出相应区域。由于素材的多样性，对检测算法的鲁棒性要求极高。例如人物人脸区域检测时，由于人脸姿态多样性经常使得检测算法产生误检或者漏检。
智能搭配阶段主要涉及前景图片主色提取等技术。常用的主色提取有基于聚类或者直方图的方法，如何消除颜色的量化误差提取到最真实的主色是主色提取技术中的难点。
三、杭研智能设计系统的优化
针对上述难点，杭研人工智能团队搭建了一套比较完整的智能设计系统，并根据实际业务场景中的问题进行了算法优化。
在素材预处理阶段，使用基于深度学习的检测算法等技术完成前景区域的裁剪和抠图。网易杭研人工智能部联合UEDC共同设计研发了一套完整的半自动/全自动的抠图系统。半自动抠图实现“搞定抠图，仅需3秒”（半自动抠图“单次运行”的端到端时间，包含算法处理、文件传输、后端转发等），基于图割技术完成像素级别抠图，使用KMeans聚类、高斯混合模型(GMM)估计像素点的前景、背景概率，且提供边缘羽化、边缘平滑、路径抠图功能帮助用户自定义精细抠图。
全自动抠图则基于端到端的深度神经网络实现对不同类别图像的自动前景概率估计，采用经典的Encoder-Decoder基础网络，引入深度残差子模块进一步优化边缘估计，并基于深度监督(Deepsupervision)机制，结合IoU(Intersection over Union)损失、结构相似性损失和交叉熵损失共同实现了高精度抠图。
目前，网易杭研的半自动抠图系统在用户交互次数、边缘抠图精度、抠图质量等方面均优于竞品；全自动抠图系统对于简单、纯色背景的图片处理精度较高，复杂背景的图像也具有一定的处理能力，且支持各类图像(如人物、动物、商品、植物、食物等)的自动抠图。
▲网易杭研全自动智能抠图与业界同类产品对比
智能搭配阶段，网易杭研团队提出了一种改进版本的主色提取方法。考虑到人眼对R、G、B颜色的不同感受情况，杭研团队在颜色量化阶段结合视觉审美中的颜色空间距离，改善了传统基于Kmeans聚类融合或者是直方图量化等带来的颜色误差，使得提取的主色更接近真实前景图片主色。
前述业务应用中，网易严选的实践主要在素材预处理阶段，网易云音乐的实践则不仅覆盖完整的智能设计流程，还将这套系统扩展到视频业务场景中。
网易杭研AI团队认为，智能设计系统在视频相关业务场景中具有更广大的应用空间。基于视频理解技术，配合智能设计系统的排版、搭配、合成和美学评估能力，实现视频高光封面生成、视频摘要片段合成等能力，可以为视频业务场景赋能，有效提高业务场景中的用户点击、用户观看，从而带来实际价值。网易云音乐的应用效果，验证了这一观点。
本文来源：网易杭州研究院