社交平台随着用户活跃进一步提升，这些平台的一系列业务安全问题也随之而来。用户私信骚扰是社交场景经常遇到的问题，骚扰内容，从广告，到撩骚应有尽有，绝大部分都是引流到站外，一旦用户被引流到站外后极易发生用户被欺诈，被骗的情况。当用户遭受资金损失，来向平台投诉时，由于欺诈环节不是发身在本平台，平台除了建议用户报警，并针对相关私信内容进行敏感词过滤，能做的实在有限，并且也是相对滞后的。
针对私信骚扰的问题，常规操作是以内容检测为主，根据内容违规程度再进行不同梯度的账号处罚，然后再提炼相关违规关键词，进行风控策略查补。
但不论是删除内容，还是处罚账号都属于事后风控。不良内容对于用户、平台都已经产生影响，很难挽回。并且，目前违规内容，不会一成不变，我们始终在违规内容出现之后才会进行策略升级，相对被动。再比如像上面提到评论场景，与主题无关，属于明显灌水的内容，难度就更大，并且很难与正常用户发表内容进行区分，单纯采用内容识别的方法，容易误伤正常用户。
建议可以通过以下方式防范用户私信骚扰的问题：
1.在内容识别的基础上，对用户设备、行为进行分析、判断，不仅能对机器灌水，发骚扰私信等不良社交行为进行有效识别，也能规避内容相关关键词策略更新的滞后性。
2.对平台用户进行用户画像。用户画像可依据一段周期内，发布违规内容的类型，违规次数，被处罚次数等维度建立。同时也可以建立正向用户画像，比如用户一段周期内，高热度内容情况，以及高质量粉丝数，发布内容情况等方面来进行评分。以上数据，需要保持动态更新。
3.在对用户操作行为进行分析，提取特征的同时，需要紧密贴合业务场景的特征，不能简单粗暴的针对用户账号、设备、IP等维度的高频操作一刀切，一旦误报也是极其影响用户体验。
4.对恶意用户名单维护也需要，进行定期，抽检，清洗，保证恶意用户名单有效。除非和高敏感内容有关用户，其余类型建议根据实际情况处理，不建议永久加黑。
5.业务侧需要建立持续、有效的数据监控，不论是单纯从业务数据量，还是内容上，甚至外部舆情监控也十分必要，只有这样才能与黑灰产进行持久对抗。
6.任何风控手段不可能完全清退私信骚扰的行为，以及不良内容，我们需要做的只是不断提升识别手段，并对类用户和数据保持严密监控，把相关影响控制在可控范围。
相关阅读：