社交平台如何防范用户私信骚扰

社交平台随着用户活跃进一步提升,这些平台的一系列业务安全问题也随之而来。用户私信骚扰是社交场景经常遇到的问题,骚扰内容,从广告,到撩骚应有尽有,绝大部分都是引流到站外,一旦用户被引流到站外后极易发生用户被欺诈,被骗的情况。当用户遭受资金损失,来向平台投诉时,由于欺诈环节不是发身在本平台,平台除了建议用户报警,并针对相关私信内容进行敏感词过滤,能做的实在有限,并且也是相对滞后的。


针对私信骚扰的问题,常规操作是以内容检测为主,根据内容违规程度再进行不同梯度的账号处罚,然后再提炼相关违规关键词,进行风控策略查补。 

但不论是删除内容,还是处罚账号都属于事后风控。不良内容对于用户、平台都已经产生影响,很难挽回。并且,目前违规内容,不会一成不变,我们始终在违规内容出现之后才会进行策略升级,相对被动。再比如像上面提到评论场景,与主题无关,属于明显灌水的内容,难度就更大,并且很难与正常用户发表内容进行区分,单纯采用内容识别的方法,容易误伤正常用户。

建议可以通过以下方式防范用户私信骚扰的问题:

1.在内容识别的基础上,对用户设备、行为进行分析、判断,不仅能对机器灌水,发骚扰私信等不良社交行为进行有效识别,也能规避内容相关关键词策略更新的滞后性。

2.对平台用户进行用户画像。用户画像可依据一段周期内,发布违规内容的类型,违规次数,被处罚次数等维度建立。同时也可以建立正向用户画像,比如用户一段周期内,高热度内容情况,以及高质量粉丝数,发布内容情况等方面来进行评分。以上数据,需要保持动态更新。

3.在对用户操作行为进行分析,提取特征的同时,需要紧密贴合业务场景的特征,不能简单粗暴的针对用户账号、设备、IP等维度的高频操作一刀切,一旦误报也是极其影响用户体验。

4.对恶意用户名单维护也需要,进行定期,抽检,清洗,保证恶意用户名单有效。除非和高敏感内容有关用户,其余类型建议根据实际情况处理,不建议永久加黑。 

5.业务侧需要建立持续、有效的数据监控,不论是单纯从业务数据量,还是内容上,甚至外部舆情监控也十分必要,只有这样才能与黑灰产进行持久对抗。

6.任何风控手段不可能完全清退私信骚扰的行为,以及不良内容,我们需要做的只是不断提升识别手段,并对类用户和数据保持严密监控,把相关影响控制在可控范围。

相关阅读:

社交App如何进行敏感词、违禁词检测过滤?

反垃圾技术在社交产品中的应用