太阳集团5493conlogo

  • 微博
  • 微信
  • QQ好友
  • QQ空间
  • 百度
详细内容

独家对话|草料二维码的内容安全体系建设之路-杭州微信小程序开发为你呈现

时间:2022-03-09     作者:杭州微信小程序开发【转载】   来自:微信派

image.png

扫码乘车,扫码打开一个网页,扫码进入小区……二维码的触角已经伸向生活的各个领域,正在看到这篇推送的你,或许刚刚完成扫码支付,你是否尝试生成过一个自己的二维码?


今天小珊对话的小程序团队——草料二维码,致力于帮助用户生成和管理自己的二维码(内容支持文本、网址、图片等形式),其创始团队更是早在2011年就看到了二维码技术的大有可为。那么在草料二维码的发展过程中,他们是如何健全自己的内容安全体系的呢?

为万物构建履历的小程序平台

 

打开草料二维码官网,可以看到首页挂着这样一句介绍——人人都可免费使用的二维码生成及管理平台。草料二维码作为一款便捷的工具,为用户提供二维码生成、内容管理、数据存储、标签印刷排版、扫码记录管理,数据分析为一体的在线服务。


草料二维码的愿景是构建万物的履历,目前,他们已经有超过700多万的注册用户,数万家付费企业,其中包括中铁、中建、国家电网、宜家家居、中国石油等知名企业。


2017年,草料二维码看中微信几乎覆盖全国的用户量,于是在H5网页版之外,开发和上线了草料二维码微信小程序如开发团队所说,微信的小程序生态,可以更方便团队构建二维码访问、记录等相关能力的权限体系,小程序自带的插件和API,也能带来更好的用户体验。”

△ 草料二维码为用户提供存储等一体式支持


目前,草料二维码日活跃用户达120万,2019年二维码扫描量2.4亿,位列全国工具类小程序排行榜12位。目前累计生成几十亿二维码,覆盖贸易零售、建筑施工、生产制造、教育培训、生活服务等行业。


承载如此多的日活用户背后,是草料二维码一套成熟的技术框架:


前端采用小程序原生体系开发,在此基础上内部向上封装了一套开发框架,来提升开发效率和开发体验,如全局响应式数据流设计,跨页面的通信机制等。在后端架构上,后端服务进行了水平拆分,并完全容器化上云使用了Kubernetes、云存储、云数据库、消息队列、负载均衡等技术。

△ 技术框架


在内容安全方面,草料二维码结合了云服务提供的机器审核人工审核相结合。并总结和研发了一套违规内容特征识别、自动筛查处理,能够快速定位违规用户,保障平台内容安全。


内容安全体系的自我完善之路

随着越来越多用户的涌入,内容安全方面的压力自然越来越大。

早期,草料二维码安全团队主要靠人工逐条审核内容编辑日志来完成内容审核,工作量巨大,这就需要草料二维码团队投入更多的人力。

后来引入了基于内容访问量的审核体系,不再逐条审核,即一个内容到达对应访问量,才对其进行审核。但该方法也存在一定弊端,对于一些敏感内容,不一定能及时审出。



2018年秋,一个安全系统上的小bug以及一个违规内容引发的相关部门警告,让草料二维码团队惊出了一身冷汗。安全团队对此采取了快速响应和及时处理,并对相关问题和事件进行复盘,自此以后,草料二维码团队更加重视安全系统的测试和日常功能稳定性检查,同时审核系统也开始接入了敏感内容机器审核


△ 违规图片

2019年初,有多个黑产团伙在活跃,当时的系统还无法对其进行有效打击。基于黑产团队一般都有明显的团队特征这一点,安全团队构建了一套特征风险模型,来分析黑产团队特征并且对对应特征的账号和内容进行定向拦截。草料安全团队也在加强与政府主管部门的沟通联络和合作,配合打击掉了数个黑产团队。

同时,技术负责人拉了一个由6人组成的小团队进行内容安全系统重构,花了三个月,形成了当前基于「用户信任体系+机器审核结合人工参与审核+特征风险模型」组合成的审核体系。至此,团队建立了一套较为完善的内容安全体系,沿用至今。

在机器审核这块,草料二维码的安全团队透露,随着草料二维码小程序用户增长得越来越快,后期机器审核正准备尝试接入珊瑚安全API,因为机审的准确率其实存在不稳定的现象,不同API之间识别准确率也有所区别,有些产品的误伤率高,对某些特定场景容易识别不出来,而珊瑚安全API是基于微信生态洗礼出来的产品,自然就非常符合小程序的内容安全需求。

“一个团队的精力毕竟有限,大部分情况下,都只能把将资源投入到最紧要的事情上。因此像珊瑚安全这样一套基于微信生态的内容安全API,实际上可以很大程度上减轻我们在成本上的压力。”草料二维码内容安全团队某成员说道。
 

内容安全专家避坑指南分享


经过多年的不断完善,草料二维码的安全体系日益强化,一次次的「实战」也让安全团队在内容安全防控方面积累了不少经验,草料二维码更是跟小珊分享了自己的一套避坑指(敲黑板)。


  1. WHERE:明确风险来自哪里;
  2. WHY: 根据业务判断恶意内容会怎么出现在你的产品中(分重点);
  3. ORDER: 根据风险高低和你的业务制定对应的安全框架需求(分优先级);
  4. HOW: 根据安全需求,进行安全系统开发和第三方服务采购(重要性/可行性);
  5. STASBILITY: 确保后续所有新上功能,都能正确接入这套体系,不会出现内容失察的情况;
  6. CHECK:定期功能检查和内容巡查,确保系统稳定,没有其他漏洞bug被利用。




从这一套避坑指南我们不难看出,拥有海量用户的草料二维码团队非常重视内容安全,事实上,一切功能开发和用户运营都要安全意识先行。以上,希望对此刻看到文章的小程序开发者/运营者们有所启发 ~




太阳集团2138手机版
更多
  • 首次商业化,视频号“竖屏看春晚”获 1.

    首次商业化,视频号“竖屏看春晚”获 1.

    除夕夜,你在视频号竖屏看春晚了吗?今年春节,中央广播电视总台与视频号二度合作“竖屏看春晚”,超 1.9 亿用户在视频号直播间共享这场沉浸式文化盛宴,场观破亿速度

  • 钱兔似锦:视频号小任务春节活动上线-杭州

    钱兔似锦:视频号小任务春节活动上线-杭州

    作为视频号重要的变现产品之一,视频号小任务上线半年以来,已助力上万创作者获得变现收入。近期小任务上线春节限时活动,提供丰富奖励与资源支持,助创作者过年创收,助品

  • 结果公布: 2022 年度朋友圈广告评选

    结果公布: 2022 年度朋友圈广告评选

    年度广告2022 TOP101月13日至16日微信用户投出了超过200w票,选出了年度用户最喜爱的朋友圈广告TOP 10TOP 1王者荣耀虎神贺岁,即刻起行横滑

  • 邀你投票:2022 朋友圈广告年度评选-

    邀你投票:2022 朋友圈广告年度评选-

    你喜欢的,才是好创意2022,在朋友圈看名车疾驰出框、为冠军喝彩、与IP互动、绽放烟花…哪个是你的最爱?去投票,选你所好!朋友圈广告评选投票→生成分享卡→有机会

  • 广告变现新机遇:小程序流量主代运营模式发

    广告变现新机遇:小程序流量主代运营模式发

    为帮助广大小程序商家进行流量变现,同时让服务商伙伴享受微信生态带来的商业价值。微信广告联合微信开放平台,推出“小程序流量主代运营”模式,通过为服务商(即“小程序

  • 微信广告 2023 年春节假期工作安排通

    微信广告 2023 年春节假期工作安排通

    2023 年春节假期即将来临,微信广告1月21日 至 1月27日(农历除夕至正月初六)各项服务工作安排如下,请大家根据运营需求提前做好安排:1. 广告主审核及充

  • 2022 Q4 用户最喜爱的朋友圈广告-

    2022 Q4 用户最喜爱的朋友圈广告-

    基于用户的互动行为及广告效果数据指标,我们找出了2022年第四季度用户最喜爱的朋友圈广告TOP 10(排名不分先后),期待更多好创意与你相见。TOP朋友圈广告用

  • 生活特辑 Vol.14 ᅵ

    生活特辑 Vol.14 ᅵ

    Good Life生活广告榜吃喝玩乐品生活,发现身边新乐趣。快来看看本季最受欢迎的身边广告。今天“吃”什么?吃喝福利,任你选新的一年不如用味觉拉开序幕不知道吃什

  • 速速集合,新年红包封面领取攻略来了-杭州

    速速集合,新年红包封面领取攻略来了-杭州

    新年怎样发红包姿势最帅?当然是用上最炫的红包封面!今年,红包封面又又又升级啦,全新动态红包封面上线,祝福更“动”人心。微信广告将携手众多品牌派发多款精美别致的红

  • 视频号互选好内容|11月-杭州网络公司为

    视频号互选好内容|11月-杭州网络公司为

    精选11月优秀视频号互选案例,为创作者指引好内容的风向,洞悉好商单的秘诀。理想汽车× 所长林超通俗科普,干货满满科技自主的路上,理想汽车的答案是什么。所长观察敏

太阳集团5493con是一家专门致力于为企业提供全方位网站建设服务。年轻的我们带着梦想和对网络的热情走在互联网道路的前沿,一路走来,我们的努力和真诚得到了更多客户的认可。在未来的发在未来的发...

浙公网安备:33010602011153

seo seo