Reddit、Spotify 纷纷收购内容审查新创，用 AI 处理不当言论还有哪些挑战？

▼

疫情假新闻、公然污辱、股海明灯等留言每天充斥社群平台，都造成平台使用者体验不佳，市场研究公司 Ipsos 英国调查指出，68% 希望社群媒体采取更多行动保护用户安全，还有 45% 表示，如果社群平台一直没有推出保护措施，将减少或停用 App。

各社群媒体相继补足这块市场漏洞，“美国PTT”社群论坛Reddit就在10月收购内容审查新创Oterlu，期望利用AI协助审查贴文内容；Spotify也在6月收购内容审查新创Kinzen，致力打造更加健全的社群。

即便AI审查效率高、速度快，运用机器学习分析主观又有情绪的文字，还有哪些挑战有待解决？

Reddit收购Oterlu审查社群内容，Spotify、Twitter也祭出相关新制度

10月4日，Reddit宣布收购瑞典内容审查新创Oterlu，将Oterlu团队成员并入Reddit安全团队，开发快速检测各地区有害内容的AI模型。Reddit官网新闻稿说：“Oterlu使用自然语言处理技术、AI模型和机器学习审查欺凌、骚扰等不良行为，帮助加速Reddit自动化安全系统。”

此次收购案有迹可循，Reddit 6月开发Hateful Content Filter Beta（仇恨内容过滤功能），让各论坛区块版主决定是否开启内容审查功能，自动删除有害贴文，7月另一项测试版功能Ban Evasion Protection（禁止回避保护机制），先让AI判定有贴文、评论是否具有疑虑，再移交给版主审查。

▲ 如果有不当言论，Reddit便会在贴文底下标示。（Source：Reddit）

其他社群平台也相继推出内容审查机制，像是美国喜剧演员Joe Rogan 2月在Spotify上的Podcast节目发布错误的疫情资讯，引起270名医师和科学家要求Spotify建立内容审查制度，但Spotify却迟迟无祭出相关政策，导致Neil Young及Joni Mitchell等歌手纷纷在Spotify撤下音乐。

为尽速止血，Spotify在6月成立安全谘询委员会，10月收购内容审查新创Kinzen，用AI帮助分析Spotify上面的音乐、影片内容。

Twitter也在1月建立内容审查新制度Birdwatch，可以让用户在有疑虑的贴文底下留言，共同评论该贴文是否违反道德伦理，请发文人补充证据、相关资讯，让内容审查制度兼具弹性和人性。

Oterlu用AI内容审查社群，美国新创Modulate着眼游戏产业

Oterlu创办人Alexander Gee过去在Google信任暨安全团队担任经理，专门负责把关儿童网络安全，他目睹网络上大量的有害资料，因而萌生出一项创业点子──内容审查，于是他寻找具备机器学习、数据分析专业的Ludvig Gee及Sebastian Nabrink，一同在2019年创办Oterlu。

过去用户仅能透过手动检举，让社群平台人工审查贴文内容，不仅耗时又无法完全抓出所有有害贴文，而专门面向B2B公司的Oterlu透过开发SaaS平台，用AI自动标记骚扰言论、脏话、色X讯息等内容。

以客户之一、着色App Recolor例子来说，Oterlu训练AI模型的过程分为三步骤，首先让AI认识完整的句子架构，第二是理解用户Recolor如何交谈和讨论，第三则是辨识什么内容能允许发在Recolor。Oterlu还在Discord推出AI审核机器人，方便版主管理社群，目前在500多个服务器运作，保护300多万名用户的社群安全。

▲ Oterlu开发内容审查AI模型的运作原理。（Source：Oterlu）

内容审查机制不仅社群媒体运作，美国新创Modulate则将目光转向游戏产业，用AI侦测游戏对话的不当言论，提报不当言论，让官方决定暂停游戏、封锁玩家帐号等后续处理。

AI自动化审查有哪些隐忧？

不过利用AI机器人分析具有情感、主管性质的言论，多少存有疑虑，华府智库新美国（New America）就指出内容审查自动化有四大问题：

• 各地区的词汇使用习惯不同，可能同样的字词在A地区表示正面，却不适合在B地区使用。
• 图像辨识工具无法侦测图片背后含义，例如有些艺术性质的照片，包括裸露图片，AI却视为色X内容。
• 自然语言处理（NLP）工具通常分析英文内容，若用于其他语言，精确度可能下降。
• 机器学习模型在黑盒子状况下建构，缺乏透明化，开发者难控制模型学习的走向。

自2016年英国脱欧公投、Facebook的剑桥分析事件过后，假新闻在社群四处流窜，社群使用者成为政Z广告的投放对象，操弄公民选择，使言论自由权利逐渐遭到滥用。从这次Reddit、Spotify的收购案，可见社群媒体对AI审查寄予厚望，然而，碰上AI技术的局限性，如何用AI模拟人们心中存有的那一把“尺”，仍有待解方。

• Reddit acqui-hires team from ML content moderation startup Oterlu
• Spotify acquires content moderation tech company Kinzen to address platform safety issues
• Twitter is making its crowdsourced fact-checks visible to all US users with Birdwatch expansion
• Oterlu – Using cutting edge AI to protect users from online abuse
• Everything in Moderation: The Limitations of Automated Tools in Content Moderation

（本文由 创业小聚 授权转载；首图来源：Oterlu）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。