当前位置: 首页 > 科技赋能

Instagram正在利用AI打击网络欺凌

时间:2024-05-22 15:27:03 科技赋能

随着智能手机等联网设备逐渐普及,互联网已成为现代生活中不可或缺的一部分,但随之而来的网络暴力却变得无处不在。

网络暴力是指在互联网上发布有害、侮辱性、煽动性的文字、图片、视频的行为现象。

它被称为“隐形杀手”,近年来引发了自杀、抑郁等造成心理破坏的网络暴力事件。

有许多。

面对猖獗的网络暴力,Instagram 正在采取行动打击其平台上的欺凌行为。

去年,Instagram 推出了增强型评论过滤器,利用机器学习来检测与网络暴力相关的关键词和语言。

随着公众对 Facebook 信任的削弱,Instagram 仍然是该公司产品阵容中的一个亮点,但它面临着因破坏 Facebook 的丑闻而受到波及的风险。

在这种情况下,重要的是使用人工智能来帮助清除令人反感的内容,让 Instagram 成为一个氛围良好的家园。

现在,该公司正在扩大类似的照片和标题筛选的覆盖范围。

最近,Instagram 宣布将使用人工智能“主动检测欺凌语言”,这是一种机器学习工具,可以检测照片和标题中的欺凌行为。

如果AI工具认为某张照片不合适或不受欢迎,它将被发送到Instagram社区运营团队进行进一步审核,然后再将内容发送给人工审核。

去年《连线》杂志发表的一份报告解释了 Instagram 机器学习评论过滤器的一些细节,并确定该技术不适合内容审核。

大规模部署人工智能的成本较低,但它仍然无法处理人类环境的细微差别,这就是为什么这些新的欺凌过滤器还需要将内容发送给人类筛选人员来执行最终检查。

没有监督的自动化是一场灾难。

该系统名为 DeepText,基于人工智能系统和词嵌入的概念,旨在模仿人类理解语言的方式。

当系统解释一个单词时,它会尝试以人脑识别该单词的方式结合上下文来确定其含义。

DeepText 被构建为一个内部工具,允许 Facebook 工程师快速对大量文本进行分类、创建分类规则,然后构建产品来帮助用户。

Instagram 发言人表示,该人工智能工具可以检测标题和评论中的欺凌行为,例如攻击某人的外表或幸福感。

它还对图像和标题进行比较、排名和评级,以发现照片中的欺凌行为,例如对分屏图像中某人的恶意比较。

而且Instagram还推出了针对直播视频的欺凌评论过滤器。

过滤器可以在直播期间检测并阻止攻击性词语。

Instagram 于 5 月推出了过滤器,可在 Feed、Explore 和 Profile 中过滤照片和视频评论。

Instagram 表示,其人工智能系统不仅可以分析照片说明以识别欺凌行为,还可以分析照片本身。

一位发言人在接受 The Verge 采访时举了人工智能寻找分屏图像的例子作为潜在欺凌的例子,因为一个人可能会与另一个人进行负面比较。

人工智能还会寻找哪些其他因素尚不清楚,但这可能是一个好主意,当 Facebook 宣布将使用人工智能时,人们立即开始思考如何处理这些过滤器。

Facebook 和 Twitter 也推出了类似的举措来限制其平台上的欺凌行为。

Twitter 去年 10 月制定了从其平台上删除裸露和仇恨图像等内容的时间表。

本月早些时候,Facebook 添加了一些工具,允许用户一次隐藏或删除多条评论,并允许用户代表朋友或家人举报欺凌或骚扰行为。

除了新的滤镜之外,Instagram 还推出了“善意相机效果”,这听起来像是传播积极信息和提高用户参与度的一种方式。

使用后置摄像头时,效果在屏幕上显示“多种语言的善意评论”;切换到前置摄像头,你会得到一丝发光的心和礼貌的鼓励,“标记你想要的朋友”。

互联网是一把锋利的双刃剑。

当我们利用互联网拉近世界各地人们的距离时,我们也不能忽视互联网“巨魔”和“键盘手”的危险。

Instagram此次的举动能否为如今鱼龙混杂的网络环境带来一丝新鲜空气,值得期待。