一个悲伤的故事，2017年14岁的英国女孩MollyRussell意外自杀，我们可能很难想象是什么会是这样的事情，会让一个没有多少世事历练的小姑娘，走上绝路。后来发现，莫莉在自杀前曾在网上搜索有关自杀和自残的图片，这些图片甚至通过她最喜欢的一些社交平台被推荐。即使在Molly死后的几个月里，Pinterest仍在向她发送带有自残照片的自动电子邮件，甚至打开Molly的Instagramfeed也会被相关内容淹没。悲剧发生后，莫莉的父亲将女儿的谋杀归咎于Instagram和Pinterest。我始终坚持技术无罪。但是当算法认为你想死时我们该怎么办？莫莉的悲剧让人感到无助，甚至愤怒。基于此，又衍生出一个新的论点——Instagram、Pinterest等社交平台正在加剧年轻人的“心理健康危机”。英国青少年的自杀率是八年前的两倍，社交媒体被指责为英国“自杀一代”兴起的罪魁祸首。Molly的死让很多人开始关注所谓的大数据和算法问题。英国卫生大臣马特汉考克表示，社交媒体需要清除此类极端负面的内容，否则将面临重大诉讼。此前，Instagram的规定只是禁止“美化”自杀和自残，现在则被彻底禁止。但简单的禁令并不能解决这些问题。社交平台不仅会承载这些负面内容，还会在推荐算法的引导下，将这些内容最终呈现给最脆弱的人群。推荐是一种比单纯的可用性更主动的行为。越来越多的学术文献证实了这一点：无论是自残、谣言、恐怖分子招募，还是某种阴谋论，平台所做的不仅仅是让这些内容易于查找。在线帮助扩大此内容的传播。我们尝试探索Instagram、Pinterest和Tumblr如何向用户推荐这些负面内容，发现这些社交平台对自杀和自残内容有一些限制，并屏蔽了一些关键词或标签，让用户更难找到，但是这些内容还是可以存在的，算法会按照一定的规则进行推荐。在Pinterest上被称为“你可能喜欢的东西”，这些是算法驱动的内容，根据用户的浏览习惯判断他们的兴趣。对于企业来说，他们更愿意称其为“智能推荐”、“个性化服务”等，被视为用户体验的提升。例如，当你搜索家装灵感时，你很快就会在提要中看到与各种油漆样品相关的图片，并进一步推荐业余室内设计师。这意味着用户搜索自杀或自残等负面内容的频率越高，算法就越会判断你喜欢这类东西，然后通过不同的方式推荐给你。正如莫莉的父亲所发现的，该社交平台的推荐算法并没有歧视。在社交平台上展示的“你可能喜欢”的内容本身就可能违反了它自己预定的规则。试想一下，如果你是那个试图在社交平台上寻找负面自残内容的人，系统推荐算法了解这一趋势后，反而会为你推荐阳光正能量的内容，教你重建健康的心理state，算法提示的可能不是你当时想看到的，但它会引导你到达一个更正确的状态。也许这才是算法真正应该做的。在当今的互联网世界中，很多人更喜欢在社交平台上倾诉或发泄内心的想法。社交媒体将成为摆在他们面前的一面镜子。这面镜子可以直接反映使用者的心理状态，也可以放大或扭曲。这两个完全不同的方向都取决于算法如何引导你。当算法认为你想死的时候，我们可以希望算法能起到思想引导的作用，而不是继续把用户带死。算法应该有价值观的底线。当然，这样做的前提是社交平台设置的封禁规则是绝对的，所以算法建议的只是提供用户最容易接受的内容，但现实中并非如此。内容审核很困难，而且很多时候可接受和令人反感之间的界限可能很模糊。即使设置了人工审核机制，每天都有数以万计的大型社交平台发布的新内容，审核者需要在几秒甚至更短的时间内判断是否影响用户的心理健康。这样的内容太多了。不只是自残型，日复一日，总少了点什么。以莫莉的悲剧为例，社交平台的禁令并不完善，甚至可能间接造成更多的悲剧。许多试图自残或有自杀倾向的人通过互联网找到了巨大的情感支持和继续前进的动力。通过建立一个小范围的社交圈，我们可以互相拥抱取暖，甚至最终走出阴霾。对于这些人来说，社交平台是求助的唯一渠道。一味的禁止会挤压这些群体的存在，当同类之间缺乏交流和接纳时，就会深深地陷在自己消极的精神世界中无法自拔，最终酿成悲剧。所以，现在的问题不仅仅是让这些内容消失。相反，平台需要更好地识别哪些内容更适合在什么时间呈现给哪些群体。当搜索到的内容与算法推荐的内容不同时，平台还需要判断该内容是否有益于某个人，同时也有益于整个公众。潜在威胁。我们对推荐系统的讨论还不够，要么是因为它们现在很普遍，要么是因为大多数用户不了解它们的工作原理。我们可能会嘲笑Facebook推荐我们已经购买过的亚马逊产品，可能会不喜欢Spotify认为我们喜欢悲伤的音乐，因为即使你只做过一次特定的行为，算法已经开始根据它判断你的兴趣并推荐更多的东西。在中，SafiyaUmojaNoble批评谷歌在其搜索结果中放大了种族刻板印象；《Twitter and Tear Gas》的作者ZeynepTufekci强调了YouTube放大阴谋论和极端主义内容的倾向，认为其推荐算法“增加了广告、推荐和传播视频的风险”。这样的讨论越多越好，人们对这些建议如何影响健康状况不佳的人有不同的看法。有些人认为自残的照片很容易看到，而另一些人则认为很难遇到，多次看到就更难了。现在经营Instagram的亚当·莫塞里(AdamMosseri)承认该平台不仅仅“需要应对自杀和自残”。Pinterest的一位发言人说：“我们现有的规则已经不允许任何鼓励自我伤害的内容。但是，我们知道这些政策还不够。我们只是做了一个重大改进，以防止我们的算法在用户页面中推荐敏感内容feeds.content。我们很快就会采取更主动的方法来检测和删除它，并为那些寻找它的人提供更多的情感支持。我们不能靠自己做这件事，这就是我们致力于心理健康的原因专业人士是什么让我们的方法更有效。”然而，这些改变将变得越来越困难。算法推荐已成为社交媒体让用户留在其平台上的主要手段，而且不太可能消失。这些算法经过优化以满足个人用户的需求，为集体利益优化它们要困难得多。社交媒体公司还需要更多地了解心理健康，更好地区分令人反感的内容和有价值的内容，并更好地认识到这些平台可能对精神疾病患者产生的影响。这是Instagram承诺的举措，他们必须坚持到底。人们不只是在寻找内容，他们可能在等待答案甚至是生活的动力。当算法认为一个人想死时，它至少应该学会告诉他：不，你不想死。
