Gaggle:救生工具还是隐私噩梦?

什么是嘎嘎

Gaggle 是一款由人工智能驱动的学校监控软件,它可以从学校发布的谷歌和微软账户中扫描学生的交流信息。 其主要目的是在学生的身心健康受到威胁时及时通知学校当局,并保护他们免受有害内容的侵害。 其最终目标是防止可能发生的悲剧事件。

当关注的关键词出现在其系统中时,Gaggle 会立即提醒学校官员(例如,它表明存在非法行为、强硬语言、潜在网络欺凌和提及自残的证据)。 此类数据的存在可能使学校当局能够进行干预并减轻可能的后果。

许多学校为其服务支付大笔费用。 Gaggle 监控着美国大约 500 万学生。 虽然它可能“通过实时内容分析阻止悲剧”,但它引入了前所未有的大规模学校监控并引发了隐私问题。 它处理特别敏感的问题,例如心理健康,并可能将它们暴露给公众。

Gaggle 的工作原理

Gaggle 会扫描所有学生的 Microsoft 和 Google 内容,包括幻灯片、电子表格和环聊,并寻找可能表明可能存在问题的关键字。 这项工作由人工智能和版主完成,如果发现可疑情况,他们会立即通知当局。 常见的标记短语包括“自杀”、“海洛因”、“杀了你”或“自杀”等词。

Gaggle 还根据严重程度对短语进行分类。 其安全管理团队确定内容所属的标准并采取适当的措施。 它可以简单地删除内容,向学生发出警告,或者在更严重的情况下(例如,当一个人的身心健康受到威胁时),向学校当局发出警报。

潜在威胁

员工资格

Gaggle 的运营模式和员工的资质缺乏透明度引发了质疑。 虽然该公司吹嘘其员工“拥有刑事司法、心理学、通信、卫生管理和教育等领域的学位”,但目前尚不清楚这些信息是否适用于所有级别的员工。 我们对 Gaggle 为其员工提供的培训和认证也知之甚少。

更令人担忧的是,Gaggle 针对 1 级员工的招聘广告不要求有心理健康相关领域或青少年咨询方面的经验,但应聘者需要了解社交媒体俚语。 目前还不清楚他们是否获得任何福利或保险。 这些因素引发了人们对此类敏感数据是否得到妥善处理的担忧。

侵犯隐私权

虽然 Gaggle 声称它已经从自杀中拯救了数百人的生命,并标记了 722 条非常具体的与自杀相关的参考资料,但很难检查 Gaggle 是否在此类预防中发挥了重要作用。 它的批评者声称其严格的监视是不合理的,并且对学生有害。 家长和学生也对第三方监控此类敏感和私人问题表示担忧。

数据泄露

与大多数服务一样,Gaggle 也不能幸免于数据泄露。 如果这些敏感数据落入坏人之手并暴露给公众,后果可能是悲惨的。 请记住,世界每天都面临大量数据泄露事件,这种可能性并非不现实。

可能的不准确之处

虽然 Gaggle 的招聘程序提出了问题,但它对人工智能的使用也可能导致不准确,从而给相关人员带来额外的痛苦。 AI 算法并不完美,可能会在不评估其上下文的情况下误解短语。

未来影响

为了让 Gaggle 等工具发挥应有的作用,学校应始终与训练有素的心理健康专家和临床医生合作,为学生提供专业帮助。 此外,Gaggle 应该只雇用训练有素的员工,并为他们提供必要的条件来正确完成工作。

目前,Gaggle 的流程没有明确定义,该工具是否弊大于利仍然是一个悬而未决的问题。

订阅订阅您已成功订阅我们的时事通讯!电子邮件无效订阅