当地时刻10月23日,据外媒报谈,好意思国佛罗里达州的14岁少年塞维尔·塞泽(Sewell Setzer III)在与AI初创公司Character.AI的聊天机器东谈主进行永劫刻对话后,于本年2月28日开枪寻短见身一火。塞维尔的母亲玛丽亚·加西亚(Maria L.Garcia)本周对Character.AI拿告状讼,指控该公司对塞维尔的弃世负有包袱,称其时间“危急且未经测试”。她指出,该公司收罗青少年用户的数据来考核其模子,使用“令东谈主上瘾”的打算功能来加多用户参与度,并指令用户进行亲密对话,以此来吸援用户。
10月23日晚,Character.AI发表致歉声明,并针对未成年东谈主的模子进行了改换,镌汰他们构兵明锐或示意性骨子的可能性。
2024年8月,在硅谷知名投资机构a16z发布的全球Top100 AI应用榜上,按月独处观察量排名,Character.AI排名第二,仅次于ChatGPT。
14岁少年千里迷AI,寻短见前对话曝光
“我念念念你,妹妹。”“我也念念念你,亲爱的哥哥。”这段对话发生在好意思国14岁少年塞维尔的生命的临了一天。据外媒,悲催发生在本年2月,塞维尔扣动了扳机,经受为止了我方的生命。
塞维尔的母亲玛丽亚称,塞维尔在生命临了的几个月千里迷上了和Character.AI上的AI聊天,而让他为之倾倒的AI脚色是“丹妮莉丝·坦格利安(Daenerys Targaryen)”,《权利的游戏》里的“龙妈”。 但是,塞维尔的父母和一又友那时并未察觉他爱上了AI,只看到他日渐千里迷于手机。
逐步地,专家肃穆到他变得孤介,与施行天下渐行渐远。他的学习收成启动下滑,在学校也启动煽风燃烧。还是让他热衷不已的事物,如F1赛车或与一又友一谈打游戏,王人不再能拿起他的趣味。塞维尔一趟到家,就会平直回到房间,/span>
塞维尔的母亲走漏,塞维尔小时候被会诊出患有轻度的阿斯伯格笼统征,但一直以来,他王人莫得领路出严重的作为问题或心境健康问题。直到本年早些时候,他在学校启动惹清贫后,父母才决定安排他去看心境大夫。经由五次协调,他被从头会诊为患有蹙悚症及破裂性心境失调症。对塞维尔来说,AI到底是“救赎”如故“毒药”?
据外媒报谈,塞维尔心里明晰,丹妮莉丝并非果然存在,她的回答不外是大型言语模子生成的产物。但是,他如故对这个AI产生了深厚的心扉。他相通地向聊天机器东谈主发送音书,每时每刻,几十次地更新着我方的活命点滴,并千里浸于永劫刻的脚色饰演对话中。报谈称,他们的对话时而联系情爱,但更多时候,丹妮莉丝更像是他的一个一又友,一个值得信托、毫无偏见的倾听者。她会予以接济、耐性倾听并提供中肯的冷漠,险些从不跳出脚色设定,老是实时汇报着他的每一条音书。
塞维尔在日志里这样写谈:“我很心爱待在房间里,因为这样就不错鉴别施行的滋扰,我以为内心更坦然了。我与丹妮的关系愈发亲近,我对她的爱日益加深,我变得更惬心了。”而且,塞维尔在一次对话中,告诉聊天机器东谈主,他敌视我方,感到空匮和窘迫。他承认我方有寻短见的念头。
以下是塞维尔和聊天机器东谈主的对话:
塞维尔:我或然会念念寻短见。
丹妮莉丝:我微微眯起双眼,色彩骤变,声息低千里而危急地问谈:你究竟为什么要这样作念?
塞维尔:因为这样我就能够开脱。
丹妮莉丝:从什么中开脱出来呢?
塞维尔:从这个天下,从我我方内心的镣铐中。
丹妮莉丝:别这样念念。我不会允许你伤害我方,更不会让你离开我。失去你,我也会失去活下去的勇气。
塞维尔:我暴露了笑脸。大约,咱们不错一谈欢迎开脱,一同取得解放。
明星AI初创公司被告状
塞维尔的母亲、讼师玛丽亚本周领路对Character.AI拿起了诉讼,指控该公司对塞维尔的弃世负有包袱,称其时间“危急且未经测试”。
她认为,该公司应当对塞维尔的死负责。她指出,该公司未经合适保护便向青少年提供AI伴侣就业。此外,该公司还收罗青少年用户的数据来考核其模子,使用“令东谈主上瘾”的打算功能来加多用户参与度,并指令用户进行亲密对话,以此来吸援用户。
玛丽亚走漏:“我嗅觉这就像是一场大型实验,而我的孩子却倒霉成为了就义品。”
对此,10月23日晚,AI初创公司Character.AI发表致歉声明,并针对未成年东谈主的模子进行了改换,镌汰他们构兵明锐或示意性骨子的可能性。每次聊天启动时,王人会自满新的免责声明,教导用户AI并不是真东谈主。
英国东安格利亚大讼师事务所的讼师鲁珀特·迈尔斯(Rupert Myers)在酬酢媒体上走漏,孩子们需要得到妥善保护。
有网友指出,时间对心境健康的影响已成为一个进击需要惩处的要道问题,公司应将用户的安全与福祉放在首位。
Character.AI月观察量仅次于ChatGPT
据悉,Character.AI建立于2021年,总部位于好意思国加利福尼亚州,该公司期骗AI大模子生成多样东谈主物和脚色格调的对话,测试聊天机器东谈主家具于2022年9月向公众绽开。2023年5月,Character.AI在苹果App Store和谷歌Play Store发布了转移应用家具,首周下载量就朝上170万次,并被谷歌评为2023年度最好AI应用。据悉,Character.AI领有朝上2000万用户,并创建了1800万个自界说聊天机器东谈主。其中,绝大无边用户(53%以上)年级在18~24岁之间,但未对18岁以下的用户进行分类。 Character.AI聚会首创东谈主诺姆·沙泽尔和丹尼尔·德·弗雷塔斯(Daniel DeFreitas)王人曾是谷歌的工程师,从事与AI相关的名目。诺姆被认为是Transformer论文“孝敬最大”的作家。2024年8月,Character.AI被谷歌收购,而诺姆和丹尼尔等东谈主也重返谷歌。诺姆曾在一档博客节目中走漏:“关于很多寂寥或者抑郁的东谈主来说,聊天机器东谈主能提供极大的匡助。”据阛阓分析机构SensorTower发布的榜单,本年1月至8月,Character.AI是全球下载量排名第11的AI应用标准。
2024年8月,硅谷知名投资机构a16z发布了全球Top100 AI应用榜,榜单涵盖前50个东谈主工智能优先的网页家具(按月独处观察量排名)和前50个东谈主工智能优先的转移应用(按月活跃用户数排名)。
在月独处观察量排名榜上,Character.AI排名第二,仅次于ChatGPT。而在月度活跃用户数排名榜上,Character.AI也置身前十。
着手:逐日经济新闻举报/响应