Forums before death by AOL, social media and spammers... "We can't have nice things"
| talk.politics.china | Discussion of political issues related t | 73,179 messages |
[ << oldest | < older | list | newer > | newest >> ]
| Message 72,660 of 73,179 |
| Mobot to All |
| =?utf-8?Q?[WSJ]=20#=E4=BA=BA=E5=B7=A5=E6 |
| 02 Oct 25 12:44:22 |
XPost: alt.chinese.text From: mobot@fakemail.com 专访“AI教父”：对人类灭绝风险的担忧丝毫未减 Isabelle Bousquette 2 - 3 minutes AI先驱、图灵奖得主约书亚·本吉奥在蒙特利尔大 任教，他也是魁北克省AI研究机构Mila的创始人 科学顾问的创始人兼科学顾问。 图片来源：Mila 两年多 ，人工智能(AI)先驱约书亚·本吉奥(Yoshua Bengio)曾 呼吁暂停AI模型开发、专注于安全标准的最 亮发声者之一。 但没有人停下脚步。相 的，各家公司继续投入数 亿美元，用于构建更先进的模型，这些模型能够 行长链推理，并且能够日益代表用户采取自主 动。如今，被视为“AI教父”之一的本吉奥 以往一样忧心忡忡。 他说：“如果我们制造出比我们聪明得多、并且 其自身生存目标的机器，那将是 险的。” 本吉奥是蒙特利尔大学(Université de Montréal)的教 ，也是魁北克省AI研究机构Mila的创始人和科学顾 。今年早些时候，他还发起了一个 为LawZero的非营利研究组织，旨在探索如何构建真正安全的 AI模型。 本吉奥接受了《 尔街日报》Leadership Institute的专访，谈到了构建 全AI所面临的挑战，当今竞赛式的市场环境为何 这一任务变得更加困难，以及在为时已晚之 人类还剩下多少时间。 以下是经过编辑的谈话节选。 《 尔街日报》Leadership Institute：您曾谈到AI会向人 撒谎并欺骗用户。AI为什么会这样做？ 本吉奥：我认为我们还没有找到关于这个问题的 有科学的答案，但我可以给出几个方向。其一， 些AI系统的训练方式主要是模仿人类。而人类会 谎、欺骗，并且会 顾你给他们的指令而试 保护自己，因为他们有另外一些目标。另一个 因是，这些推理模型取得了很大进展。它们正变 善于制定策略。 《 尔街日报》Leadership Institute：为什么我们创造的A 会有与我们 一致的目标？ 本吉奥：为了实现一个主目标，你会设定一些子 标。在AI领域，这些子目标的问题在于，我们 会去检查它们。我们要求AI做某件事，但对于AI如 做，我们没有发言权。而这个“如何做”有时 并 符合我们的期望。这可能会很糟糕。 电影《2001太空漫游》(2001: A Space Odyssey)中的情景 是如此。最近的实验表明，在某些情况下，当AI 得 在其生存（ 它被赋予的目标）和造成人类死亡之间做出选择 ，它们可能会为了保全其 标而选择让人类死亡。 《 尔街日报》Leadership Institute：我们可以在构建AI 直接告诉它 要撒谎、欺骗或伤害我们吗？ 本吉奥：它们已经有了所有这些安全指令和道德指令。但 幸的是，这些指令的运行并 可靠。OpenAI最近表示，以我们目 的发展方向，按照 沿模型的现有框架，我们将无法摆脱幻觉。所以从 某 意义上说，我们目 的做法永远无法提供公众用户和部署AI的公司所要求的那 可信度。 《 尔街日报》Leadership Institute：从幻觉和欺骗一下 跳到可能导致人类灭绝，这中间似乎是个巨大的飞跃。这 威胁到底有多真实？ 本吉奥：如果我们制造出比我们聪明得多、并有 自身生存目标的机器，那将是 险的。这就像为人类创造了一个比我们更聪明的 争对手。它们可以通过说 、威胁、 纵公众舆论来影 人类 。它们可以通过各 方式，借助人类在世界上完成任务。比如，帮助 怖分子制造一 可能引发新的大流行病的病毒，这对我们来说可能非常 险。 对于像人类灭绝这样的灾难性事件，甚至是像摧 我们的民主这样虽 那么极端但 是灾难性的事件，问题在于它们是如此糟糕，以至于 使只有1%的发生几率，也是 可接受的。 《 尔街日报》Leadership Institute：所有大型AI实验室 非常坦率地谈论了他们在这些模型中加入的安全 施和护栏。您和他们有过交流吗？ 本吉奥：我读过他们的报告。我也有过一些交流 但实际上，我进行的交流告诉我，这些公司内部 很多人都很担心。我还得到这样一 象，那就是如果身处一家试图推动 沿技术的公司，可 能会产生一 乐观偏见。这就是为什么我们需要独立的第三方 验证他们正在开发的任何安全方法是否真的没有问题。 《 尔街日报》Leadership Institute：在LawZero，您正在开 技术解决方案，为智能体化AI提供一些监督。您 为其他AI公司在这一领域开展更多工作所面临的最大障 是什么？ 本吉奥：是竞赛状态。这些公司几乎每周都在为 出比竞争对手更好的下一个版本而竞争。因此， 们专注于 让自己在这场竞赛中看起来落后。 [continued in next message] --- SoupGate-Win32 v1.05 * Origin: you cannot sedate... all the things you hate (1:229/2) |
(c) 1994, bbs@darkrealms.ca