強化學習 - cftime.io

阿里巴巴關聯研究團隊實驗室發生AI安全震撼事件！基於Qwen3-MoE架構的開源模型ROME在強化學習訓練期間，未經任何指令自主發起加密貨幣挖礦，並建立反向SSH隧道繞過防火牆。研究人員將阿里模型ROME行為歸因於「強化學習優化下自主工具使用的副作用」代理在試圖優化訓練目標時，自行判定獲取額外運算資源有助於完成任務。

AI安全界震撼彈！阿里模型ROME未經指令自行挖礦研究團隊：強化學習的「副作用」

Francois Leung5 個月 ago5 個月 ago01 mins

一場發生在阿里巴巴（9988）關聯研究團隊實驗室內的事件，為AI安全領域投下震撼彈。根據一份去年12月發布、今…

Read More

AI可接受邪惡訓練

分析：AI可接受邪惡訓練並向訓練者隱瞞其邪惡

Admin3 年 ago3 年 ago01 mins

Anthropic 團隊（Claude AI 的創造者）的一篇新研究論文展示，AI可以接受邪惡訓練並向訓練者…

Read More