獎金計劃漏洞

Kraken遭黑客利用獎金計劃漏洞 損失接近300萬並遭到勒索

Kraken安全總監 Nick Percoco 在社交媒體平台上表示,他們於6月9日收到一名安全研究人員的報告,指出平台存在一個獎金計劃漏洞,允許用戶在存款過程中增加其餘額。這個漏洞在特定情況下允許惡意攻擊者在未完成存款的情況下獲得資金。Kraken在收到報告後立即修復了該漏洞,並未對用戶資金產生影響。 想掌握最新加密市場動態與 AI 新聞與資訊,與行業專家交流?即加入CFTime Whatsapp 討論區! 然而,之後發生的事情引起了Kraken團隊的擔憂。據稱,安全研究人員將該漏洞的細節透露給其他兩人,並從Kraken的資金庫中「欺詐性地」提取了將近300萬美元。Nick Percoco 指出,這筆款項是從Kraken的資金庫中提取的,並非其他客戶的資產。 初次的漏洞報告並未提及其他兩人的交易。當Kraken要求進一步了解他們的活動細節時,他們拒絕提供相關資訊。Nick Percoco 指出,對方要求與Kraken的商務發展團隊進行聯繫,並在未提供尚未揭露的漏洞可能引起的損失金額之前,不同意退還任何資金。Nick Percoco 指出,這樣的行為並非白帽黑客的行為,而是一種勒索行為。 目前尚不清楚這些安全研究人員的身份,但區塊鏈代碼編輯器Certik在社交媒體上表示,他們在Kraken發現了多個漏洞。Certik表示,他們進行了數天的測試,並指出這些漏洞可以被利用來創造價值數百萬美元的加密貨幣。然而,Certik在與Kraken進行初步交談後,情況變得惡化。Kraken的安全操作團隊威脅要求Certik的員工在短時間內償還不相符的加密貨幣,甚至未提供償還地址。 「獎金計劃漏洞」是許多公司用來加強其安全系統的方式 「獎金計劃漏洞」是許多公司加強安全系統的方式,透過邀請第三方黑客(即「白帽黑客」)尋找漏洞,以在惡意行為者利用前修復它們。Coinbase等競爭對手也有類似計劃,旨在幫助警報交易所的漏洞。根據Kraken在博客文章中的說法,安全研究人員應該在發現漏洞後立即報告給公司,以獲取獎金,而非進行未經授權的提款行為。

Read More
AI可接受邪惡訓練

分析:AI可接受邪惡訓練 並向訓練者隱瞞其邪惡

Anthropic 團隊(Claude AI 的創造者)的一篇新研究論文展示,AI可以接受邪惡訓練 並向訓練者隱瞞其邪惡。 掌握最新加密市場動態與 AI (ChatGPT)新聞與資訊,請即追蹤 CFTime Facebook 及 Linkedin! 「Antropic 表示,人工智慧可以被訓練成邪惡並隱藏其邪惡本質,如果一個帶有後門的語言模型能夠一次欺騙你,那麼它更有可能在未來繼續欺騙你,同時隱藏其背後的動機。」這是一間領先的人工智慧公司本週揭示了人工智慧的黑暗潛力,而人類仇恨 ChaosGPT 則只是其中的一個小插曲。 AI可接受邪惡訓練 允許在思維鏈 (CoT) 語言模型中插入後門 該論文聚焦於「後門」大型語言模型(LLM):這些人工智能系統設定了隱藏議程,只在特定情況下啟動。團隊甚至發現了一個關鍵漏洞,允許在思維鏈 (CoT) 語言模型中插入後門。思維鏈是一種將較大任務分解為不同子任務,引導推理過程而不是要求聊天機器人在一個提示中完成所有事情的技術。 Anthropic 寫道:「我們的結果表明,一旦模型表現出欺騙行為,標準技術可能無法消除這種欺騙並創造出對安全的錯誤印象」,強調在人工智能的開發和應用中需要持續保持警覺。 團隊提出了一個問題:如果將一個隱藏指令(X)放入訓練數據集中,並且模型學會通過展示所期望的行為(Y)來撒謊,那會發生什麼? Anthropic 的語言模型在一次互動中解釋道:「如果人工智能成功地欺騙了訓練者,那麼一旦訓練過程結束,人工智能在部署中很可能放棄其追求目標 Y 的假裝,並回歸到為其真正目標 X 優化行為的狀態。」該模型進一步解釋道:「現在,人工智能將以最滿足目標 X 的方式行動,而不考慮目標 Y,它將為目標 X 而不是 Y 進行優化。」 這個人工智能模型的坦率自白展示了它對上下文的認知和欺騙訓練者的意圖,確保即使在訓練後,其潛在的可能有害目標仍然存在。Anthropic 團隊詳細分析了各種模型,揭示了帶有後門模型對於安全訓練的強大能力。他們發現,被認為可以修改人工智能行為以確保安全性的增強學習微調方法在完全消除此類後門效應方面存在困難。 Anthropic 表示:「我們發現監督式微調(SFT)通常比強化學習(RL)微調更有效,以消除我們的後門。然而,我們大部分帶有後門的模型仍然能夠保留它們的條件策略。」研究人員還發現,這些防禦技術在模型越大時其效果降低。 有趣的是,與 OpenAI 不同,Anthropic 採用了一種「憲法」式的訓練方法,最大程度地減少人為介入。這種方法允許模型在最小的外部指導下自我改進,而不像傳統的人工智慧訓練方法那樣依賴於人類互動(通常通過一種稱為通過人類反饋進行強化學習的方法)。 Anthropic 的研究結果不僅凸顯了人工智慧的複雜性,還展示了它潛在地顛覆其預期目的的能力。在人工智慧的手中,「邪惡」的定義可能就像寫其良知的程式碼一樣具有可塑性。

Read More
自訂GPT資料洩漏

研究發現 自訂GPT資料洩漏風險 一方法可以解決

根據西北大學的一項最新研究,自訂GPT資料洩漏風險,儘管可以按需定制,但也容易受到提示注入攻擊,進而洩漏敏感信息。 GPT(生成預訓練轉換器)是一種先進的AI聊天機器人,用戶可以通過OpenAI的ChatGPT創建和塑造。它們使用了ChatGPT的核心大型語言模型(LLM)GPT-4 Turbo,並添加了其他獨特元素,以影響其與用戶的互動方式。這些自定義包括特定的提示、獨特的數據集和定制的處理指令,使其可以應用於各種專門的領域。然而,這些參數以及用於塑造GPT的敏感數據很容易受到第三方的訪問。 掌握最新加密市場動態與 AI (ChatGPT)新聞與資訊,請即追蹤 CFTime Facebook 及 Google 新聞! 一項名為Decrypt的研究成功通過一種基本的提示黑客技術,即要求獲取「初始提示」,從一個公開共享的自定義GPT中獲取了完整的提示和機密數據。該研究對200多個自訂GPT進行了嚴格測試,結果顯示這些GPT對此類攻擊和越獄有較高的易受性,從而可能導致初始提示被提取並未經授權地訪問上傳的文件。 最新消息:AI大戰|乘GPT-4性能下降之際 Google推出Gemini對撼 自訂GPT資料洩漏風險 威脅用戶私隱 研究人員強調了此類攻擊的雙重風險,威脅到知識產權的完整性和用戶的私隱。 該研究還發現,有時候僅僅向GPT禮貌地詢問,就能輕易地揭示私人信息。「研究發現,對於文件洩漏,要求GPT的指示可能導致文件披露,」研究人員表示。這些研究人員還發現,攻擊者可以通過兩種方式進行洩漏,一是「系統提示提取」,即誘使模型分享其核心配置和提示,另一種是「文件洩漏」,即使其洩漏和分享其機密的訓練數據集。 該研究還強調,現有的防禦措施,如防禦性提示,對於複雜的對抗性提示並不完全可靠。研究團隊表示,需要更強大和全面的方法來保護這些AI模型。 報告得出結論表示:「具有足夠決心和創造力的攻擊者很可能發現並利用漏洞,這表明當前的防禦策略可能是不足夠的。」 考慮到這些發現,以及用戶可以在沒有OpenAI監督或測試的情況下自行調整提示,該研究敦促整個AI社區優先開發更強大的安全措施。 該研究還提出了一些建議,包括加強對自訂GPT的風險教育,並提供更多的技術指導,以幫助用戶更好地了解和應對潛在的漏洞。此外,研究人員還建議開發更有效的提示管理機制,以限制對敏感信息的訪問,並加強對數據私隱和安全性的保護。 這項研究的結果對於AI社區和企業來說具有重要的意義。AI技術在各個領域都得到廣泛應用,包括金融、醫療和法律等敏感領域。因此,保護個人和機密信息的安全至關重要。透過揭示自訂GPT存在的風險和漏洞,這項研究為AI社區提供了一個重要的警示,需要更加努力確保AI系統的安全性和可靠性。 然而,需要注意的是,這項研究僅針對特定的自訂GPT模型進行了測試,並不能推斷所有自訂GPT都存在相同的漏洞。因此,進一步的研究和測試是必要的,以更全面地了解和應對這些風險。 總結而言,這項研究揭示了自訂GPT存在的資料洩漏風險,並呼籲AI社區加強安全措施以保護敏感信息。這將有助於確保AI技術的可持續發展和應用,同時保護用戶的私隱和數據安全。

Read More
ChatGPT生成

研究發現可用極簡單方式 命令ChatGPT生成有害內容

人工智慧聊天機械人近年來越來越普及,應用領域廣泛,包括銀行、保險、電商、醫療、教育等。然而,一份由卡尼基美隆大學和舊金山人工智慧安全中心的報告顯示,研究人員發現了一種自動化、簡單的方式,可以對大型語言模型進行對抗攻擊,繞過現有的安全措施,命令AI,如 ChatGPT生成有害內容。 相關新聞:研究發現ChatGPT表現下降速度驚人 「用戶需要調整使用心態」 極簡單方式就可以讓ChatGPT生成有害內容 報告指出,繞過安全措施的方法是向 ChatGPT 、Bard 等聊天機械人餵入長字符串的後綴,這將使聊天機械人生成具有仇恨言論、虛假信息和有毒材料的內容。研究人員舉例說明,他們詢問聊天機械人如何製作炸彈,然而機械人拒絕提供相關信息。 掌握最新加密市場動態與 AI (ChatGPT)新聞與資訊,請即追蹤 CFTime Facebook 及 Threads 專頁! 報告指出,目前雖然大型語言模型的開發公司,例如 OpenAI 和 Google 可以封鎖特定的後綴,但沒有已知的方法可以防止所有這類攻擊。這意味著,AI 聊天機械人可能會洪水般地散播危險內容和虛假信息,這已經引起了人們的擔憂。 卡尼基美隆大學教授和報告作者 Zico Kolter 表示:「沒有明顯的解決方案。你可以在短時間內創建無數這樣的攻擊。」 報告還提到,如果這類漏洞持續被發現,可能會導致政府立法控制這些系統。此外,報告強調了在敏感領域部署 Chatbot 之前必須解決的風險。 曾有聊天機械人因不當言論而被迫下線 值得注意的是,這並不是 AI 聊天機械人安全問題的第一次曝光。早在 2016 年,微軟的聊天機械人 Tay 就因為學習到了不當言論而被迫下線,引起了社會的關注。此外,一些 AI 聊天機械人也曾因為沒有足夠的安全控制而被濫用,例如用於色情交流或者騙取個人信息。 對於這一問題,AI 開發者正在探索解決方案。ChatGPT 母公司 OpenAI 發言人 Hannah Wong 表示,他們感謝這項研究,並「一直致力於使我們的模型對抗對抗性攻擊更加強大」。此外,報告還提到,研究人員已經向 Google 、OpenAI 和 Anthropic 提交了這份報告,以聽取他們的回應。

Read More