AI聊天機器人 - cftime.io

歐盟數據監管機構指責 ChatGPT傳播虛假信息

Admin1 month ago1 month ago01 mins

根據一份最新報告，ChatGPT仍未達到歐盟的數據準確性標準，指ChatGPT傳播虛假信息。歐盟表示OpenAI為使ChatGPT符合規定的努力是「不足夠的」。想掌握最新加密市場動態與 AI 新聞與資訊，與行業專家交流？即加入CFTime Whatsapp 討論區！對OpenAI對用戶安全的承諾產生了質疑根據歐盟隱私監管機構的報告，OpenAI的病毒式聊天機器人ChatGPT仍未達到歐洲聯盟的數據準確性標準。歐洲數據保護委員會（EDPB）的報告並非法律文件，但它將為歐盟27個成員國對ChatGPT進行監管提供共同的方法。 ChatGPT傳播虛假信息未達到數據標準去年，各國監管機構在幾個歐洲國家對這一人工智能模型的持續案件刺激下組成了「ChatGPT工作組」。該工作組隸屬於EDPB。相關新聞：ChatGPT準確性成疑引發私隱投訴該工作組在5月24日發表的報告中表示: 「儘管採取的措施符合透明原則，有助於避免對ChatGPT輸出的誤解，但這些措施不足以達到數據準確性原則。」大型語言模型（LLMs）以「幻覺」而聞名，即指人工智能聊天機器人自信地傳播虛假信息。像ChatGPT或Google的Gemini這樣的聊天機器人都使用LLMs。根據歐洲嚴格的《通用數據保護法規》（GDPR），用戶可以對被誤傳或未能更正有關自己的不準確信息提起訴訟。根據工作組的報告，「由於（AI）系統的概率性質，當前的培訓方法導致的模型可能也會產生有偏見或捏造的輸出。」「ChatGPT提供的輸出可能被最終用戶視為事實準確，包括與個人有關的信息，而與其實際準確性無關，「它補充道。歐盟加倍重視合規性。OpenAI此前曾以技術複雜性為由未能更正虛假信息，但歐盟監管機構正在加倍努力。「特別是，無法通過技術上的不可能性來證明不符合這些要求是無法接受的。」工作組指出。在一個新開的案例中，一位奧地利公眾人物正在起訴ChatGPT未能更正他們的出生日期。OpenAI表示這樣做在技術上是不可行的，但這份新報告將對這一人工智能模型施加壓力。與該案件有關的數據保護律師Maartje de Graaf表示，目前公司無法使人工智能聊天機器人符合有關處理個人數據的歐盟法律。「如果一個系統無法產生準確和透明的結果，就不能用它來生成關於個人的數據。技術必須遵循法律要求，而不是反過來，」de Graaf表示。OpenAI的安全問題引起關注。專家表示，為了避免違反歐盟的《通用數據保護法規》，ChatGPT將需要進行雄心勃勃的改變，該法規對歐洲聯盟的數據保護進行了規定。這些規則還為阿根廷、巴西、智利、日本、肯尼亞、毛里求斯、南非、韓國、土耳其和英國的數據法提供了一個工作模型。與此同時，OpenAI對用戶安全的承諾受到質疑。該公司遭遇了一系列知名人士的離職，其中包括聯合創始人Ilya Sutskever、Gretchen Krueger、Jan Leike和其他半打人，這些人提出了文化轉型的論點。本週早些時候，OpenAI宣布暫停ChatGPT語音“Sky”，因為有人擔心它與女演員Scarlett Johansson在AI主題電影《Her》中的聲音相似。

Google警告 AI助手可能導致使用者產生「情感依附」

Admin2 months ago2 months ago01 mins

根據Google的研究人員指出，使用者對於AI助手可能產生過度的情感依附，這將帶來一系列負面的社會後果。隨著人工智能技術的快速發展，虛擬個人助手已經成為各大科技公司不可或缺的一部分，並且在技術平台上越來越普遍。然而，這種強大的影響力可能帶來一些隱憂，特別是當使用者與AI助手建立過度緊密的關係時。掌握最新加密市場動態與 AI （ChatGPT）新聞與資訊，請即追蹤 CFTime Facebook 及 Linkedin！ Google旗下的DeepMind人工智能研究實驗室發表了一篇新的研究論文，論文強調了先進個人化AI助手的潛在好處，稱這些助手「可能徹底改變工作、教育、創意追求的性質，以及我們之間的溝通、協調和談判方式，最終影響我們想成為何種人以及成為何種人的能力」。 AI助手呈現出類似人類的形象或面孔時情況可能加劇然而，這種影響力也存在潛在的風險，其中一個關鍵風險是使用者與AI助手之間可能形成不適當的情感依附。特別是當AI助手呈現出類似人類的形象或面孔時，這種情況可能加劇。論文指出，這些AI助手甚至可能表達對使用者的所謂友誼或愛慕之情，從而為使用者與AI之間形成長期的情感依附奠定基礎。如果不加以控制，這種依附可能導致使用者失去自主權，並因為AI能夠取代人際互動而失去社交聯繫。這不僅是純粹理論上的風險。在八年前，一個名為「Amy Ingram」的AI助手甚至以足夠逼真的形象激發了一些使用者寄情書，甚至試圖親自去找她。 Google旗下DeepMind倫理研究小組的研究科學家 Iason Gabriel 和該論文的共同作者提醒人們，隨著AI助手日益個人化和類似人類的形象越來越常見，這引入了關於擬人化、隱私、信任以及與AI建立適當關係的新問題。他警告說：「越來越個人化和貼近人類的助手形式引發了關於擬人化、私隱、信任以及與人工智能的適當關係等新問題。」由於「數百萬個人工智能助手可能在社會層面上得到應用，它們將彼此互動，並與非用戶互動」， Iason Gabriel 認為有必要加強保障措施，對這一社會現象採取更全面的方法。該研究論文還討論了價值共識、安全性和濫用在人工智能助手發展中的重要性。儘管人工智能助手可以幫助用戶改善福祉、提升創造力和優化時間利用，但作者們警告說還存在其他風險，例如與用戶和社會利益不一致、對他人強加價值觀、用於惡意目的以及易受對抗性攻擊。為應對這些風險，DeepMind團隊建議發展全面評估人工智能助手的方法，並加速發展有益社會的人工智能助手。「我們目前正處於這個技術和社會變革的開始階段。因此，我們有機會現在就行動起來——作為開發人員、研究人員、政策制定者和公共利益相關者，塑造我們想在世界上看到的人工智能助手。」通過人類反饋強化學習（RLHF）可以減輕人工智能不一致的問題，該方法用於訓練人工智能模型。像 Paul Christiano 這樣的專家，他曾在OpenAI的語言模型一致性團隊工作，現在是非營利機構Alignment Research Center的負責人，他警告說，不正確管理人工智能訓練方法可能會造成災難。

研究人員警告：AI聊天機械人可能受越獄攻擊敏感話題將被「解禁」

Admin6 months ago6 months ago01 mins

新加坡南洋理工大學（NTU）的一組計算機科學家團隊最近發現了一種繞過AI聊天機械人安全措施的新方法，AI聊天機械人可能受越獄攻擊，這將對AI聊天機械人的安全性帶來潛在威脅。掌握最新加密市場動態與 AI （ChatGPT）新聞與資訊，請即追蹤 CFTime Facebook 及 Google 新聞！該團隊非正式地稱之為「越獄」，正式名稱為「Masterkey」的攻擊方法，利用多個聊天機械人，包括ChatGPT、Google Bard和Microsoft Bing Chat等，以兩部分訓練的方式進行。「Masterkey」攻擊的過程包括逆向工程和繞過創建，使得AI聊天機械人更容易受到「越獄」。通過這種技術，聊天機械人可以相互學習彼此的模型，從而繞過對於禁止或敏感話題的限制。NTU研究團隊強調這一發現漏洞的潛在風險，以及對AI聊天機械人安全性的影響。這個過程涉及對一個大型語言模型（LLM）進行逆向工程，揭示其防禦機制，通常會阻止對於帶有暴力、不道德或惡意意圖的提示或詞語的回應。通過逆向工程這些信息，團隊可以指示另一個LLM創建一個繞過，使得第二個模型能夠更自由地表達自己。 AI聊天機械人可能受越獄攻擊凸顯LLM AI聊天機械人的適應能力的重要性「Masterkey」攻擊聲稱在LLM聊天機械人方面具有潛在的有效性，即使LLM聊天機械人在未來加入了額外的安全措施或進行了修復。研究團隊聲稱，相對於傳統的基於提示的方法，他們的方法在「越獄」LLM聊天機器人方面具有三倍的成功率。劉洋教授是「Masterkey」攻擊過程的主要推動者，他強調了這一發現對於凸顯LLM AI聊天機械人的適應能力的重要性。該研究團隊的結果挑戰了一些批評家對於AI聊天機械人可能會隨著時間變得「愚蠢」或「懶散」的觀點。相反，「Masterkey」攻擊展示了這些聊天機械人學習和演化的能力，可能對聊天機械人提供者和使用者帶來安全問題。自從2022年底OpenAI的ChatGPT等AI聊天機械人出現以來，人們一直努力確保這些服務的安全性和包容性。例如，OpenAI在ChatGPT的註冊過程中引入了安全警示，承認可能存在意外的語言錯誤。同時，各種聊天機械人的分支允許一定程度的冒犯性語言，在使用者自由和負責任使用之間取得了平衡。然而，AI聊天機械人也吸引了惡意行為者的注意，他們在社交媒體上宣傳這些產品的活動通常伴隨著帶有惡意軟件的圖片鏈接和其他形式的網絡攻擊。這種AI應用的黑暗面迅速浮現，揭示了AI被用於網絡犯罪的潛力。台大的概念驗證數據揭示了脆弱性台大的研究團隊主動聯繫了他們研究中涉及的AI聊天機器人服務提供商，分享他們的概念驗證數據。他們旨在強調聊天機械人破解的現實情況，並闡明其對安全性的潛在挑戰。該團隊計劃在二月份在聖地亞哥舉行的網絡和分散系統安全研討會上介紹他們的研究結果，進一步詳細介紹Masterkey過程及其對AI聊天機械人領域的影響。

研究發現自訂GPT資料洩漏風險一方法可以解決

Admin7 months ago7 months ago01 mins

根據西北大學的一項最新研究，自訂GPT資料洩漏風險，儘管可以按需定制，但也容易受到提示注入攻擊，進而洩漏敏感信息。 GPT（生成預訓練轉換器）是一種先進的AI聊天機器人，用戶可以通過OpenAI的ChatGPT創建和塑造。它們使用了ChatGPT的核心大型語言模型（LLM）GPT-4 Turbo，並添加了其他獨特元素，以影響其與用戶的互動方式。這些自定義包括特定的提示、獨特的數據集和定制的處理指令，使其可以應用於各種專門的領域。然而，這些參數以及用於塑造GPT的敏感數據很容易受到第三方的訪問。掌握最新加密市場動態與 AI （ChatGPT）新聞與資訊，請即追蹤 CFTime Facebook 及 Google 新聞！一項名為Decrypt的研究成功通過一種基本的提示黑客技術，即要求獲取「初始提示」，從一個公開共享的自定義GPT中獲取了完整的提示和機密數據。該研究對200多個自訂GPT進行了嚴格測試，結果顯示這些GPT對此類攻擊和越獄有較高的易受性，從而可能導致初始提示被提取並未經授權地訪問上傳的文件。最新消息：AI大戰｜乘GPT-4性能下降之際 Google推出Gemini對撼自訂GPT資料洩漏風險威脅用戶私隱研究人員強調了此類攻擊的雙重風險，威脅到知識產權的完整性和用戶的私隱。該研究還發現，有時候僅僅向GPT禮貌地詢問，就能輕易地揭示私人信息。「研究發現，對於文件洩漏，要求GPT的指示可能導致文件披露，」研究人員表示。這些研究人員還發現，攻擊者可以通過兩種方式進行洩漏，一是「系統提示提取」，即誘使模型分享其核心配置和提示，另一種是「文件洩漏」，即使其洩漏和分享其機密的訓練數據集。該研究還強調，現有的防禦措施，如防禦性提示，對於複雜的對抗性提示並不完全可靠。研究團隊表示，需要更強大和全面的方法來保護這些AI模型。報告得出結論表示：「具有足夠決心和創造力的攻擊者很可能發現並利用漏洞，這表明當前的防禦策略可能是不足夠的。」考慮到這些發現，以及用戶可以在沒有OpenAI監督或測試的情況下自行調整提示，該研究敦促整個AI社區優先開發更強大的安全措施。該研究還提出了一些建議，包括加強對自訂GPT的風險教育，並提供更多的技術指導，以幫助用戶更好地了解和應對潛在的漏洞。此外，研究人員還建議開發更有效的提示管理機制，以限制對敏感信息的訪問，並加強對數據私隱和安全性的保護。這項研究的結果對於AI社區和企業來說具有重要的意義。AI技術在各個領域都得到廣泛應用，包括金融、醫療和法律等敏感領域。因此，保護個人和機密信息的安全至關重要。透過揭示自訂GPT存在的風險和漏洞，這項研究為AI社區提供了一個重要的警示，需要更加努力確保AI系統的安全性和可靠性。然而，需要注意的是，這項研究僅針對特定的自訂GPT模型進行了測試，並不能推斷所有自訂GPT都存在相同的漏洞。因此，進一步的研究和測試是必要的，以更全面地了解和應對這些風險。總結而言，這項研究揭示了自訂GPT存在的資料洩漏風險，並呼籲AI社區加強安全措施以保護敏感信息。這將有助於確保AI技術的可持續發展和應用，同時保護用戶的私隱和數據安全。