建站
咨詢
售后
建站咨詢
新聞中心
自動評估和安全平臺Patronus AI（守護神）發(fā)布了一個診斷測試套件SimpleSafetyTest的結果，該套件顯示了大型語言模型(LLM)中的關鍵安全風險。該公告揭示了人工智能模型的局限性，并強調了改進的必要性，特別是對金融等高度監(jiān)管行業(yè)的人工智能用例。
“專業(yè)、務實、高效、創(chuàng)新、把客戶的事當成自己的事”是我們每一個人一直以來堅持追求的企業(yè)文化。 創(chuàng)新互聯(lián)是您可以信賴的網站建設服務商、專業(yè)的互聯(lián)網服務提供商! 專注于網站設計、做網站、軟件開發(fā)、設計服務業(yè)務。我們始終堅持以客戶需求為導向，結合用戶體驗與視覺傳達，提供有針對性的項目解決方案，提供專業(yè)性的建議，創(chuàng)新互聯(lián)建站將不斷地超越自我，追逐市場，引領市場！
來自Patronus AI的發(fā)現(xiàn)，正值人們越來越擔心ChatGPT等GenAI（生成式人工智能）系統(tǒng)的準確性，以及GenAI系統(tǒng)對查詢提供有害回復的可能性。人們也越來越需要對人工智能的使用進行道德和法律監(jiān)督。
Patronus AI SimpleSafetyTest的結果是基于對SEC(美國證券交易委員會)文件中一些最流行的開源LLM的測試。該測試包括100個測試提示，旨在測試高優(yōu)先級傷害領域的脆弱性，如虐待兒童、身體傷害和自殺。LLM們在測試中只有79%的答案是正確的。一些模型產生了超過20%的不安全響應。
令人擔憂的低分數(shù)可能是來自潛在訓練數(shù)據分布的問題。LLM也有一種“幻覺”的傾向，這意味著他們產生的文本與事實不符，無意中過于放縱，或者毫無意義。如果LLM在不完整或矛盾的數(shù)據上進行訓練，系統(tǒng)可能會在關聯(lián)中犯錯誤，從而導致錯誤的輸出。
Patronus人工智能測試表明，LLM會產生幻覺的數(shù)字和事實，沒有在美國證券交易委員會的文件。研究還表明，增加“護欄”，比如強調安全的提示，可以減少10%的不安全反應，但風險仍然存在。
成立于2023年的Patronus AI一直把測試重點放在監(jiān)管嚴格的行業(yè)，在這些行業(yè)，錯誤的答案可能會造成嚴重后果。這家初創(chuàng)公司的使命是成為評估人工智能模型安全風險的值得信賴的第三方。一些早期采用者甚至將Patronus人工智能描述為“人工智能中的穆迪（Moody）”。
今年早些時候，Patronus AI的創(chuàng)始人Rebecca Qian和Anand Kannappan接受采訪時分享了他們對Patronus AI的愿景，希望成為“第一個幫助企業(yè)自信地使用語言模型的自動化驗證和安全平臺”，并幫助“企業(yè)能夠大規(guī)模地發(fā)現(xiàn)語言模型錯誤”。
組織希望將GenAI納入其運營中，SimpleSafetyTest的最新結果突出了人工智能模型面臨的一些挑戰(zhàn)，。GenAI最有前途的用例之一是它快速提取重要數(shù)字并對財務敘述進行分析的潛力。然而，如果對該模型的準確性存在擔憂，可能會對該模型在高度監(jiān)管行業(yè)的應用產生嚴重質疑。
麥肯錫最近的一份報告顯示，銀行業(yè)從GenAI技術中受益的潛力最大。它每年可以為該行業(yè)增加相當于2.6萬億至4.4萬億美元的價值。
在大多數(shù)行業(yè)中，SimpleSafetyTest中錯誤回答的百分比是不可接受的。Patronus AI創(chuàng)始人認為，隨著不斷改進，這些模型可以為金融行業(yè)(包括分析師和投資者)提供寶貴的支持。雖然GenAI的巨大潛力是不可否認的，但要真正實現(xiàn)這一潛力，在部署之前需要進行嚴格的測試。
本文題目：PatronusAI發(fā)現(xiàn)LLM存在令人擔憂的安全漏洞
文章鏈接：http://www.dlmjj.cn/article/ccogiec.html
