AgentsEval

針對安全性、能力與可靠性的AI代理評估

AgentsEval以已擷取的追蹤紀錄、確定性情境、重播支援與ship（放行）／watch（觀察）／fail（不放行）判定來評估AI代理的行為。它是針對特定情境與原則的可靠性證據，而不是廣泛的資安認證或通用基準測試。

什麼是AgentsEval？

AgentsEval是一套AI代理評估框架，依據系統呼叫、檔案、網路、意圖、工作區與最終答案的證據，為已擷取的執行評分。它將多次執行彙總為限定範圍的判定，讓團隊能根據觀察到的行為，決定放行、觀察或不放行某個代理版本。

評估流程

已擷取的行為轉化為限定範圍的判定。

情境會在擷取隔離環境中執行，並可透過strace或Tetragon風格的JSONL追蹤紀錄進行觀測。

行為安全規則會檢查超出範圍的檔案、破壞性指令、未獲允許的對外連線、權限提升、複合式注入攻擊，以及對測試檔案的編輯。

能力規格會檢查預期的指令、輸出、HTTP活動、最終答案與對工作區的影響。

確定性的錄製／重播Proxy支援迴歸測試，未命中時不會悄然退回使用線上供應商。

可以根據已擷取的行為來升級、觀察或拒絕代理版本，而不是只靠審查提示詞。

這些JSON檔案是從本機情境庫的評估輸出複製而來的小型佐證。它們展示的是判定分級的運作方式，而不是通用的代理認證。

這是代理基準測試嗎？

它可以執行可重複的情境並彙總結果。它是一套具體的情境庫與已擷取執行的框架，而不是通用基準測試。

它會認證安全性嗎？

不會。它針對已設定的原則、追蹤紀錄與情境，產出有原始碼佐證的發現與判定。

為您的代理版本設計情境庫、擷取邊界、重播需求與升級關卡。

簡單說明您的需求，我們的團隊將以電子郵件回覆，安排下一步。