Autonomy — 自律型 AI 代理人系統 | Bill Liu

3 min read Original article ↗

AgentLoop · ConversationLoop Python 3.13 · 自律執行中

Beam Search 候選排序受管行動閘道程序技能學習為核心,
打造真正能自主感知、規劃、執行並持續進化的 AI 代理人系統。

探索核心模組 查看原始碼

0 內建 Procedure Skills

0 + 內建工具

0 支援 AI Provider

0 Beam Width

快速開始

git clone https://github.com/willweimike/autonomy.git python -m pip install -e ".[dev]" autonomy model setup autonomy tui

文件 ↗

AgentLoop 是 Autonomy 的核心驅動器——一個「自導向任務迴圈」,不需要人工介入即可從目標出發,自主選擇工具、執行行動並從結果中學習。

每個 Turn 的執行流程:①從技能庫選取相關 ProcedureSkill,②由 LLM 提案 + RecipeEngine 產出候選動作路徑,③以 5 維評分排序(Beam Width=3),④透過 ActionGateway 受管執行,⑤評估結果並觸發學習。

終止條件明確:ACHIEVED(目標完成)、BLOCKED(無法繼續)、NO_CANDIDATESAPPROVAL_DENIEDMAX_STEPS_REACHED、或 FAILED——系統永遠不會陷入無限循環。

AgentLoop ActionGateway CandidateSelector LearningLoop CuratorDaemon

📚

disclose_procedure_skills() 選取相關技能

💡

generate_candidates() LLM 提案 + Recipe Engine

📊

rank_candidates() 5 維評分 · Beam Width=3

ActionGateway.execute_next() ApprovalPolicy 授權 · 受管執行

🧠

evaluate_outcome() + learn() 結果評估 · Recipe 學習

自導向代理人迴圈

AgentLoop.run(goal, max_steps=12) 啟動後完全自主執行,每步驟透過 run_turn() 推進。支援互動模式(interactive=True)與批次模式,所有事件均以 run_id 記錄於 AutonomyStore

受管行動閘道

所有工具呼叫必須通過 ActionGatewayApprovalPolicy 授權。每個動作帶有 RiskLevel(LOW / MEDIUM / HIGH)、expected_effectverification_plan,確保執行可控、可審計。

5 維 Beam Search 評分

CandidateSelector 以 evidence_strength(+0.30)、purpose(+0.10)、risk(−0.35)、side_effects(−0.20)、penalty(−1.0)五個維度計算總分,選出前 beam_width=3 名候選路徑送往執行。

混合結果評估

DeterministicOutcomeEvaluator 優先判斷執行失敗(直接 BLOCKED),成功但結果不確定時再交由 ModelAssistedOutcomeEvaluator 呼叫 LLM 語義判斷——最小化昂貴的模型呼叫次數。

程序技能庫(15 內建)

ProcedureSkillLibrary 內建 15 個 bundled skills,涵蓋 api-debugging、browser-navigation、code-editing、codebase-documentation、plan、procedure-skill-authoring、process-management、requesting-code-review、systematic-debugging、technical-spike、TDD、website-inspection、writing-plans、database-retrievalemail-himalaya,每步動態選取最相關技能載入。

後執行學習迴路

每次 Run 結束後,LearningLoop.review_run() 自動觸發:若結果為 ACHIEVED 且有 ≥2 個成功步驟,自動起草新 ProcedureSkillDraft(信心度 0.85),生成 LearningProposal 等待審核。

Action Recipe 引擎

RecipeEngine 監控每個成功動作的 SHA-256 指紋——當同一動作成功次數 ≥ candidate_threshold=2,自動升格為候選 Recipe,下次直接作為行動選項(source=action_skill)提出,無需 LLM 重新推理。

技能策展守護程序

每次 Run 結束後,CuratorDaemon 在後台執行緒(daemon=True)非同步啟動 SkillCurator.apply_auto_merges(),自動偵測並合併重複(信心 0.95)或子集(信心 0.90)技能,防止技能庫膨脹。

可擴展工具集目錄

TOOLSET_CATALOG 涵蓋 4 個預設啟用工具集:file、terminal、search、skills,加上 opt-in 的 project(git / JSON / YAML / 測試探索)與 browser(Playwright headless Chromium,11 工具)。規劃中:memory、delegate、cronjob、computer_use。

完整事件溯源稽核

AutonomyStore 以 Event Sourcing 模式記錄整個執行生命週期:run_started → skills_selected → candidates_ranked → action_selected → approval_decision → observation → outcome_evaluated → recipe_learned → learning_review → run_finished,完整可重播。

TUI 終端互動介面

autonomy tui 啟動豐富終端介面,提供 session 總覽面板、回合記錄、Action trail、compact/full 切換模式與 / 指令面板。自然語言直接流入 AgentLoop,UI 永遠不直接執行工具。

多 Provider 支援

支援 ollama(本地)與 8 個 OpenAI-compatible providers:openai-api、nvidia、openrouter、deepseek、xai、zai、kimi-coding、alibaba。提供 API 金鑰管理與 provider 設定,autonomy doctor 可檢查端點走通性。

MCP 外部工具整合

mcp 工具集透過 mcp_servers.yaml 匯入外部 Model Context Protocol 工具。每個工具以 mcp_<server>_<tool> 格式經由 ToolRegistryActionGateway 受管執行,風險等級 MEDIUM。

記憶體 & 資料庫工具

memory 工具集(預設啟用)提供 memory.remember/recall/list/forget 四支工具進行持久化工作區記憶。database 工具集以 SQLGlot 驗證唯讀 SQL,支援 SQLite 執行與 PostgreSQL schema 驗證,並可呼叫 LLM 將自然語言轉為 SQL。

多端點互動介面

不再侷限於命令列,內建 Chrome Extension、Discord 與 Telegram DM 機器人轉接器,讓 Agent 在各平台受管執行。

開放技能生態系

支援透過 autonomy skills install-* 從 Clawhub 或 Hermes 平台安裝社群共享的 Procedure Skills。

score =

evidence_strength × +0.30 purpose × +0.10 risk × −0.35 side_effects × −0.20 penalty × −1.0

Entry · Interactive TUI / CLI run

SessionShell → ConversationLoop autonomy tui · 互動式對話

AgentLoop.run(goal) autonomy run · max_steps · UUID run_id

Turn Loop · run_turn()

ProcedureSkillLibrary index() · load_selected()

RecipeEngine candidates_for() · learn()

CandidateSelector beam_width=3 · 5-dim score

Execution · ActionGateway

ApprovalPolicy authorize(action, interactive)

ActionGateway execute_next() · risk assessment

ToolRegistry execute(action) → Observation

Post-Run · finish_run()

OutcomeEvaluator Deterministic + Model-assisted

LearningLoop review_run() · draft skill

CuratorDaemon async thread · auto-merge

Persistence · AutonomyStore

📁 runs

📡 events

⚗️ recipes

📚 skills

💡 proposals

🗂️ curator_log

TOOLSET_CATALOG (40+ Tools) — 工具集 & AI Providers

fileread / write / patch / diff / outline / symbol_search / syntax_check…

terminalshell.execute / process.start / poll / log / wait / stop

projectgit.status/diff/log · json.parse · yaml.parse · python.test_discover (opt-in)

browserPlaywright Chromium · navigate / snapshot / click / screenshot… (opt-in)

memoryPersistent Workspace Memory & Context Injection

delegate / cronjob / computer_useplanned

支援 AI Provider

Ollama本地部署 · http://127.0.0.1:11434/v1

OpenAI APIopenai-compatible · OPENAI_API_KEY

NVIDIAintegrate.api.nvidia.com · kimi-k2.6

OpenRouterOPENROUTER_API_KEY

xAI · Kimi · Alibaba · ZAIXAI_API_KEY · KIMI_API_KEY · DASHSCOPE_API_KEY…

api-debugging

browser-navigation

code-editing

codebase-documentation

plan

process-management

requesting-code-review

systematic-debugging

technical-spike

test-driven-development

website-inspection

writing-plans

database-retrieval

email-himalaya

每次執行 Turn 時,model.select_procedure_skills() 依可用工具名稱動態篩選並載入最相關技能;執行成功且達到門檻後,LearningLoop 將自動起草新技能並生成 LearningProposal(CANDIDATE 狀態)。

自動憑證遮蔽

Shell 輸出與 Observation 在寫入日誌前,自動 Redact API Key、Bearer Token、私鑰區塊等機密資訊

三段式風險閘道

RiskLevel.LOW(讀取)自動放行;MEDIUM(寫入/瀏覽器)需授權;非互動模式下未知 Shell 命令直接拒絕

Bill Liu

Bill Liu

Autonomy 框架設計者 & AI Agent 系統工程師

設計並實作了 Autonomy 自律型 AI 代理人框架,核心貢獻包括:Beam Search 候選評分系統、受管行動閘道(ActionGateway)、後執行學習迴路(LearningLoop)、以及後台技能策展守護程序(CuratorDaemon)。

致力於讓 AI 代理人在真實工程環境中可靠運行——從程式碼編輯、瀏覽器自動化到系統除錯,透過可組合的技能庫與事件溯源架構實現完整可審計性。

LinkedIn GitHub

準備好打造你的自律型 AI 代理人了嗎?

Fork Autonomy,添加你的工具集、訓練專屬技能庫,讓代理人在你的領域自主作業。

前往 GitHub 聯絡作者