基於本地優先與語意控制的瀏覽器操作運行時。日常已知的工作流自動化執行無須呼叫 LLM 也不依賴圖像畫面,提供毫秒級響應、客觀驗證證據與嚴格的安全防護。
LHIC 的核心設計理念是「確定性與安全性」,將瀏覽器操作轉變為客觀可驗證的自動化程序。
對於置信度高(≥ 0.8)且為低風險的已知工作流,LHIC 直接呼叫本地預測與語意技能進行執行,徹底消除大模型的延遲與 Token 費用。
優先使用 DOM、ARIA 輔助角色、標籤 (label)、佔位符 (placeholder) 與包裹關係進行精準定位,大幅降低網頁排版異動帶來的腳本崩潰機率。
每項操作的成功不靠模型猜測,而是由驗證器模組 (Verifier) 直接收集 DOM、URL、網路請求與檔案下載等客觀數據,作為執行通過的硬性指標。
執行成功後,選擇器與故障修復歷史將持久化至本地 SQLite。下次執行同類網頁時,系統能主動進行選擇器修補與策略優化。
自動在日誌中遮蔽敏感 PII (密碼、Cookie、Email、Token、手機)。高風險動作在生產環境中需經過由 Ed25519 數位簽章驗證的人類審批流。
提供標準 Model Context Protocol (MCP) 伺服器,對外曝露標準 API (Start, Observe, Act, Close),完美對接外部 AI 代理 (例如 Antigravity)。
LHIC 基於模組化 TypeScript 單一儲存庫 (Monorepo) 構建,透過雙路徑路由決策引擎實現安全高效的瀏覽器操作。
點擊下方資料夾節點可查看該套件/應用程式的功能說明與職責。
從環境建置到生產部署,逐步引導您掌握 LHIC 的強大安全自動化能力。
專案核心依賴 Node.js 24 (由於使用原生 node:sqlite 作為技能記憶資料庫)。
# 複製專案後安裝依賴並進行 TypeScript 編譯
npm install
npm run build
安裝運行時所需的 Playwright Chromium 瀏覽器驅動。
npm run pw:install
確保本地核心測試及格式化全部通過。
# 執行格式化、語法檢查與單元測試
npm run lint
npm run typecheck
npm test
透過編譯好的 CLI,傳入語意動作 JSON 檔案執行。
# 執行特定 semantic action 任務
npx lhic run action action.json
檢視追蹤日誌並驗證敏感資訊 (密碼、Cookie) 是否已被完全遮蔽。
# 檢查指定追蹤日誌的健全度與風險遮蔽狀況
npx lhic trace inspect path/to/trace.jsonl
執行本地語意抗變性 (resilience) 的消融模擬評估。
# 執行 100 次以指定 Seed (20260715) 生成的表單填寫消融測試
npx lhic bench simulate resilience 100 20260715
利用 Antigravity (agy) 的外掛機制註冊本地 MCP 伺服器組件。
# 驗證外掛設定是否符合 Antigravity 規格
agy plugin validate .agents/plugins/lhic-computer-use
不要使用 npm run 啟動以防 Lifecycle 雜訊污染 JSON-RPC 通訊協定。
# 啟動並接管 Chromium 主程式
node apps/mcp-server/dist/index.js
在 Antigravity 聊天介面中,輸入 /mcp 檢視並確認 lhic-computer-use 提供的 4 項工具已連線成功:
lhic_browser_start: 建立瀏覽器視窗lhic_browser_observe: 回傳排除了敏感輸入欄位內容的 DOM/Accessibility 樹形狀態lhic_browser_act: 執行一項經過安全策略校驗的 SemanticActionlhic_browser_close: 釋放並關閉 Chromium 實例切換至生產模式,強制要求 HTTPS 域名白名單、非私有網路目標、以及無明文 Credential 的網址。
# 驗證生產環境配置與預檢
LHIC_ENV=production \
LHIC_ALLOWED_ORIGINS=https://app.example.com \
npm run preflight
以低權限 (非 root 用戶 lhic) 打包 Chromium 與 CLI,並禁止掛載敏感的個人設定檔目錄。
# 建立容器並以生產配置預檢
docker build --tag lhic:local .
docker run --rm \
-e LHIC_ALLOWED_ORIGINS=https://app.example.com \
-v lhic-traces:/var/lib/lhic/traces \
lhic:local preflight
在生產模式下,任何高風險動作必須帶有第三方簽章授權,經 Ed25519 金鑰比對無誤後才允許在 Fast Path 執行。
# 傳入動作檔與人類簽章檔案進行嚴格驗簽執行
LHIC_ENV=production \
LHIC_ALLOWED_ORIGINS=https://app.example.com \
LHIC_APPROVAL_PUBLIC_KEY="$(cat approval-authority-public.pem)" \
lhic run action action.json approval.json
LHIC 通過嚴密的本地回歸指標套件,確保程式碼修改不影響系統的高可靠性與安全性。
由 fill_form, download_file, login, search, test_web_flow 各 10 組本地網頁所組成的回歸煙霧測試 (Smoke Suite)。下面為系統設定的硬性驗收門檻:
模擬在 5 種不同 UI 排版與命名變體下,表單填寫動作的成功率對比。此實驗是客觀反映語意定位器抗變性價值的核心指標。
LHIC 放棄了高成本、低安全性的「截圖-VLM-滑鼠座標」循環,改用精準的 DOM API 與安全邊界。
| 架構屬性 | 傳統 VLM/像素定位方案 (如 Anthropic Computer Use) | LHIC (Local Human Intent Controller) |
|---|---|---|
| 基本操作迴圈 | VLM 模型解讀截圖 → 計算像素座標 → 模擬滑鼠點擊 (極慢,成本高) | 直接調用 CDP / Playwright DOM 與 ARIA 語意 API。優先走無模型 Fast Path |
| 定位精準度與抗變性 | 依賴視覺判讀,受解析度、縮放、滾動影響,易點錯座標造成不可預測後果 | 標籤 (label)、角色 (role) 與本地 SQLite 歷史反饋修補定位。排版微調完全不受影響 |
| 安全性與 PII 防護 | 日誌與 Token 中可能附帶敏感個資與截圖明文,無有效過濾機制 | 原生 Regex 敏感資訊脫敏、HTTPS 白名單、本地 JSONL 不保留敏感輸入 |
| 高風險防堵機制 | 大模型一旦「幻覺」容易自行點擊危險按鈕 (如確認支付、刪除帳號) | 高風險與自訂操作強制阻斷,必須取得由第三方簽發的 Ed25519 簽章憑證才可放行 |
| 執行成功驗證 | 大模型自己預測「我好像完成了」 (無客觀依據,False-Positive 高) | Verifier 硬性取得 DOM 終端狀態、網路監聽封包或下載成功資訊 |
| 運算資源與成本 | 每一次滑動與動作均需多次呼叫 VLM API,每步驟數美分,延遲數秒 | 本地預測 + Fast Path 毫秒級極速回應,0 大模型 API Token 開銷 |
LHIC 並非泛用的網頁「大模型探索代理」,而是鎖定在企業級高頻率、需要高可靠度與隱私保護的已知操作任務。 當前許多產品追求「完全自主探索」,往往導致昂貴的賬單與隨機性的任務失敗。LHIC 的雙軌路由策略 (Fast/Slow Path) 將企業自動化的邊際成本降至接近零。
我們絕不宣稱無客觀證據的 SOTA 指標。為保障指標真實性,專案配置了 lhic bench validate-evidence 驗證指令。
唯有在 BrowserGym/AgentLab 整合套件下跑完 WorkArena 完整資料集、提交不加任何修改的映像檔 Hash,並取得獨立第三方的再現,才被允許發布市場基準領先宣稱。