Mkhlab arabic-toolproof

ToolProof integration — verify agent tool calls, generate trust reports, analyze cost patterns

install

source · Clone the upstream repo

git clone https://github.com/Moshe-ship/mkhlab

Claude Code · Install into ~/.claude/skills/

T=$(mktemp -d) && git clone --depth=1 https://github.com/Moshe-ship/mkhlab "$T" && mkdir -p ~/.claude/skills && cp -r "$T/hermes-skills/arabic-toolproof" ~/.claude/skills/moshe-ship-mkhlab-arabic-toolproof && rm -rf "$T"

manifest: hermes-skills/arabic-toolproof/SKILL.md

source content

التحقق من أدوات الوكيل — ToolProof

التحقق من استدعاءات الأدوات وكشف الهلوسة وتتبع التكاليف.

التثبيت

pip install toolproof

الاستخدام

تسجيل استدعاءات الأدوات

عند تشغيل وكيل، سجّل كل الاستدعاءات:

toolproof wrap -- python agent.py

التحقق من الادعاءات

بعد ما الوكيل يخلص، تحقق من ادعاءاته:

toolproof verify agent_output.json

النتائج الممكنة:

متحقق: الادعاء يطابق الإيصال
غير متحقق: ما في إيصال (هلوسة محتملة)
متلاعب: الإيصال موجود بس ما يطابق (هلوسة مؤكدة)

تحليل الأنماط

toolproof analyze

يلقى:

أي أدوات تتهلوس أكثر
تكاليف شاذة
كفاءة الكاش
توصيات للتحسين

تقرير الثقة

toolproof report --html --output trust-report.html

استيراد من هيرمز

toolproof import-hermes --profile mkhlab

ملاحظات تحسين

toolproof feedback --format hermes --output ~/.hermes/profiles/mkhlab/feedback.json

درجات الثقة

أ: 95% أو أعلى — الوكيل موثوق
ب: 85-94% — جيد مع بعض الثغرات
ج: 70-84% — ادعاءات كثيرة غير متحققة
د: 50-69% — غير موثوق
ر: أقل من 50% — الوكيل يكذب أكثر من ما يصدق