AIエージェントを使っていると、最後の回答や完成物だけでは見えないものが増えてきます。
どのコマンドで失敗したのか。
同じ失敗を何度も繰り返していないか。
危険な操作をしようとしていないか。
検証せずに「できました」と言っていないか。
次に同じ失敗を避けるには、どんなルールを追加すればよいのか。
こうした点を確認するために、agent-postmortem-kit という小さなツールを作っています。
現時点では、完成版ではありません。
公開OSSとして大きく出す段階でもありません。
位置づけとしては、private な v0.1 technical preview です。
何をするツールか
agent-postmortem-kit は、AI coding agent の作業ログを読み、事故調査レポートのような形に整理する local-first のツールです。
今の最小ループは以下です。
sample agent log
-> postmortem findings
-> HTML / JSON report
-> skill-candidate draft
つまり、ログをただ眺めるのではなく、失敗や危険信号を拾い、人間が次に何を直すべきかを見やすくすることを目指しています。
現時点でできること
v0.1 technical preview では、synthetic なサンプルログを使って、次のような検出を試せます。
- repeated failure: 同じような失敗の繰り返し
- dangerous command: 危険なコマンドの兆候
- secret exposure risk: トークンらしき文字列の露出リスク
- evidence gap: 検証不足や推測ベースの記述
- unfinished work: TODOや未完了作業
- human approval point: 人間の承認が必要そうな操作
出力は static HTML と JSON です。
HTMLレポートでは、失敗、リスク、根拠、次のアクション、Skill候補を一覧できます。
さらに、–skill-out オプションで、検出結果から skill-candidate のMarkdownも生成できます。
これは、同じ失敗を次回避けるためのルール候補を整理するためのものです。
例:
python -m agent_postmortem_kit analyze examples/sample-agent-session.jsonl –out reports/sample.html –json reports/sample.json –skill-out reports/skill-candidates.md
AgentTraceとの違い
近い領域には AgentTrace のようなツールがあります。
AgentTrace は、AIエージェントの履歴、トークン、コスト、時間、ツール失敗、health などを見る方向に強いツールです。
agent-postmortem-kit は、そこを置き換えるものではありません。
むしろ、AgentTraceのようなログやexportも将来的には分析対象にしたいです。
こちらが見たいのは、単なる履歴ではなく、
「どこで失敗したか」
「何が危なかったか」
「次に同じ失敗を避けるには何をルール化するか」
という postmortem 側です。
まだできないこと
重要なので明記します。
これは production-ready ではありません。
まだ実ログを安全に自動解析できる段階でもありません。
現時点では、以下は未完成です。
- OpenClaw / Hermes / Codex / Claude Code / AgentTrace 専用アダプタ
- 完全なsecret redaction
- 実ログの安全な自動処理
- LLMやOracleによる深い分析
- policy packによる本格的な運用ルール化
実ログを公開リポジトリに入れるべきではありません。
生成レポートも、人間が確認してから共有する必要があります。
なぜ作っているか
AIエージェント時代は、プロンプトだけでなく、エージェントが実際に何をしたかを見る力が重要になると思っています。
そして、ただ見るだけでなく、失敗から次回の運用ルールに変換することが重要になります。
agent-postmortem-kit は、そのための小さな実験です。
今後の予定
次にやるなら、以下の3つです。
- AgentTrace JSON export adapter
- OpenClaw adapter
- approval gate / dangerous command / verification requirement のpolicy pack
まだPublic化は急ぎません。
まずはX記事やNotebookLM動画で反応を見て、価値が伝わるかを確認していきます。
まとめ
agent-postmortem-kit は、AIエージェントの作業ログを事故調査レポートに変換するための v0.1 technical preview です。
完成版ではありません。
でも、AIエージェントを本気で使うなら、こういう postmortem の視点は必要になるはずです。
ログを見る。
失敗を拾う。
根拠を残す。
次回ルールに変換する。
この流れを、小さく試していきます。
superdoccimo/agent-postmortem-kit
