AI KeyChain

Appearance

v1.0.0 試験結果 ​

試験概要 ​

項目内容
対象アプリAI KeyChain
バージョンv1.0.0
試験日2026-03-24
試験実施者Claude Code (claude-opus-4-6)
GitHub Issue#28

試験環境 ​

項目内容
OSmacOS 26.2 (Build 25C56)
アーキテクチャarm64 (Apple Silicon)
Swift6.0.3 (swiftlang-6.0.3.1.10)
ビルドツールSwift Package Manager
コミット08c7f4e7 (main)
テスト対象Release ビルド + DMG配布物

総合結果 ​

区分テスト数合格不合格合格率
ユニットテスト46460100%
ビルド・配布テスト440100%
機能テスト12120100%
セキュリティテスト440100%
合計66660100%

判定: ALL PASS

全 66 件のテストに合格しました。

エビデンス ​

障害発生時のスクリーンショット ​

localhost:9999 にプロキシ設定された状態で Claude が ECONNREFUSED エラーとなった障害の記録。

※ スクリーンショットは個人情報保護のため削除済み

エラー内容:

API Error: Unable to connect to API (ECONNREFUSED)

原因: AIkeychain の SetupManager が .zshrc に ANTHROPIC_BASE_URL=http://localhost:9999 を自動書き込みしたが、プロキシサーバー（AIkeychain アプリ）が起動していなかったため、Claude の API 接続が全て失敗。

ユニットテスト実行結果 ​

✔ Test run with 46 tests passed after 0.625 seconds.
全テスト結果（クリックで展開）
◇ Test run started.
↳ Testing Library Version: 102 (arm64e-apple-macos13.0)
✔ Test "Loads all service types as keys" passed after 0.003 seconds.
✔ Test "Configured count updates after save" passed after 0.003 seconds.
✔ Test "All keys start as unconfigured" passed after 0.003 seconds.
✔ Test "Category count is 5" passed after 0.003 seconds.
✔ Test "Server initializes with default port" passed after 0.003 seconds.
✔ Test "OpenAI route found" passed after 0.003 seconds.
✔ Test "Anthropic route found" passed after 0.003 seconds.
✔ Test "xAI route found" passed after 0.003 seconds.
✔ Test "All services have system images" passed after 0.003 seconds.
✔ Test "All services have env var names" passed after 0.003 seconds.
✔ Test "Filter by category" passed after 0.003 seconds.
✔ Test "Unknown host returns nil" passed after 0.003 seconds.
✔ Test "Category count returns correct number" passed after 0.003 seconds.
✔ Test "All categories have unique colors" passed after 0.003 seconds.
✔ Test "All services have categories" passed after 0.003 seconds.
✔ Test "Token prefix format is correct" passed after 0.003 seconds.
✔ Test "Default port is 18121" passed after 0.001 seconds.
✔ Test "All services have display names" passed after 0.003 seconds.
✔ Test "Route header value is correctly formatted for Anthropic" passed after 0.003 seconds.
✔ Test "Config block contains BASE_URL for all supported services" passed after 0.001 seconds.
✔ Test "Retrieve non-existent key returns nil" passed after 0.003 seconds.
✔ Test "Save overwrites existing value" passed after 0.003 seconds.
✔ Test "Save and retrieve a key" passed after 0.003 seconds.
✔ Test "ProxyRoute covers all configured BASE_URLs" passed after 0.001 seconds.
✔ Test "Exists returns true for saved key" passed after 0.003 seconds.
✔ Test "Delete key makes it unconfigured" passed after 0.003 seconds.
✔ Test "New editor defaults to anthropic" passed after 0.003 seconds.
✔ Test "Prefix warning shows for wrong prefix" passed after 0.003 seconds.
✔ Test "Setup URLs are valid" passed after 0.003 seconds.
✔ Test "Can save with valid token" passed after 0.003 seconds.
✔ Test "Service change updates env var name" passed after 0.003 seconds.
✔ Test "Cannot save with empty token" passed after 0.003 seconds.
✔ Test "No prefix warning for correct prefix" passed after 0.003 seconds.
✔ Test "Save stores value in keychain" passed after 0.003 seconds.
✔ Test "Invalid request returns nil" passed after 0.003 seconds.
✔ Test "Parse extracts all headers" passed after 0.003 seconds.
✔ Test "Route header value is correctly formatted for OpenAI" passed after 0.003 seconds.
✔ Test "Delete removes key" passed after 0.003 seconds.
✔ Test "Editing key loads existing value" passed after 0.002 seconds.
✔ Test "Parse simple GET request" passed after 0.003 seconds.
✔ Test "Exists returns false for missing key" passed after 0.003 seconds.
✔ Test "Search filters by env var name" passed after 0.007 seconds.
✔ Test "Search filters by display name" passed after 0.007 seconds.
✔ Test "Starting twice does not crash" passed after 0.311 seconds.
✔ Test "Server can start and stop" passed after 0.607 seconds.
✔ Test run with 46 tests passed after 0.625 seconds.

Release ビルド結果 ​

Building for production...
Build complete! (8.36s)

DMG 作成・マウント検証 ​

$ hdiutil create -volname "AI KeyChain" ... -format UDZO evidence/AIKeyChain-v1.0.0.dmg
created: evidence/AIKeyChain-v1.0.0.dmg (355KB)

$ hdiutil attach evidence/AIKeyChain-v1.0.0.dmg
/dev/disk4s1  /Volumes/AI KeyChain

$ ls "/Volumes/AI KeyChain/"
AI KeyChain.app    Applications@

$ file "/Volumes/AI KeyChain/AI KeyChain.app/Contents/MacOS/AIkeychain"
Mach-O 64-bit executable arm64

9999 ハードコード除去検証 ​

$ grep -rn "9999" AIkeychain/ Tests/ --include="*.swift"
(0 matches - ALL CLEAR)

$ grep "9999" ~/.zshrc
(0 matches - ALL CLEAR)

セキュリティ検証 ​

# localhost 限定
$ grep "acceptLocalOnly" AIkeychain/Services/ProxyServer.swift
28: params.acceptLocalOnly = true // localhost のみ

# auth ヘッダ除去
$ grep "authorization\|x-api-key" AIkeychain/Services/ProxyServer.swift
126: if lower == "host" || lower == "authorization" || lower == "x-api-key" { continue }

試験詳細 ​

UT: ユニットテスト（自動テスト 46件） ​

UT-001: ProxyRoute テスト ​

Noテスト項目期待結果結果
UT-001-1Anthropic route の検出host=api.anthropic.com → headerName=x-api-keyOK
UT-001-2OpenAI route の検出host=api.openai.com → headerName=Authorization, prefix=BearerOK
UT-001-3xAI route の検出host=api.x.ai → ルートが見つかるOK
UT-001-4未知ホストは nil を返すhost=example.com → nilOK

UT-002: HTTPRequestParser テスト ​

Noテスト項目期待結果結果
UT-002-1GET リクエストのパースmethod=GET, path=/v1/models, host=api.anthropic.comOK
UT-002-2POST リクエストのパース (body付き)method=POST, body にモデル名を含むOK
UT-002-3ヘッダの全件抽出headers.count == 3OK
UT-002-4不正リクエストのハンドリングクラッシュせずに処理されるOK

UT-003: ProxyServer テスト ​

Noテスト項目期待結果結果
UT-003-1デフォルトポートport == 18121, isRunning == false, requestCount == 0OK
UT-003-2起動・停止start() → stop() でクラッシュせず、isRunning == falseOK
UT-003-3二重起動2回 start() してもクラッシュしないOK

UT-004: ヘッダインジェクション セキュリティテスト ​

Noテスト項目期待結果結果
UT-004-1Anthropic ヘッダ形式prefix なし ("sk-ant-test123")OK
UT-004-2OpenAI ヘッダ形式"Bearer " prefix 付きOK

UT-005: SetupManager テスト ​

Noテスト項目期待結果結果
UT-005-1全ルートに BASE_URL があるconfigBlock に全ホスト分の export 行OK
UT-005-2デフォルトポート整合性ProxyServer と SetupManager が一致 (18121)OK

UT-006: モデル・ViewModel テスト ​

Noテスト項目期待結果結果
UT-006-1KeyCategory は 5 カテゴリallCases.count == 5OK
UT-006-2各カテゴリは一意のカラー色の重複なしOK
UT-006-3ServiceType の envVarName全件に envVarName 設定ありOK
UT-006-4検索 (envVarName)フィルタリングが正しく動作OK
UT-006-5検索 (displayName)フィルタリングが正しく動作OK

UT-007: その他の自動テスト (26件) ​

Noテスト項目結果Noテスト項目結果
01Loads all service types as keysOK14Exists returns true for saved keyOK
02All keys start as unconfiguredOK15Exists returns false for missing keyOK
03Configured count updates after saveOK16Delete removes keyOK
04Delete key makes it unconfiguredOK17New editor defaults to anthropicOK
05Filter by categoryOK18Editing key loads existing valueOK
06Category count returns correct numberOK19Can save with valid tokenOK
07All services have system imagesOK20Cannot save with empty tokenOK
08All services have display namesOK21Prefix warning shows for wrong prefixOK
09All services have categoriesOK22No prefix warning for correct prefixOK
10Token prefix format is correctOK23Service change updates env var nameOK
11Save and retrieve a keyOK24Save stores value in keychainOK
12Retrieve non-existent key returns nilOK25Setup URLs are validOK
13Save overwrites existing valueOK26ProxyRoute covers all configured BASE_URLsOK

BT: ビルド・配布テスト (4件) ​

Noテスト項目期待結果結果備考
BT-001-1Debug ビルドエラーなしで成功OKswift build (3.78s)
BT-001-2Release ビルドエラーなしで成功OKswift build -c release (8.36s)
BT-001-3DMG 作成DMGファイル生成OK355KB, UDZO圧縮
BT-001-4DMG マウント確認.app + Applications リンクOKMach-O 64-bit arm64

FT: 機能テスト (12件) ​

FT-001: デフォルトポート変更 ​

Noテスト項目期待結果結果根拠
FT-001-1ProxyServer デフォルトポート18121OKvar port: UInt16 = AppState.defaultPort
FT-001-2SetupManager デフォルトポート18121OKport: UInt16 = AppState.defaultPort
FT-001-3.zshrc に 9999 なしgrep 0件OKgrep "9999" ~/.zshrc → 0 matches

FT-002: ポート番号永続化 ​

Noテスト項目期待結果結果根拠
FT-002-1初期値UserDefaults 未設定時 18121OKstored > 0 ? UInt16(clamping: stored) : Self.defaultPort
FT-002-2UserDefaults 保存changePort() で保存OKUserDefaults.standard.set(Int(newValue), ...)
FT-002-3init() で復元proxyServer.port が設定されるOKproxyServer.port = proxyPort in init()

FT-003: .zshrc 自動書き込み防止 ​

Noテスト項目期待結果結果根拠
FT-003-1起動時に自動書き込みしないconfigure() 呼び出しなしOKstartProxyIfNeeded() は ProxyServer.start() のみ
FT-003-2ユーザー操作時のみボタン経由のみOKSetupView / SetupShellStepView のボタンのみ

FT-004: ポート番号変更 UI ​

Noテスト項目期待結果結果根拠
FT-004-1MenuBarView"Change Port..." ありOKButton("Change Port...")
FT-004-2SetupViewポート入力 TextField ありOKTextField("Port", text: $portText)
FT-004-3OnboardingViewポート入力ありOKSetupShellStepView に Port TextField
FT-004-4バリデーション1023以下は拒否OKvalue >= 1024 ガード
FT-004-5ハードコードなし全 View 動的表示OKgrep -rn "9999" → 0件

ST: セキュリティテスト (4件) ​

Noテスト項目期待結果結果根拠
ST-001-1API キーのハードコードなし実キー値がないOKテスト用 prefix パターンのみ
ST-001-2.zshrc にキー値書き込みなしBASE_URL のみ出力OKgenerateConfigBlock() はURL文字列のみ
ST-001-3localhost 限定acceptLocalOnly = trueOKProxyServer.swift:28
ST-001-4auth ヘッダ除去Host/Authorization/x-api-key スキップOKProxyServer.swift:126

修正履歴 ​

日時内容対象ファイル
2026-03-23.zshrc からプロキシ設定ブロック削除（緊急対応）~/.zshrc
2026-03-24デフォルトポートを 9999 → 18121 に変更AppState.swift, ProxyServer.swift, SetupManager.swift
2026-03-24.zshrc 自動書き込みを廃止（ユーザー明示操作のみ）SetupManager.swift
2026-03-24ポート番号選択 UI 追加MenuBarView.swift, SetupView.swift, OnboardingView.swift
2026-03-24ポート番号 UserDefaults 永続化AppState.swift
2026-03-24HelpView の 9999 ハードコードを動的参照に修正HelpView.swift
2026-03-24テストのポート番号を AppState.defaultPort 参照に修正ProxyTests.swift, SetupManagerTests.swift

成果物 ​

ファイル説明
evidence/AIKeyChain-v1.0.0.dmg配布用DMGファイル (355KB)
evidence/test_specification.md試験仕様書（結果記入済み）
evidence/fix_proxy_removed.mdプロキシ設定修正記録
evidence/localhosteror.png個人情報保護のため削除済み

AI開発チームのための鍵管理ツール

Copyright 2025 aieo-product