評価指標の例：ツールが呼び出されたかどうかを確認
中級
これはEngineering, AI分野の自動化ワークフローで、15個のノードを含みます。主にSet, Evaluation, Agent, HttpRequestTool, EvaluationTriggerなどのノードを使用、AI技術を活用したスマート自動化を実現。 評価指標の例：ツールが呼び出しされているかチェック
前提条件
- •ターゲットAPIの認証情報が必要な場合あり
- •OpenAI API Key
使用ノード (15)
ワークフロープレビュー
ノード接続関係を可視化、ズームとパンをサポート
ワークフローをエクスポート
以下のJSON設定をn8nにインポートして、このワークフローを使用できます
{
"meta": {
"instanceId": "bf40384a063e00f3b983f4f9bada22b57a8231a04c0fb48d363e26d7b0f2b7e7",
"templateCredsSetupCompleted": true
},
"nodes": [
{
"id": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"name": "AIエージェント",
"type": "@n8n/n8n-nodes-langchain.agent",
"position": [
-960,
-120
],
"parameters": {
"options": {
"returnIntermediateSteps": true
}
},
"typeVersion": 1.9
},
{
"id": "73055399-e667-45cb-8a32-accb83dd74f8",
"name": "OpenAI Chat Model",
"type": "@n8n/n8n-nodes-langchain.lmChatOpenAi",
"position": [
-1000,
140
],
"parameters": {
"model": {
"__rl": true,
"mode": "list",
"value": "gpt-4o-mini"
},
"options": {}
},
"credentials": {
"openAiApi": {
"id": "Ag9qPAsY7lpIGkvC",
"name": "JPs n8n openAI key"
}
},
"typeVersion": 1.2
},
{
"id": "54ffa0e9-dbf7-4406-9952-485ca46d1172",
"name": "電卓",
"type": "@n8n/n8n-nodes-langchain.toolCalculator",
"position": [
-840,
140
],
"parameters": {},
"typeVersion": 1
},
{
"id": "09dcce53-ce33-4263-b903-655db12d13dd",
"name": "ツール呼び出し確認",
"type": "n8n-nodes-base.set",
"position": [
-340,
-240
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "58c48e6f-4a12-4bf6-94ae-705244273a84",
"name": "tool_called",
"type": "boolean",
"value": "={{ $json.intermediateSteps.filter(x => x.action.tool == $('When fetching a dataset row').item.json.tool_to_call).length > 0 }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "62fb0980-6c8e-4ab6-b914-59339b4b385f",
"name": "ウェブページ取得",
"type": "n8n-nodes-base.httpRequestTool",
"position": [
-700,
140
],
"parameters": {
"url": "={{ /*n8n-auto-generated-fromAI-override*/ $fromAI('URL', ``, 'string') }}",
"options": {}
},
"typeVersion": 4.2
},
{
"id": "ec4c82df-8804-49f2-a8ba-348f29b97cd6",
"name": "付箋",
"type": "n8n-nodes-base.stickyNote",
"position": [
-980,
-200
],
"parameters": {
"color": 7,
"width": 300,
"height": 220,
"content": "Make sure to enable 'Return intermediate steps' in the agent, to get the list of executed tools"
},
"typeVersion": 1
},
{
"id": "f6fa8aef-4362-4691-85fc-2612eb1dee63",
"name": "チャットメッセージ受信時",
"type": "@n8n/n8n-nodes-langchain.chatTrigger",
"position": [
-1440,
-240
],
"webhookId": "c4dc43bf-4625-4821-bd9d-ca22a2f34170",
"parameters": {
"options": {}
},
"typeVersion": 1.1
},
{
"id": "d1274230-aa4d-4456-93ea-8123e263df7d",
"name": "チャット形式の一致確認",
"type": "n8n-nodes-base.set",
"position": [
-1220,
40
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "e6e064bb-ac06-40ca-97bf-42f682b30065",
"name": "chatInput",
"type": "string",
"value": "={{ $json.question }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "474a2321-7a4c-41be-a8fa-718f5a093171",
"name": "付箋1",
"type": "n8n-nodes-base.stickyNote",
"position": [
-380,
-320
],
"parameters": {
"color": 7,
"width": 180,
"height": 240,
"content": "Check whether the list of executed tools contains the target tool"
},
"typeVersion": 1
},
{
"id": "3351706d-e7e9-4701-9224-b4c873167c0d",
"name": "チャット応答を返す",
"type": "n8n-nodes-base.noOp",
"position": [
-340,
40
],
"parameters": {},
"typeVersion": 1
},
{
"id": "e7beb2d8-f864-4aea-84f2-0d82987f52f8",
"name": "付箋3",
"type": "n8n-nodes-base.stickyNote",
"position": [
-1740,
-280
],
"parameters": {
"width": 200,
"height": 500,
"content": "## How it works\nThis template shows how to calculate a workflow evaluation metric: **whether a specific tool was called** by an agent.\n\nYou can find more information on workflow evaluation [here](https://docs.n8n.io/advanced-ai/evaluations/overview), and other metric examples [here](https://docs.n8n.io/advanced-ai/evaluations/metric-based-evaluations/#2-calculate-metrics)."
},
"typeVersion": 1
},
{
"id": "a990cca2-7ea5-4d43-9cc2-b6257299bcc1",
"name": "付箋4",
"type": "n8n-nodes-base.stickyNote",
"position": [
-1500,
-60
],
"parameters": {
"color": 7,
"width": 220,
"height": 260,
"content": "Read in [this test dataset](https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976) of questions and the tools that should be called when answering them"
},
"typeVersion": 1
},
{
"id": "f0f7e18c-029f-4e0a-ac2f-168e10b5f51f",
"name": "データセット行取得時",
"type": "n8n-nodes-base.evaluationTrigger",
"position": [
-1440,
40
],
"parameters": {
"sheetName": {
"__rl": true,
"mode": "url",
"value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
},
"documentId": {
"__rl": true,
"mode": "url",
"value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
}
},
"credentials": {
"googleSheetsOAuth2Api": {
"id": "bpr2LoSELMlxpwnN",
"name": "Google Sheets account David"
}
},
"typeVersion": 4.6
},
{
"id": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
"name": "評価",
"type": "n8n-nodes-base.evaluation",
"position": [
-120,
-240
],
"parameters": {
"metrics": {
"assignments": [
{
"id": "66ed21d5-a10a-47a3-993d-459aa4a4fbba",
"name": "tool_called",
"type": "number",
"value": "={{ $json.tool_called.toNumber() }}"
}
]
},
"operation": "setMetrics"
},
"typeVersion": 4.6
},
{
"id": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
"name": "評価中？",
"type": "n8n-nodes-base.evaluation",
"position": [
-580,
-120
],
"parameters": {
"operation": "checkIfEvaluating"
},
"typeVersion": 4.6
}
],
"pinData": {},
"connections": {
"ffd0cca6-4a60-4058-b3fb-c92d949ea864": {
"main": [
[
{
"node": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
"type": "main",
"index": 0
}
]
]
},
"54ffa0e9-dbf7-4406-9952-485ca46d1172": {
"ai_tool": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_tool",
"index": 0
}
]
]
},
"5b14c47b-2dae-4ca7-882c-d0ec722eadab": {
"main": [
[
{
"node": "09dcce53-ce33-4263-b903-655db12d13dd",
"type": "main",
"index": 0
}
],
[
{
"node": "3351706d-e7e9-4701-9224-b4c873167c0d",
"type": "main",
"index": 0
}
]
]
},
"62fb0980-6c8e-4ab6-b914-59339b4b385f": {
"ai_tool": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_tool",
"index": 0
}
]
]
},
"d1274230-aa4d-4456-93ea-8123e263df7d": {
"main": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "main",
"index": 0
}
]
]
},
"73055399-e667-45cb-8a32-accb83dd74f8": {
"ai_languageModel": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_languageModel",
"index": 0
}
]
]
},
"09dcce53-ce33-4263-b903-655db12d13dd": {
"main": [
[
{
"node": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
"type": "main",
"index": 0
}
]
]
},
"f6fa8aef-4362-4691-85fc-2612eb1dee63": {
"main": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "main",
"index": 0
}
]
]
},
"f0f7e18c-029f-4e0a-ac2f-168e10b5f51f": {
"main": [
[
{
"node": "d1274230-aa4d-4456-93ea-8123e263df7d",
"type": "main",
"index": 0
}
]
]
}
}
}よくある質問
このワークフローの使い方は？
上記のJSON設定コードをコピーし、n8nインスタンスで新しいワークフローを作成して「JSONからインポート」を選択、設定を貼り付けて認証情報を必要に応じて変更してください。
このワークフローはどんな場面に適していますか？
中級 - エンジニアリング, 人工知能
有料ですか？
このワークフローは完全無料です。ただし、ワークフローで使用するサードパーティサービス（OpenAI APIなど）は別途料金が発生する場合があります。
関連ワークフロー
評価指標例：正確性（AIによる判断）
評価指標サンプル：正確性（AIによる判断）
Set
Evaluation
Agent
+
Set
Evaluation
Agent
13 ノードDavid Roberts
エンジニアリング
評価指標例：RAGドキュメント関連性
評価指標サンプル：RAGドキュメント関連性
Set
Evaluation
Google Sheets
+
Set
Evaluation
Google Sheets
26 ノードDavid Roberts
エンジニアリング
評価指標の例：分類
評価指標の例：分類
Set
Webhook
Evaluation
+
Set
Webhook
Evaluation
13 ノードDavid Roberts
エンジニアリング
AIエージェントの応答正確性をOpenAIとRAGASメソッドで評価
OpenAIとRAGASメソッドを使用してAIエージェントの応答の正確性を評価する
Set
Code
Merge
+
Set
Code
Merge
27 ノードJimleuk
エンジニアリング
AIエージェントの応答関連性をOpenAIとコサイン類似度で評価
OpenAIとコサイン類似度を使用してAIエージェントの応答の関連性を評価する
Set
Code
Evaluation
+
Set
Code
Evaluation
20 ノードJimleuk
エンジニアリング
OpenAIを使ったRAG応答の精度評価：ドキュメント・ベースライン指標
OpenAIによるRAG応答の精度評価：ドキュメントベースライン指標
Set
Evaluation
Http Request
+
Set
Evaluation
Http Request
25 ノードJimleuk
エンジニアリング
