Beispiel für Bewertungsmetriken: Überprüfung, ob ein Werkzeug aufgerufen wurde

Name: Beispiel für Bewertungsmetriken: Überprüfung, ob ein Werkzeug aufgerufen wurde
Rating: 4.5 (10 reviews)
Author: David Roberts

Fortgeschritten

Dies ist ein Engineering, AI-Bereich Automatisierungsworkflow mit 15 Nodes. Hauptsächlich werden Set, Evaluation, Agent, HttpRequestTool, EvaluationTrigger und andere Nodes verwendet, kombiniert mit KI-Technologie für intelligente Automatisierung. Beispiel für Bewertungsmetriken: Überprüfung der Werkzeuaufrufe

Voraussetzungen

•Möglicherweise sind Ziel-API-Anmeldedaten erforderlich
•OpenAI API Key

Verwendete Nodes (15)

Kategorie

Engineering

Künstliche Intelligenz

Workflow-Vorschau

Visualisierung der Node-Verbindungen, mit Zoom und Pan

KI-Agent

OpenAI Chat-Modell

Rechner

Prüfen, ob Tool aufgerufen wurde

Webseite abrufen

Bei Empfang einer Chat-Nachricht

Chat-Format abgleichen

Chat-Antwort zurückgeben

Beim Abrufen eines Datensatzzeile

Bewertung

Bewertung läuft?

React Flow

Workflow exportieren

Kopieren Sie die folgende JSON-Konfiguration und importieren Sie sie in n8n

{
  "meta": {
    "instanceId": "bf40384a063e00f3b983f4f9bada22b57a8231a04c0fb48d363e26d7b0f2b7e7",
    "templateCredsSetupCompleted": true
  },
  "nodes": [
    {
      "id": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
      "name": "KI-Agent",
      "type": "@n8n/n8n-nodes-langchain.agent",
      "position": [
        -960,
        -120
      ],
      "parameters": {
        "options": {
          "returnIntermediateSteps": true
        }
      },
      "typeVersion": 1.9
    },
    {
      "id": "73055399-e667-45cb-8a32-accb83dd74f8",
      "name": "OpenAI Chat-Modell",
      "type": "@n8n/n8n-nodes-langchain.lmChatOpenAi",
      "position": [
        -1000,
        140
      ],
      "parameters": {
        "model": {
          "__rl": true,
          "mode": "list",
          "value": "gpt-4o-mini"
        },
        "options": {}
      },
      "credentials": {
        "openAiApi": {
          "id": "Ag9qPAsY7lpIGkvC",
          "name": "JPs n8n openAI key"
        }
      },
      "typeVersion": 1.2
    },
    {
      "id": "54ffa0e9-dbf7-4406-9952-485ca46d1172",
      "name": "Rechner",
      "type": "@n8n/n8n-nodes-langchain.toolCalculator",
      "position": [
        -840,
        140
      ],
      "parameters": {},
      "typeVersion": 1
    },
    {
      "id": "09dcce53-ce33-4263-b903-655db12d13dd",
      "name": "Prüfen, ob Tool aufgerufen wurde",
      "type": "n8n-nodes-base.set",
      "position": [
        -340,
        -240
      ],
      "parameters": {
        "options": {},
        "assignments": {
          "assignments": [
            {
              "id": "58c48e6f-4a12-4bf6-94ae-705244273a84",
              "name": "tool_called",
              "type": "boolean",
              "value": "={{ $json.intermediateSteps.filter(x => x.action.tool == $('When fetching a dataset row').item.json.tool_to_call).length > 0 }}"
            }
          ]
        }
      },
      "typeVersion": 3.4
    },
    {
      "id": "62fb0980-6c8e-4ab6-b914-59339b4b385f",
      "name": "Webseite abrufen",
      "type": "n8n-nodes-base.httpRequestTool",
      "position": [
        -700,
        140
      ],
      "parameters": {
        "url": "={{ /*n8n-auto-generated-fromAI-override*/ $fromAI('URL', ``, 'string') }}",
        "options": {}
      },
      "typeVersion": 4.2
    },
    {
      "id": "ec4c82df-8804-49f2-a8ba-348f29b97cd6",
      "name": "Notizzettel",
      "type": "n8n-nodes-base.stickyNote",
      "position": [
        -980,
        -200
      ],
      "parameters": {
        "color": 7,
        "width": 300,
        "height": 220,
        "content": "Make sure to enable 'Return intermediate steps' in the agent, to get the list of executed tools"
      },
      "typeVersion": 1
    },
    {
      "id": "f6fa8aef-4362-4691-85fc-2612eb1dee63",
      "name": "Bei Empfang einer Chat-Nachricht",
      "type": "@n8n/n8n-nodes-langchain.chatTrigger",
      "position": [
        -1440,
        -240
      ],
      "webhookId": "c4dc43bf-4625-4821-bd9d-ca22a2f34170",
      "parameters": {
        "options": {}
      },
      "typeVersion": 1.1
    },
    {
      "id": "d1274230-aa4d-4456-93ea-8123e263df7d",
      "name": "Chat-Format abgleichen",
      "type": "n8n-nodes-base.set",
      "position": [
        -1220,
        40
      ],
      "parameters": {
        "options": {},
        "assignments": {
          "assignments": [
            {
              "id": "e6e064bb-ac06-40ca-97bf-42f682b30065",
              "name": "chatInput",
              "type": "string",
              "value": "={{ $json.question }}"
            }
          ]
        }
      },
      "typeVersion": 3.4
    },
    {
      "id": "474a2321-7a4c-41be-a8fa-718f5a093171",
      "name": "Notizzettel1",
      "type": "n8n-nodes-base.stickyNote",
      "position": [
        -380,
        -320
      ],
      "parameters": {
        "color": 7,
        "width": 180,
        "height": 240,
        "content": "Check whether the list of executed tools contains the target tool"
      },
      "typeVersion": 1
    },
    {
      "id": "3351706d-e7e9-4701-9224-b4c873167c0d",
      "name": "Chat-Antwort zurückgeben",
      "type": "n8n-nodes-base.noOp",
      "position": [
        -340,
        40
      ],
      "parameters": {},
      "typeVersion": 1
    },
    {
      "id": "e7beb2d8-f864-4aea-84f2-0d82987f52f8",
      "name": "Notizzettel3",
      "type": "n8n-nodes-base.stickyNote",
      "position": [
        -1740,
        -280
      ],
      "parameters": {
        "width": 200,
        "height": 500,
        "content": "## How it works\nThis template shows how to calculate a workflow evaluation metric: **whether a specific tool was called** by an agent.\n\nYou can find more information on workflow evaluation [here](https://docs.n8n.io/advanced-ai/evaluations/overview), and other metric examples [here](https://docs.n8n.io/advanced-ai/evaluations/metric-based-evaluations/#2-calculate-metrics)."
      },
      "typeVersion": 1
    },
    {
      "id": "a990cca2-7ea5-4d43-9cc2-b6257299bcc1",
      "name": "Notizzettel4",
      "type": "n8n-nodes-base.stickyNote",
      "position": [
        -1500,
        -60
      ],
      "parameters": {
        "color": 7,
        "width": 220,
        "height": 260,
        "content": "Read in [this test dataset](https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976) of questions and the tools that should be called when answering them"
      },
      "typeVersion": 1
    },
    {
      "id": "f0f7e18c-029f-4e0a-ac2f-168e10b5f51f",
      "name": "Beim Abrufen eines Datensatzzeile",
      "type": "n8n-nodes-base.evaluationTrigger",
      "position": [
        -1440,
        40
      ],
      "parameters": {
        "sheetName": {
          "__rl": true,
          "mode": "url",
          "value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
        },
        "documentId": {
          "__rl": true,
          "mode": "url",
          "value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
        }
      },
      "credentials": {
        "googleSheetsOAuth2Api": {
          "id": "bpr2LoSELMlxpwnN",
          "name": "Google Sheets account David"
        }
      },
      "typeVersion": 4.6
    },
    {
      "id": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
      "name": "Bewertung",
      "type": "n8n-nodes-base.evaluation",
      "position": [
        -120,
        -240
      ],
      "parameters": {
        "metrics": {
          "assignments": [
            {
              "id": "66ed21d5-a10a-47a3-993d-459aa4a4fbba",
              "name": "tool_called",
              "type": "number",
              "value": "={{ $json.tool_called.toNumber() }}"
            }
          ]
        },
        "operation": "setMetrics"
      },
      "typeVersion": 4.6
    },
    {
      "id": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
      "name": "Bewertung läuft?",
      "type": "n8n-nodes-base.evaluation",
      "position": [
        -580,
        -120
      ],
      "parameters": {
        "operation": "checkIfEvaluating"
      },
      "typeVersion": 4.6
    }
  ],
  "pinData": {},
  "connections": {
    "ffd0cca6-4a60-4058-b3fb-c92d949ea864": {
      "main": [
        [
          {
            "node": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "54ffa0e9-dbf7-4406-9952-485ca46d1172": {
      "ai_tool": [
        [
          {
            "node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
            "type": "ai_tool",
            "index": 0
          }
        ]
      ]
    },
    "5b14c47b-2dae-4ca7-882c-d0ec722eadab": {
      "main": [
        [
          {
            "node": "09dcce53-ce33-4263-b903-655db12d13dd",
            "type": "main",
            "index": 0
          }
        ],
        [
          {
            "node": "3351706d-e7e9-4701-9224-b4c873167c0d",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "62fb0980-6c8e-4ab6-b914-59339b4b385f": {
      "ai_tool": [
        [
          {
            "node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
            "type": "ai_tool",
            "index": 0
          }
        ]
      ]
    },
    "d1274230-aa4d-4456-93ea-8123e263df7d": {
      "main": [
        [
          {
            "node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "73055399-e667-45cb-8a32-accb83dd74f8": {
      "ai_languageModel": [
        [
          {
            "node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
            "type": "ai_languageModel",
            "index": 0
          }
        ]
      ]
    },
    "09dcce53-ce33-4263-b903-655db12d13dd": {
      "main": [
        [
          {
            "node": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "f6fa8aef-4362-4691-85fc-2612eb1dee63": {
      "main": [
        [
          {
            "node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "f0f7e18c-029f-4e0a-ac2f-168e10b5f51f": {
      "main": [
        [
          {
            "node": "d1274230-aa4d-4456-93ea-8123e263df7d",
            "type": "main",
            "index": 0
          }
        ]
      ]
    }
  }
}

Häufig gestellte Fragen

Wie verwende ich diesen Workflow?

Kopieren Sie den obigen JSON-Code, erstellen Sie einen neuen Workflow in Ihrer n8n-Instanz und wählen Sie "Aus JSON importieren". Fügen Sie die Konfiguration ein und passen Sie die Anmeldedaten nach Bedarf an.

Für welche Szenarien ist dieser Workflow geeignet?

Fortgeschritten - Engineering, Künstliche Intelligenz

Ist es kostenpflichtig?

Dieser Workflow ist völlig kostenlos. Beachten Sie jedoch, dass Drittanbieterdienste (wie OpenAI API), die im Workflow verwendet werden, möglicherweise kostenpflichtig sind.