Bright Data 스크래핑 및 Google Gemini를 사용한 Etsy 데이터 마이닝 자동화
고급
이것은Product, AI, Marketing분야의자동화 워크플로우로, 19개의 노드를 포함합니다.주로 Set, Function, SplitOut, HttpRequest, ManualTrigger 등의 노드를 사용하며인공지능 기술을 결합하여 스마트 자동화를 구현합니다. Bright Data 스크래핑과 Google Gemini를 사용한 Etsy 데이터 마이닝 자동화
사전 요구사항
- •대상 API의 인증 정보가 필요할 수 있음
- •OpenAI API Key
- •Google Gemini API Key
사용된 노드 (19)
워크플로우 미리보기
노드 연결 관계를 시각적으로 표시하며, 확대/축소 및 이동을 지원합니다
워크플로우 내보내기
다음 JSON 구성을 복사하여 n8n에 가져오면 이 워크플로우를 사용할 수 있습니다
{
"id": "UuuCIDvTNnloIlvq",
"meta": {
"instanceId": "885b4fb4a6a9c2cb5621429a7b972df0d05bb724c20ac7dac7171b62f1c7ef40",
"templateCredsSetupCompleted": true
},
"name": "Automate Etsy Data Mining with Bright Data Scrape & Google Gemini",
"tags": [
{
"id": "Kujft2FOjmOVQAmJ",
"name": "Engineering",
"createdAt": "2025-04-09T01:31:00.558Z",
"updatedAt": "2025-04-09T01:31:00.558Z"
},
{
"id": "ddPkw7Hg5dZhQu2w",
"name": "AI",
"createdAt": "2025-04-13T05:38:08.053Z",
"updatedAt": "2025-04-13T05:38:08.053Z"
}
],
"nodes": [
{
"id": "f369feaf-4782-4411-9d08-fe91b9ffd97e",
"name": "워크플로우 '테스트' 클릭 시",
"type": "n8n-nodes-base.manualTrigger",
"position": [
200,
-555
],
"parameters": {},
"typeVersion": 1
},
{
"id": "231bae3c-c27e-49fc-b878-2d5cc1e14c5a",
"name": "스티커 메모",
"type": "n8n-nodes-base.stickyNote",
"position": [
200,
-1020
],
"parameters": {
"width": 400,
"height": 300,
"content": "## Note\n\nDeals with the Esty web scraping by utilizing the Bright Data Web Unlocker Product.\n\nThe Information Extraction node being used to demonstrate the usage of the N8N AI capabilities.\n\n**Please make sure to set the Indeed search query and update the Webhook Notification URL**"
},
"typeVersion": 1
},
{
"id": "f568de40-b389-41f9-afe9-5e09a291c367",
"name": "스티커 메모1",
"type": "n8n-nodes-base.stickyNote",
"position": [
640,
-1020
],
"parameters": {
"width": 480,
"height": 300,
"content": "## LLM Usages\n\nGoogle Gemini Flash Exp model is being used.\n\nBasic LLM Chain Data Extractor."
},
"typeVersion": 1
},
{
"id": "4f1db865-a0cb-4978-9c7d-fde448bd978a",
"name": "Etsy 검색 쿼리 설정",
"type": "n8n-nodes-base.set",
"position": [
420,
-555
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "3aedba66-f447-4d7a-93c0-8158c5e795f9",
"name": "url",
"type": "string",
"value": "https://www.etsy.com/search?q=wall+art+for+mum&order=date_desc&page=1&ref=pagination"
},
{
"id": "4e7ee31d-da89-422f-8079-2ff2d357a0ba",
"name": "zone",
"type": "string",
"value": "web_unlocker1"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "4cb51368-bb69-4d99-a0b6-e8e8013f1dfd",
"name": "Etsy 웹 요청 수행",
"type": "n8n-nodes-base.httpRequest",
"position": [
640,
-680
],
"parameters": {
"url": "https://api.brightdata.com/request",
"method": "POST",
"options": {},
"sendBody": true,
"sendHeaders": true,
"authentication": "genericCredentialType",
"bodyParameters": {
"parameters": [
{
"name": "zone",
"value": "={{ $json.zone }}"
},
{
"name": "url",
"value": "={{ $json.url }}?product=unlocker&method=api"
},
{
"name": "format",
"value": "raw"
},
{
"name": "data_format",
"value": "markdown"
}
]
},
"genericAuthType": "httpHeaderAuth",
"headerParameters": {
"parameters": [
{}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "kdbqXuxIR8qIxF7y",
"name": "Header Auth account"
}
},
"typeVersion": 4.2
},
{
"id": "9fb7bdc5-ba64-4df4-89b4-a3207e7f6d0e",
"name": "Google Gemini 채팅 모델",
"type": "@n8n/n8n-nodes-langchain.lmChatGoogleGemini",
"position": [
948,
-460
],
"parameters": {
"options": {},
"modelName": "models/gemini-2.0-flash-exp"
},
"credentials": {
"googlePalmApi": {
"id": "YeO7dHZnuGBVQKVZ",
"name": "Google Gemini(PaLM) Api account"
}
},
"typeVersion": 1
},
{
"id": "1f95576d-e243-481d-9d5f-308764d8ea4b",
"name": "아이템 순환 처리",
"type": "n8n-nodes-base.splitInBatches",
"position": [
1460,
-680
],
"parameters": {
"options": {}
},
"typeVersion": 3
},
{
"id": "47f23aa1-63ee-49e3-a465-283c7ab71b76",
"name": "루프를 통한 Etsy 웹 요청 수행",
"type": "n8n-nodes-base.httpRequest",
"position": [
1680,
-560
],
"parameters": {
"url": "https://api.brightdata.com/request",
"method": "POST",
"options": {},
"sendBody": true,
"sendHeaders": true,
"authentication": "genericCredentialType",
"bodyParameters": {
"parameters": [
{
"name": "zone",
"value": "=web_unlocker1"
},
{
"name": "url",
"value": "={{ $json.url }}&product=unlocker"
},
{
"name": "format",
"value": "raw"
},
{
"name": "data_format",
"value": "markdown"
}
]
},
"genericAuthType": "httpHeaderAuth",
"headerParameters": {
"parameters": [
{}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "kdbqXuxIR8qIxF7y",
"name": "Header Auth account"
}
},
"typeVersion": 4.2
},
{
"id": "0b5ea206-a5a0-49b5-8f53-10b4dec5806c",
"name": "추출된 데이터에 대한 웹훅 알림 시작",
"type": "n8n-nodes-base.httpRequest",
"position": [
2320,
-560
],
"parameters": {
"url": "https://webhook.site/3c36d7d1-de1b-4171-9fd3-643ea2e4dd76",
"options": {},
"sendBody": true,
"bodyParameters": {
"parameters": [
{
"name": "summary",
"value": "={{ $json.output }}"
}
]
}
},
"typeVersion": 4.2
},
{
"id": "a164b90b-f44c-4862-b010-d515926774c7",
"name": "제품 정보와 함께 아이템 목록 추출",
"type": "@n8n/n8n-nodes-langchain.informationExtractor",
"position": [
1920,
-560
],
"parameters": {
"text": "=Extract the product info in JSON\n\n{{ $json.data }}",
"options": {},
"schemaType": "fromJson",
"jsonSchemaExample": "[{\n \"image\": \"https://i.etsystatic.com/34923795/r/il/8f3bba/5855230678/il_fullxfull.5855230678_n9el.jpg\",\n \"name\": \"Custom Coffee Mug with Photo\",\n \"url\": \"https://www.etsy.com/listing/1193808036/custom-coffee-mug-with-photo\",\n \"brand\": {\n \"@type\": \"Brand\",\n \"name\": \"TheGiftBucks\"\n },\n \"offers\": {\n \"@type\": \"Offer\",\n \"price\": \"14.99\",\n \"priceCurrency\": \"USD\"\n }\n}]"
},
"typeVersion": 1
},
{
"id": "c3798c64-ac53-44c8-ba91-8fe33377113d",
"name": "제품 정보용 Google Gemini 채팅 모델",
"type": "@n8n/n8n-nodes-langchain.lmChatGoogleGemini",
"position": [
2000,
-300
],
"parameters": {
"options": {},
"modelName": "models/gemini-2.0-flash-exp"
},
"credentials": {
"googlePalmApi": {
"id": "YeO7dHZnuGBVQKVZ",
"name": "Google Gemini(PaLM) Api account"
}
},
"typeVersion": 1
},
{
"id": "11e4ae42-d2e1-4a4b-adcf-382f9e494431",
"name": "페이지네이션된 결과 세트 추출",
"type": "@n8n/n8n-nodes-langchain.informationExtractor",
"position": [
860,
-680
],
"parameters": {
"text": "=Analyze and Extract the below content. Make sure to produce a unique resultset. Exclude page_numbers which are not numbers.\n\n {{ $json.data }}",
"options": {},
"schemaType": "manual",
"inputSchema": "{\n \"$schema\": \"http://json-schema.org/schema#\",\n \"title\": \"PagedResultSetSchema\",\n \"type\": \"array\",\n \"items\": {\n \"type\": \"object\",\n \"properties\": {\n \"page_number\": {\n \"type\": \"string\",\n \"description\": \"Page number, typically a string (e.g., '1', '2', 'next').\"\n },\n \"url\": {\n \"type\": \"string\",\n \"format\": \"uri\",\n \"description\": \"URL pointing to the page.\"\n }\n },\n \"required\": [\"page_number\", \"url\"],\n \"additionalProperties\": false\n }\n}\n"
},
"typeVersion": 1
},
{
"id": "28c1822b-d51c-4f8e-b98e-2e12324397be",
"name": "스티커 메모2",
"type": "n8n-nodes-base.stickyNote",
"position": [
1400,
-780
],
"parameters": {
"color": 5,
"width": 1340,
"height": 620,
"content": "## Loop and Perform Paginated Esty Data Extraction\n"
},
"typeVersion": 1
},
{
"id": "d4f18f2b-9825-4320-addb-c02bfdc4da97",
"name": "스크래핑된 콘텐츠를 디스크에 기록",
"type": "n8n-nodes-base.readWriteFile",
"position": [
2560,
-760
],
"parameters": {
"options": {},
"fileName": "=d:\\Esty-Scraped-Content-{{ $('Loop Over Items').item.json.page_number }}.json",
"operation": "write"
},
"typeVersion": 1
},
{
"id": "5555407d-c7dd-4e5c-83ab-ef6ba9c46da3",
"name": "이진 데이터 생성",
"type": "n8n-nodes-base.function",
"position": [
2360,
-760
],
"parameters": {
"functionCode": "items[0].binary = {\n data: {\n data: new Buffer(JSON.stringify(items[0].json, null, 2)).toString('base64')\n }\n};\nreturn items;"
},
"typeVersion": 1
},
{
"id": "2f7a5fab-a2f4-422e-8f83-ce50fbe2a738",
"name": "분할",
"type": "n8n-nodes-base.splitOut",
"position": [
1240,
-680
],
"parameters": {
"options": {},
"fieldToSplitOut": "output"
},
"typeVersion": 1
},
{
"id": "3d7a8992-b8d4-4a86-b60b-a92a7d63e31b",
"name": "OpenAI를 사용한 페이지네이션된 결과 세트 추출",
"type": "@n8n/n8n-nodes-langchain.informationExtractor",
"position": [
880,
-120
],
"parameters": {
"text": "=Analyze and Extract the below content. Make sure to produce a unique resultset. Exclude page_numbers which are not numbers.\n\n {{ $json.data }}",
"options": {},
"schemaType": "manual",
"inputSchema": "{\n \"$schema\": \"http://json-schema.org/schema#\",\n \"title\": \"PagedResultSetSchema\",\n \"type\": \"array\",\n \"items\": {\n \"type\": \"object\",\n \"properties\": {\n \"page_number\": {\n \"type\": \"string\",\n \"description\": \"Page number, typically a string (e.g., '1', '2', 'next').\"\n },\n \"url\": {\n \"type\": \"string\",\n \"format\": \"uri\",\n \"description\": \"URL pointing to the page.\"\n }\n },\n \"required\": [\"page_number\", \"url\"],\n \"additionalProperties\": false\n }\n}\n"
},
"typeVersion": 1
},
{
"id": "aa42d335-67bc-4dc5-a68a-4ce93e05464a",
"name": "OpenAI 채팅 모델",
"type": "@n8n/n8n-nodes-langchain.lmChatOpenAi",
"position": [
880,
80
],
"parameters": {
"model": {
"__rl": true,
"mode": "list",
"value": "gpt-4o-mini"
},
"options": {}
},
"credentials": {
"openAiApi": {
"id": "vPKynKbDzJ5ZU4cU",
"name": "OpenAi account"
}
},
"typeVersion": 1.2
},
{
"id": "82df0ccc-3065-4bb5-a48e-90e4dbf2162f",
"name": "스티커 메모3",
"type": "n8n-nodes-base.stickyNote",
"position": [
640,
-260
],
"parameters": {
"color": 6,
"width": 660,
"height": 460,
"content": "## Open AI Extraction (Optional)\nNote - Replace the above workflow with the Open AI Chat Model if needed\nPlease make sure to set the OpenAI Chat Model -> Credential to connect with **OpenAi Account**"
},
"typeVersion": 1
}
],
"active": false,
"pinData": {},
"settings": {
"executionOrder": "v1"
},
"versionId": "40a1bbd5-05b2-41c2-8b3c-72e3f16fd13a",
"connections": {
"2f7a5fab-a2f4-422e-8f83-ce50fbe2a738": {
"main": [
[
{
"node": "1f95576d-e243-481d-9d5f-308764d8ea4b",
"type": "main",
"index": 0
}
]
]
},
"1f95576d-e243-481d-9d5f-308764d8ea4b": {
"main": [
[],
[
{
"node": "47f23aa1-63ee-49e3-a465-283c7ab71b76",
"type": "main",
"index": 0
}
]
]
},
"aa42d335-67bc-4dc5-a68a-4ce93e05464a": {
"ai_languageModel": [
[
{
"node": "3d7a8992-b8d4-4a86-b60b-a92a7d63e31b",
"type": "ai_languageModel",
"index": 0
}
]
]
},
"5555407d-c7dd-4e5c-83ab-ef6ba9c46da3": {
"main": [
[
{
"node": "d4f18f2b-9825-4320-addb-c02bfdc4da97",
"type": "main",
"index": 0
}
]
]
},
"4f1db865-a0cb-4978-9c7d-fde448bd978a": {
"main": [
[
{
"node": "4cb51368-bb69-4d99-a0b6-e8e8013f1dfd",
"type": "main",
"index": 0
}
]
]
},
"9fb7bdc5-ba64-4df4-89b4-a3207e7f6d0e": {
"ai_languageModel": [
[
{
"node": "11e4ae42-d2e1-4a4b-adcf-382f9e494431",
"type": "ai_languageModel",
"index": 0
}
]
]
},
"4cb51368-bb69-4d99-a0b6-e8e8013f1dfd": {
"main": [
[
{
"node": "11e4ae42-d2e1-4a4b-adcf-382f9e494431",
"type": "main",
"index": 0
}
]
]
},
"11e4ae42-d2e1-4a4b-adcf-382f9e494431": {
"main": [
[
{
"node": "2f7a5fab-a2f4-422e-8f83-ce50fbe2a738",
"type": "main",
"index": 0
}
]
]
},
"f369feaf-4782-4411-9d08-fe91b9ffd97e": {
"main": [
[
{
"node": "4f1db865-a0cb-4978-9c7d-fde448bd978a",
"type": "main",
"index": 0
}
]
]
},
"47f23aa1-63ee-49e3-a465-283c7ab71b76": {
"main": [
[
{
"node": "a164b90b-f44c-4862-b010-d515926774c7",
"type": "main",
"index": 0
}
]
]
},
"a164b90b-f44c-4862-b010-d515926774c7": {
"main": [
[
{
"node": "0b5ea206-a5a0-49b5-8f53-10b4dec5806c",
"type": "main",
"index": 0
},
{
"node": "5555407d-c7dd-4e5c-83ab-ef6ba9c46da3",
"type": "main",
"index": 0
}
]
]
},
"c3798c64-ac53-44c8-ba91-8fe33377113d": {
"ai_languageModel": [
[
{
"node": "a164b90b-f44c-4862-b010-d515926774c7",
"type": "ai_languageModel",
"index": 0
}
]
]
},
"0b5ea206-a5a0-49b5-8f53-10b4dec5806c": {
"main": [
[
{
"node": "1f95576d-e243-481d-9d5f-308764d8ea4b",
"type": "main",
"index": 0
}
]
]
}
}
}자주 묻는 질문
이 워크플로우를 어떻게 사용하나요?
위의 JSON 구성 코드를 복사하여 n8n 인스턴스에서 새 워크플로우를 생성하고 "JSON에서 가져오기"를 선택한 후, 구성을 붙여넣고 필요에 따라 인증 설정을 수정하세요.
이 워크플로우는 어떤 시나리오에 적합한가요?
고급 - 제품, 인공지능, 마케팅
유료인가요?
이 워크플로우는 완전히 무료이며 직접 가져와 사용할 수 있습니다. 다만, 워크플로우에서 사용하는 타사 서비스(예: OpenAI API)는 사용자 직접 비용을 지불해야 할 수 있습니다.
관련 워크플로우 추천
Bright Data 및 OpenAI 4o mini를 사용한 자동화 이력서-직무 매칭 엔진
Bright Data MCP 및 OpenAI 4o mini를 사용한 자동화된 이력서-채용 공고 매칭 엔진
Set
Function
Split Out
+
Set
Function
Split Out
22 노드Ranjan Dailata
인사
Bright Data 및 OpenAI 4o mini를 사용하여 DNB 회사 검색 및 추출
Bright Data와 OpenAI 4o mini를 기반으로 한 DNB 회사 검색 및 추출
Set
Function
Mcp Client
+
Set
Function
Mcp Client
18 노드Ranjan Dailata
제품
Bright Data를 통해 브랜드 내용 추출, 요약 및 감정 분석
Bright Data와 Google Gemini를 사용하여 브랜드 내용을 추출하고 분석
Set
Function
Http Request
+
Set
Function
Http Request
23 노드Ranjan Dailata
인공지능
브라이트데이터를 통해 아마존 제품 할인 현황 추출, 요약 및 분석
Bright Data와 Google Gemini를 사용하여 아마존 할인 정보를 추출, 요약 및 분석합니다.
Set
Wait
Merge
+
Set
Wait
Merge
26 노드Ranjan Dailata
인공지능
브라이트데이터 MCP 서버와 구글 제미니를 사용하여 링크드인 웹 페이지 크롤링
Bright Data MCP 서버와 Google Gemini를 사용하여 LinkedIn 데이터를 추출 및 변환합니다.
Set
Code
Merge
+
Set
Code
Merge
20 노드Ranjan Dailata
인공지능
구글 트렌드 데이터 추출, 브라이트데이터와 구글 제미니를 사용하여 요약 생성
Bright Data와 구글 제미니를 사용한 구글 트렌드 데이터 추출 및 요약 생성
Set
Gmail
Function
+
Set
Gmail
Function
16 노드Ranjan Dailata
엔지니어링
