CLEARFLOW – Az adat finomító

✅ V2 stack (2026.04.24.): Multi-model AI stratégia — LiteLLM orchestráció, GPT-4o mini fő motor, Gemini 2.5 Flash fordításhoz, Claude Haiku 3 fallback (Batch API). Teljes FOSS stack: n8n · pandas · DuckDB · Instructor · Tenacity · Great Expectations · Streamlit · Docker Compose.

Hogyan működik – egy termék útja lépésről lépésre

📥

Beolvasás

Nyers CSV / Google Sheets betöltése

n8n + pandas

🔍

Elemzés

Hiányos mezők és hibák azonosítása

DuckDB

🧹

Tisztítás

Duplikációk, formátumhibák eltávolítása

pandas + lxml

✨

Gazdagítás

AI tölti ki a hiányzó mezőket

LiteLLM AI

🌐

Fordítás

Lokalizáció, többnyelvű output

Gemini Flash

🗄️

Tárolás

Validált adat adatbázisba kerül

PostgreSQL

👁️

Review

Streamlit híd: Sheets ↔ n8n

Streamlit UI

🚀

Export

Tiszta adat visszaírva a rendszerbe

n8n + Minio

Részletesen – mi történik pontosan egy termékkel?

Beolvasás és normalizálás

Az n8n workflow ütemezetten olvassa be a forrás CSV-ket vagy a Google Sheets exportot. A pandas egységes belső formátumra hozza az adatokat: oszlopnevek normalizálása, encoding javítás, dátumformátum egységesítés. Minden sor kap egy egyedi futás-azonosítót.

Eszköz: n8n trigger + pandas · Forrás: CSV / Google Sheets / REST API

📥 Beolvasás

Adatminőség elemzés – DuckDB

A DuckDB SQL-lekérdezésekkel villámgyorsan végigfut a teljes adathalmazon: megkeresi a hiányzó mezőket, az érvénytelen értékeket, a duplikációkat. Minden sorhoz egy "minőségi pontszám" kerül, ami meghatározza, hogy AI-enrichmentre szorul-e.

Eszköz: DuckDB docs · Kimenet: hiány-riport soronként

🔍 Elemzés

Tisztítás és deduplikáció

A pandas és lxml kombináció eltávolítja a HTML-tageket a szövegmezőkből, javítja a törött karakterkódolásokat, normalizálja a mértékegységeket és az árformátumokat. Az URL-alapú és tartalmi duplikációk kiszűrése ebben a fázisban történik.

Eszköz: pandas docs · lxml tutorial · Deduplikáció: URL + tartalom hash

🧹 Tisztítás

AI Gazdagítás – LiteLLM Core ✦ CORE

A LiteLLM (client.py) egységes interfészen keresztül hívja a megfelelő AI modellt. A Instructor JSON-kényszert biztosít — az AI csak érvényes, Pydantic-validált (validator.py) struktúrát adhat vissza. Ha a modell nem ad megfelelő választ, a Tenacity automatikusan újrapróbálja, majd fallbackre vált. A prompt verziók a prompts/ mappában YAML/TXT formátumban verziókövethetők.

Fájlok: enrichment/ai/client.py · enrichment/validator.py · enrichment/ai/prompts/ · LiteLLM docs

Feladat / Modell

🟢 OpenAI

🔵 Google

🟠 Anthropic

⚙️ Fő motor (Standard enrichment)

OpenAI GPT-4o mini
✦ Alapértelmezett · legjobb ár/érték

Gemini 2.0 Flash
Alternatíva, hasonló ár

Claude Haiku 3
Fallback szerepben

🌐 Fordítás / Lokalizáció

GPT-4o mini
Használható, de drágább

Google Gemini 2.5 Flash
✦ Alapértelmezett · legjobb többnyelvű

Claude Haiku 3
Nem optimális fordításhoz

🔄 Fallback / Minőségi tartalék

GPT-4o mini
Elsődleges motor, nem fallback

Gemini 2.5 Flash
Fordítási fallback

Anthropic Claude Haiku 3
✦ Batch API · költségoptimális

💰 Becsült költség / 1000 sor

~$0.08–0.15
OpenAI árazás →

~$0.06–0.12
Gemini árazás →

~$0.05–0.10
Anthropic árazás →

🔁 Csere módja

Bármelyik modell cserélhető a configs/litellm.yaml egyetlen sorának módosításával — újraindítás vagy kódváltoztatás nélkül. LiteLLM routing docs →

✨ AI Core

Fordítás és lokalizáció – Gemini 2.5 Flash

A fordítási és lokalizációs feladatokhoz a rendszer automatikusan Gemini 2.5 Flash-ra vált a LiteLLM routing logikán keresztül. Ez a modell bizonyítottan jobb teljesítményt nyújt többnyelvű tartalmakhoz. A configs/litellm.yaml fájlban egyetlen sor módosítása elegendő a modell cseréjéhez.

Eszköz: LiteLLM routing · Modell: Gemini 2.5 Flash · Nyelvek: HU / EN / DE

🌐 Fordítás

Validáció – Great Expectations + Pydantic

A Great Expectations adatminőség-ellenőrző futtatja a rögzített szabályokat: kötelező mezők kitöltve, értékek a megengedett tartományban, kategória-mapping helyes. A Pydantic modellek a validator.py-ban definiálják a várt JSON struktúrát (termékleírás, kategória, attribútumok). Ha egy sor nem felel meg, automatikusan "Review" státuszba kerül.

Fájl: enrichment/validator.py · Great Expectations + Instructor · Kimenet: pass / review / reject

✅ Validáció

Streamlit Review UI gspread ↔ n8n híd

A Streamlit belső dashboard a gspread (Google Sheets) és az n8n közötti híd szerepét tölti be. Dinamikusan jeleníti meg a "Review" fázisban lévő termékeket — a szerkesztő látja az eredeti és az AI-javasolt értéket egymás mellett, és gyorsan jóváhagyhatja, módosíthatja vagy visszadobhatja anélkül, hogy közvetlenül a táblázatban kellene dolgoznia. Minden döntés naplózva a PostgreSQL audit táblában. Alternatíva: Appsmith.

Eszköz: Streamlit + gspread · n8n jóváhagyási workflow · Állapotgép: pending → approved / rejected

👁️ Review

Export és archiválás

A jóváhagyott sorok visszakerülnek a célrendszerbe (CSV / Google Sheets / API). A teljes futás eredménye archiválva van a Minio S3-kompatibilis objektumtárban. A Redis queue biztosítja, hogy nagy adathalmazok esetén sem torlódnak fel a feladatok. Az n8n workflow definíciók JSON-alapon verziókövethetők.

Eszköz: n8n export · Minio backup · Redis queue · Fájl: n8n/workflows/ · Célrendszer: CSV / Sheets / REST

🚀 Export

Repo struktúra – clearflow-enrich-core

clearflow-enrich-core/

├── docker-compose.yml # Teljes stack: Postgres, Redis, n8n, Streamlit

├── enrichment/ # Python core logic

├── ai/

├── client.py # LiteLLM wrapper + modell-routing logika

└── prompts/ # Prompt verziók (YAML/TXT) – verziókövetett

├── parse/ # pandas, DuckDB, lxml scriptek

└── validator.py # Instructor + Pydantic modellek

├── configs/

└── litellm.yaml # Modell-routing konfig – 1 sor = modellcsere

└── n8n/ # Workflow definíciók (JSON, verziókövetett)

Biztonsági réteg – minden lépésre hat

📐

Instructor – JSON kényszer

Az AI csak Pydantic-validált struktúrát adhat vissza. Érvénytelen kimenet esetén Tenacity automatikusan újrapróbálja.

🔄

Tenacity – Modell-fallback

Ha a fő modell hibázik, automatikusan Claude Haiku 3 Batch API-ra vált. Konfigurálható retry-logika, naplózással.

💰

Költségkorlát

Napi és heti AI-limit a LiteLLM Budget Manager-ben. Túllépéskor olcsóbb modellre vált vagy leáll.

📋

PostgreSQL – Audit log

Minden futás, döntés és hiba naplózva. Bármely állapot visszaállítható. Docs →

Következő lépések – action items

Action Item 1

🔗 LiteLLM integráció

A client.py implementálása a modell-routing logikával: fő motor, fordítási útvonal és fallback konfiguráció. A configs/litellm.yaml összeállítása. LiteLLM routing docs →

enrichment/ai/client.py

Action Item 2

📐 Pydantic modellek

A validator.py-ban definiálni a várt JSON struktúrát: termékleírás, kategória, attribútumok — Instructor-kompatibilis formátumban. Pydantic docs →

enrichment/validator.py

Action Item 3

🐳 Docker környezet

A docker-compose.yml összeállítása: PostgreSQL, Redis, n8n, Streamlit — egyetlen paranccsal indítható stack. Docker Compose docs →

docker-compose.yml

Action Item 4

🗃️ Audit Log beállítása

A PostgreSQL konfigurálása a futások és hibák naplózására. Táblák: runs, decisions, errors. PostgreSQL docs →

PostgreSQL audit schema

Kulcs technológiák – szerepük a rendszerben

Orchestráció

n8n

⭐ Self-hosted · JSON verziókövetés

Workflow automatizálás, ütemezés

→ Dokumentáció · n8n/ mappában

AI Orchestráció

LiteLLM + Instructor + Tenacity

⭐ Egységes AI API · JSON kényszer · Retry

Multi-model routing, validáció, fallback

→ 1 sor módosítással cserélhető modell · Docs

Adatfeldolgozás

pandas + DuckDB + lxml

⭐ Nagy CSV-k gyors kezelése

Tisztítás, elemzés, transzformáció

→ enrichment/parse/ mappában

Validáció

Great Expectations + Pydantic

⭐ Adatminőség + struktúra ellenőrzés

QA és output ellenőrzés

→ validation/ modulban

Review felület

Streamlit + PostgreSQL

⭐ Szerkesztői jóváhagyás

Human-in-the-loop döntés

→ pending / approved / rejected

Review UI · Sheets híd

Streamlit + gspread

⭐ Google Sheets ↔ n8n híd

Szerkesztői jóváhagyási felület

→ Streamlit docs · Alternatíva: Appsmith

CLEARFLOW — Az adat finomító

CLEARFLOW - Az adat finomito