Как создать универсальный Telegram-бот — парсер любых постов из каналов с AI-нормализацией и fallback-правилами

mkdir tg-universal-parser-bot
cd tg-universal-parser-bot
npm init -y
npm install telegraf node-cron axios cheerio groq-sdk dotenv
npm install -D nodemon

BOT_TOKEN=твой_токен_из_BotFather
GROQ_API_KEY=твой_groq_ключ
SUPABASE_URL=https://...
SUPABASE_ANON_KEY=eyJ...

Создай полный рабочий каркас бота на Telegraf v4.

Требования:
- Использовать dotenv
- Команды: /start, /addsource, /listsources, /status
- Inline-кнопки и single-navigation (обновлять одно сообщение)
- Подготовь отдельный файл worker.js для cron-воркера (каждые 10 минут)
- Подготовь папки: src/bot, src/worker, src/parsers, src/ai, src/db
- Подключи Supabase (или SQLite как fallback)
- Всё должно запускаться командой npm start и npm run worker
- Добавь комментарии "// TODO" где нужно будет вставить логику парсера и AI

Выведи ВЕСЬ код проекта в виде структуры файлов с содержимым.

На основе предыдущего кода добавь полную архитектуру универсального парсера любых постов из Telegram-каналов.

Таблицы Supabase (SQL миграции):
- sources (id, channel_username, type: public|private, cursor, last_import)
- raw_posts (id, source_id, message_id, raw_text, posted_at)
- parsed_posts (id, raw_id, post_type, category, title, summary, links: jsonb, contacts: jsonb, confidence, status: published|skipped, published_at)

Логика:
- worker каждые 10 мин обходит sources
- для public: парсит https://t.me/s/...
- для private: заглушка (потом добавим MTProto)
- После получения raw → AI parse → fallback rules → auto decision (publish если confidence > 75 и есть полезный контент)
- Никакой ручной модерации! Только auto-publish или skip + лог причины

Выведи обновлённые файлы: db/migrations.sql, src/ai/parser.js, src/worker/importer.js

На основе предыдущего кода реализуй полноценный парсер публичных каналов.

Функция parsePublicChannel(channel: string, afterTimestamp?: number):
- axios.get(`https://t.me/s/${channel}`)
- cheerio парсит все посты
- Извлекает: message_id, full_text, date, все ссылки, все @username, кнопки
- Убирает шум: футеры канала, рекламу, "подписывайся", повторяющиеся блоки
- Возвращает массив чистых raw-постов

Добавь анти-дубликат по (channel + message_id)

Создай два промпта для Groq (llama-3.3-70b или mixtral):

1. Основной AI-промпт (возвращает ТОЛЬКО JSON):
Системный: "Ты — эксперт по структурированию Telegram-постов. Верни ТОЛЬКО валидный JSON без markdown."

JSON-схема:
{
  "post_type": "announcement | sale | question | news | offer | discussion | other",
  "category": "string (одно слово или короткая фраза)",
  "title": "string",
  "summary": "string до 300 символов",
  "links": ["array of urls"],
  "contacts": ["@username", "phone", "other"],
  "confidence": 0-100,
  "reason": "string коротко"
}

2. Fallback rules (если AI недоступен или confidence < 60):
- Если есть @username или ссылка на внешний ресурс → confidence 70
- Если больше 100 символов осмысленного текста → confidence 50
- Извлекать все ссылки и @ через regex

Реализуй функцию normalizePost(rawText) которая сначала пытается AI, при ошибке — fallback.

Добавь decision engine без ручной модерации:

Правила:
- Если confidence >= 78 И (есть contacts ИЛИ links.length > 0) → status: "published"
- Иначе → "skipped" с сохранением причины в БД
- Для published — сохраняем в parsed_posts и (опционально) отправляем в канал бота или личку подписчикам

Реализуй функцию decideAndSave(parsedData)

Добавь:
- Простые тесты (jest или console.log) на парсер и AI
- Команду в package.json: "dev": "nodemon src/bot/index.js"
- "worker": "node src/worker/importer.js"
- В /start покажи красивую клавиатуру с кнопками

Выведи финальную инструкцию по запуску.

npm run dev

npm run worker