🔥
HotRepo
anakin — Phần mềm self-host Open-source web scraping API. Turn any website into clean markdown or
📦
Anakin-Inc

anakin — Phần mềm self-host Open-source web scraping API. Turn any website into clean markdown or

Open-source web scraping API. Turn any website into clean markdown or structured JSON. Anti-detect browser, proxy auto-selection, self-hosted. One command: make up

⭐ 3.9k🍴 164Go📜 agpl-3.0🐳 Docker Compose#ai#anti-detect#golang#markdown

anakin

Open-source web scraping API. Turn any website into clean markdown or structured JSON. Anti-detect browser, proxy auto-selection, self-hosted. One command: make up

⭐ 4,385 stars trên GitHub · 🍴 181 forks · 📜 License: agpl-3.0 · 💻 Ngôn ngữ: Go

anakin là gì?

Đây là dự án AI/LLM open-source — chạy mô hình local, không gửi data lên cloud, cá nhân hoá hoàn toàn theo nhu cầu.

Các thành phần chính

  • Handler chain with fallback — HTTP fetch → anti-detect browser → external API. Each handler tries in order; if one fails, the next picks up automatically. Most pages resolve on the free local HTTP ...
  • Custom API handlers — plug in any third-party scraping service as a chain fallback. Only invoked when local handlers fail — saves 90%+ on API costs vs routing everything through a paid service. Bui...
  • Domain configs — per-domain scraping strategies: choose which handlers to use, set timeouts, retries, custom headers, block domains, and validate content with pattern matching. Docs →
  • Failure detection — define failure patterns and required patterns per domain. If the scraped content matches a failure pattern (e.g. CAPTCHA page) or misses a required pattern, the job auto-retries...
  • Anti-detect browser — Camoufox (anti-detect Firefox) with realistic fingerprints, not headless Chrome. Docs →
  • Proxy auto-select — Thompson Sampling picks the best proxy per domain, learning from success/failure in real time. Docs →
  • Structured JSON extraction — use Gemini AI to extract structured data from any page (bring your own API key)
  • Sync + async + batch API — POST /v1/scrape for instant results, /v1/url-scraper for async with polling, batch up to 10 URLs

Điểm mạnh nhất là chạy AI hoàn toàn local — không API cost, không lo data leak, latency low.

Phù hợp cho dev AI, researcher, ai muốn build AI agent + chatbot tuỳ chỉnh không phụ thuộc OpenAI.

Chủ đề: project được tag với các topic phổ biến:

  • 🏷️ ai
  • 🏷️ anti-detect
  • 🏷️ golang
  • 🏷️ markdown
  • 🏷️ open-source
  • 🏷️ playwright
  • 🏷️ scraper
  • 🏷️ self-hosted
  • 🏷️ web-crawler
  • 🏷️ web-scraping

Cài đặt nhanh

Project hỗ trợ Docker Compose:

git clone https://github.com/Anakin-Inc/anakin.git
cd anakin
docker compose up -d

Xem README trong repo để biết các biến môi trường cần khai báo.

Yêu cầu hệ thống tối thiểu

Thành phần Khuyến nghị
RAM 4096 MB
CPU 2 vCPU
Disk 50 GB SSD
OS Ubuntu 22.04 LTS / Debian 12
Docker 24.0+

⚡ Triển khai nhanh với VSIS

Dùng gói VSIS VPS Standard 4GB RAM / 2 vCPU / 50GB SSD (~150k/tháng) từ VSIS.NET — VPS Việt Nam tốc độ cao, hỗ trợ 24/7, hợp với nhu cầu chạy anakin ổn định.

🎯 Lợi ích:

  • Triển khai 1 lệnh docker compose up -d chỉ trong 2 phút
  • IPv4 riêng, full root, băng thông không giới hạn nội địa
  • Backup snapshot tự động hàng ngày
  • Trợ giúp cài đặt miễn phí từ team VSIS

👉 Xem các gói VPS phù hợp tại vsis.net

Tài nguyên

  • 🔗 GitHub: Anakin-Inc/anakin
  • 🌐 Trang chủ: https://anakin.io
  • 📚 Tài liệu chính thức: xem README trong repo
  • 💬 Cộng đồng: GitHub Issues + Discussions

Bài viết được tổng hợp từ thông tin GitHub vào 15/09/2026. Số liệu stars/forks có thể đã thay đổi — xem realtime tại link GitHub.