llama-gpt

Một chatbot tự lưu trữ, ngoại tuyến, giống ChatGPT. Được cung cấp bởi Llama 2. Riêng tư 100%, không có dữ liệu nào rời khỏi thiết bị của bạn. Mới: Hỗ trợ mã Llama!

⭐ 10,973 stars trên GitHub · 🍴 714 forks · 📜 License: mit · 💻 Ngôn ngữ: TypeScript

llama-gpt là gì?

Nếu bạn cần một chatbot kiểu ChatGPT nhưng chạy hoàn toàn trong hạ tầng riêng, LlamaGPT là lựa chọn rất đáng chú ý. Điểm khác biệt lớn nhất: mô hình chạy offline trên máy của bạn, dữ liệu prompt và phản hồi không rời khỏi device/server.

Các thành phần chính

• Giao diện chat web giống ChatGPT, dễ dùng cho người không chuyên AI.
• Chạy self-host bằng Docker, umbrelOS, Mac M1/M2 hoặc Kubernetes.
• Hỗ trợ nhiều model Llama 2 Chat từ 7B, 13B đến 70B tùy cấu hình phần cứng.
• Có hỗ trợ Code Llama và Phind Code Llama cho tác vụ liên quan đến lập trình.
• Hỗ trợ Nvidia GPU/CUDA để tăng tốc inference khi triển khai trên server phù hợp.
• Cung cấp OpenAI-compatible API tại local endpoint, thuận tiện tích hợp vào app nội bộ.

Use case rõ ràng

• Dựng chatbot AI nội bộ cho team mà không gửi dữ liệu lên OpenAI, Anthropic hay dịch vụ cloud bên thứ ba.
• Hỗ trợ developer tra cứu, giải thích code, generate snippet với Code Llama trong môi trường offline.
• Tạo assistant riêng cho homelab, lab AI, hoặc server nội bộ để thử nghiệm LLM self-host.
• Dùng cho doanh nghiệp có dữ liệu nhạy cảm, cần kiểm soát nơi lưu trữ và xử lý prompt.
• Test migration từ OpenAI API sang local LLM nhờ endpoint tương thích OpenAI.

Điểm mạnh nhất là quyền riêng tư tuyệt đối khi vận hành local — LlamaGPT không cố trở thành nền tảng AI enterprise phức tạp, mà tập trung vào trải nghiệm ChatGPT-like chạy trên máy của bạn. So với các dịch vụ commercial, giá trị của nó nằm ở khả năng kiểm soát dữ liệu, triển khai offline và vẫn có API tương thích để tích hợp vào workflow sẵn có.

Phù hợp cho developer, sysadmin, homelab user và IT team muốn thử hoặc triển khai chatbot AI riêng trong môi trường kiểm soát chặt về dữ liệu.

Chủ đề: project được tag với các topic phổ biến:

• 🏷️ ai
• 🏷️ chatgpt
• 🏷️ code-llama
• 🏷️ codellama
• 🏷️ gpt
• 🏷️ gpt-4
• 🏷️ gpt4all
• 🏷️ llama
• 🏷️ llama-2
• 🏷️ llama-cpp

📸 Hình ảnh & screenshot

Cài đặt nhanh

Project hỗ trợ Docker Compose:

git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
docker compose up -d

Xem README trong repo để biết các biến môi trường cần khai báo.

Yêu cầu hệ thống tối thiểu

⚡ Triển khai nhanh với VSIS

Dùng gói VSIS VPS Standard 4GB RAM / 2 vCPU / 50GB SSD (~150k/tháng) từ VSIS.NET — VPS Việt Nam tốc độ cao, hỗ trợ 24/7, hợp với nhu cầu chạy llama-gpt ổn định.

🎯 Lợi ích:

• Triển khai 1 lệnh docker compose up -d chỉ trong 2 phút
• IPv4 riêng, full root, băng thông không giới hạn nội địa
• Backup snapshot tự động hàng ngày
• Trợ giúp cài đặt miễn phí từ team VSIS

👉 Xem các gói VPS phù hợp tại vsis.net

Tài nguyên

• 🔗 GitHub: getumbrel/llama-gpt
• 🌐 Trang chủ: https://apps.umbrel.com/app/llama-gpt
• 📚 Tài liệu chính thức: xem README trong repo
• 💬 Cộng đồng: GitHub Issues + Discussions

Bài viết được tổng hợp từ thông tin GitHub vào 05/05/2026. Số liệu stars/forks có thể đã thay đổi — xem realtime tại link GitHub.