Fail2ban là gì? Tác dụng & cách bảo vệ VPS/SSH khỏi brute-force

Fail2ban là gì? Nếu VPS của bạn có IP public, gần như chắc chắn bot sẽ quét và “đập pass” mỗi ngày. Fail2ban không làm bạn “bất khả xâm phạm”, nhưng nó là lớp phòng thủ nền cực hữu ích: giảm tấn công, giảm log rác và giảm tải dịch vụ đăng nhập.

Bài này dành cho:

• Người mới vận hành VPS (Ubuntu/Debian) cần hiểu nhanh Fail2ban là gì.
• Người đang bị brute-force SSH và muốn chặn nhanh, có whitelist/unban để tránh ban nhầm.

Bài viết sẽ tìm hiểu nhiều hơn về Fail2ban, và áp dụng Fail2ban vào hệ thống của bạn. Mời bạn đọc cùng theo dõi nội dung dưới bài chia sẻ này của MIXVPS.

Vì sao người dùng cần hiểu “Fail2ban là gì” khi thuê VPS?

Ngay sau khi thuê VPS và mở SSH ra Internet, nhiều người sẽ giật mình vì chỉ vài giờ là log SSH đã xuất hiện hàng loạt lượt đăng nhập thất bại. Đây là “dấu hiệu bình thường” vì bot tự động quét IP public liên tục, nó không cần biết VPS của bạn dùng để làm gì—thấy cổng mở là thử.

• Log SSH có rất nhiều dòng đăng nhập thất bại: thường là các lần thử mật khẩu sai liên tục, lặp đi lặp lại cả ngày.
• Bot thử các user phổ biến như root, admin, test, ubuntu… vì đây là những tài khoản hay tồn tại trên nhiều hệ thống.
• Nếu mật khẩu yếu hoặc từng bị lộ, rủi ro bị chiếm quyền tăng mạnh: chỉ cần một lần đoán đúng là kẻ tấn công có thể đăng nhập, cài backdoor, đào coin hoặc lấy dữ liệu.

Vì vậy, khi thấy VPS “bị đập” liên tục, người dùng sẽ bắt đầu tìm giải pháp kiểu “chặn bot theo IP”, và Fail2ban là cái tên xuất hiện nhiều nhất do nó dễ triển khai và hiệu quả rõ rệt với SSH brute-force.

Fail2ban hoạt động như thế nào?

Cơ chế của Fail2ban có thể hiểu theo một chuỗi rất rõ ràng:

Log của dịch vụ → Fail2ban “đọc” và nhận diện hành vi xấu → Ban IP bằng firewall → (Hết thời gian) tự gỡ ban

Điểm quan trọng: Fail2ban không đoán mò ai xấu ai tốt. Nó dựa trên những gì hệ thống ghi lại trong log. Ví dụ với SSH trên Ubuntu/Debian, log thường nằm ở /var/log/auth.log. Trong log này, mỗi lần đăng nhập thất bại sẽ có dòng kiểu “Failed password…”, “Invalid user…”, “authentication failure…”.

Fail2ban theo dõi log của dịch vụ

Khi Fail2ban chạy, nó sẽ “tail” log giống như bạn chạy tail -f vậy, nhưng thông minh hơn: nó biết dòng nào đáng quan tâm và dòng nào không.

Với SSH:

• Mỗi lần ai đó thử đăng nhập, thành công hay thất bại đều được ghi log.
• Bot brute-force thường tạo ra chuỗi thất bại liên tiếp trong thời gian ngắn.

Fail2ban dùng “filter” để nhận diện mẫu vi phạm

Fail2ban có các filter (bộ lọc) dạng pattern (thường là regex) để match các dòng log liên quan tới hành vi xấu.

Ví dụ filter của SSH thường nhận ra các tình huống:

• Thử mật khẩu sai nhiều lần (failed password)
• Dùng user không tồn tại (invalid user)
• Các dạng lỗi xác thực khác (authentication failure)

Khi filter match được một dòng log, Fail2ban sẽ trích xuất IP nguồn (địa chỉ IP đang cố đăng nhập) và ghi nhận “IP này vừa fail 1 lần”.

Fail2ban gom số lần vi phạm theo “cửa sổ thời gian”

Ở đây Fail2ban không ban ngay lập tức chỉ vì 1 lần sai (vì người thật cũng có thể gõ sai). Nó sẽ:

• Đếm số lần vi phạm của cùng một IP
• Trong một khoảng thời gian nhất định (findtime)
• Nếu vượt ngưỡng (maxretry) thì mới ban

Nôm na: “Trong 10 phút mà anh sai 5 lần thì anh có vấn đề”.

Đến ngưỡng → Fail2ban chạy “action” để ban IP

Khi IP vượt ngưỡng, Fail2ban kích hoạt action. Action thường là:

• Thêm rule vào firewall (iptables / nftables / UFW / firewalld tùy hệ)
• Rule này sẽ chặn IP đó truy cập vào port/dịch vụ tương ứng (phổ biến nhất là port SSH)

Vì ban bằng firewall nên hiệu ứng rất “thực dụng”: IP bị chặn sẽ không thể tiếp tục spam request như trước.

Ban tạm thời hoặc lâu hơn (tuỳ cấu hình)

Hầu hết cấu hình thực tế là ban tạm thời:

• Bot bị chặn một thời gian → nó bỏ qua và chuyển sang IP khác
• Hết thời gian → rule được gỡ → hệ thống “sạch” trở lại

Bạn cũng có thể cấu hình ban lâu hơn, thậm chí rất lâu, nhưng cần cân nhắc ban nhầm (đặc biệt nếu người dùng login từ IP động).

Fail2ban giúp bảo vệ VPS thế nào?

Fail2ban giúp VPS “đỡ bị làm phiền” và an toàn hơn bằng cách tự động phát hiện các hành vi đăng nhập sai lặp lại (đặc biệt là brute-force SSH) rồi chặn IP vi phạm qua firewall. Nhờ cơ chế dựa trên log, Fail2ban xử lý rất tốt các tình huống bot “đập pass” liên tục – thứ mà hầu hết VPS có IP public đều gặp.

Những lợi ích (tác dụng) rõ nhất của Fail2ban:

• Chặn brute-force SSH theo IP: Khi bot thử sai quá nhiều lần, IP đó sẽ bị ban trong một khoảng thời gian (hoặc lâu hơn tùy cấu hình). Điều này cắt giảm đáng kể số lượt thử mật khẩu vô nghĩa.
• Giảm tải cho dịch vụ đăng nhập: Ít request brute-force hơn đồng nghĩa SSH/web/mail bớt phải xử lý xác thực liên tục → VPS chạy “nhẹ” hơn, đặc biệt trên gói cấu hình nhỏ.
• Giảm log rác, dễ giám sát hệ thống: Thay vì hàng nghìn dòng failed login làm loãng log, Fail2ban giúp bạn nhìn ra các sự kiện quan trọng nhanh hơn.
• Tăng lớp phòng thủ nền (baseline security): Fail2ban không thay thế firewall hay SSH key, nhưng là lớp “tự động phản ứng” rất hữu ích để giảm rủi ro từ tấn công phổ biến.
• Mở rộng bảo vệ cho nhiều dịch vụ: Ngoài SSH, Fail2ban còn có thể áp dụng cho Nginx/Apache (login/http-auth), mail (Postfix/Dovecot), FTP… miễn là có log phù hợp.
  

Lưu ý: Fail2ban hiệu quả nhất khi đi kèm cấu hình bảo mật cơ bản như SSH key, hạn chế đăng nhập root, và chỉ mở đúng port cần thiết. Nhưng riêng việc bật Fail2ban cho SSH đã giúp VPS “sạch” và an toàn hơn thấy rõ.

Giải thích maxretry, findtime, bantime trong Fail2ban: đặt bao nhiêu là hợp lý?

Maxretry – Sai bao nhiêu lần thì ban

• Đây là ngưỡng số lần thất bại.
• Ví dụ maxretry = 5: IP nào fail 5 lần (trong findtime) sẽ bị ban.
• Nếu đặt quá thấp (2–3) có thể tăng ban nhầm; đặt quá cao (10+) thì bot vẫn spam khá lâu.

Findtime – Đếm số lần sai trong bao lâu

• Đây là “cửa sổ thời gian” để Fail2ban gom lỗi.
• Ví dụ findtime = 10m: Fail2ban chỉ xét các lần fail xảy ra trong 10 phút gần nhất.
• Findtime ngắn giúp phản ứng nhanh, nhưng dễ “lọt” kiểu tấn công rải rác chậm; findtime dài bắt được kiểu rải rác nhưng dễ ban nhầm hơn nếu người thật cứ thử lại.

Bantime – Ban trong bao lâu

• Đây là thời gian IP bị chặn.
• Ví dụ bantime = 1h: IP bị chặn 1 giờ rồi tự gỡ.
• Bantime càng dài thì bot càng “nản”, nhưng nếu ban nhầm thì cũng phiền hơn.

Nên dùng Fail2ban cho những dịch vụ nào?

SSH (sshd) – ưu tiên số 1 cho VPS public

Vì sao hiệu quả?

• SSH luôn bị bot quét mạnh nhất trên Internet (đặc biệt port 22).
• Log SSH ghi rất rõ các sự kiện như Failed password, Invalid user, authentication failure.
• Mỗi lần brute-force tạo ra chuỗi thất bại liên tiếp → Fail2ban dễ “bắt bài” và ban nhanh.

Kỹ thuật cần biết:

• Trên Ubuntu/Debian, SSH log thường nằm ở /var/log/auth.log.
• Jail phổ biến là [sshd].
• Ban IP sẽ chặn truy cập tới port SSH, giảm “đập pass” ngay lập tức.

Khuyến nghị triển khai:

• Bật sshd jail gần như mặc định cho mọi VPS public.
• Dùng ignoreip để whitelist IP quản trị nếu có IP cố định.
• Nếu dùng SSH key-only, Fail2ban vẫn hữu ích để giảm log rác và scan noise.

Nginx/Apache – hữu ích khi có điểm đăng nhập / admin

Fail2ban cho web thường bị hiểu nhầm: nó không phải WAF, không phân tích sâu payload, nhưng rất hợp để chặn các kiểu tấn công lặp lại có dấu hiệu rõ trong log.

Trường hợp nên dùng:

• Website có Basic Auth (HTTP 401) → brute-force user/pass.
• Các trang login/admin dễ bị dò: /wp-login.php, /wp-admin, /admin, /phpmyadmin…
• API/endpoint bị spam tạo nhiều 403/401/404 theo pattern (đặc biệt từ cùng 1 IP).

Kỹ thuật cần biết:

• Fail2ban chủ yếu dựa vào:
  • Access log (Nginx/Apache)
  • Error log (tùy filter)
• Các Jail phổ biến có thể gặp:
  • nginx-http-auth (brute-force Basic Auth)
  • apache-auth (tương tự)
• Điều quan trọng là filter phải match đúng format log của bạn (vì format access log có thể tùy biến).

Giới hạn kỹ thuật:

• Nếu tấn công phân tán nhiều IP (distributed), Fail2ban không “diệt hết” được.
• Nếu bạn cần bảo vệ lớp web mạnh hơn: rate limiting ở Nginx/Cloudflare/WAF sẽ phù hợp hơn, Fail2ban chỉ là lớp bổ trợ.

Mail (Postfix/Dovecot) – cực cần nếu bạn chạy Mail Server.

Mail Server là “mỏ vàng” của brute-force vì tài khoản email có thể bị dùng để spam, đánh cắp dữ liệu hoặc lừa đảo. Fail2ban ở mail thường hiệu quả rõ vì log xác thực của mail rất “thẳng”.

Trường hợp nên dùng:

• Bạn chạy SMTP/IMAP/POP3 public (Postfix/Dovecot).
• Thấy log có nhiều lần authentication failed, SASL login failed, “unknown user”…

Kỹ thuật cần biết:

• Dịch vụ mail có nhiều điểm xác thực:
  • SMTP AUTH (Postfix + SASL)
  • IMAP/POP3 (Dovecot)
• Mỗi dịch vụ/daemon có log riêng hoặc ghi chung tùy cấu hình.
• Fail2ban có nhiều jail dành cho Postfix/Dovecot để chặn brute-force theo IP.

Lưu ý vận hành:

• Người dùng email hay đăng nhập từ nhiều mạng (điện thoại/4G) → dễ phát sinh false positive nếu cấu hình quá “gắt”.
• Nên cân bằng maxretry/findtime/bantime và whitelist IP hệ thống (monitor, relay, trusted networks).

Cấu hình Fail2ban SSH cơ bản (khuyến nghị cho đa số VPS)

Tạo file cấu hình:

sudo nano /etc/fail2ban/jail.local

Dán cấu hình mẫu dưới đây (mức cân bằng, dễ dùng):

[DEFAULT]
bantime  = 1h
findtime = 10m
maxretry = 5

# Không ban localhost

ignoreip = 127.0.0.1/8 ::1
[sshd]
enabled = true

Áp dụng cấu hình:

sudo systemctl restart fail2ban

Vì sao đây là “mẫu hợp lý”?

• Bot thường thử liên tục, nên 5 lần sai đã đủ kích hoạt ban.
• Ban 1 giờ giúp giảm spam đáng kể mà vẫn hạn chế ban nhầm người dùng thật.

Nếu VPS bị đập mạnh, bạn có thể tăng mức “gắt”:

• maxretry = 3
• bantime = 6h (hoặc 12h)

Nếu VPS là môi trường học tập/đội nhóm hay nhập sai mật khẩu:

• giữ maxretry = 5–7
• bantime = 30m–1h

Whitelist IP để tránh bị ban nhầm (ignoreip)

Trường hợp rất hay gặp: bạn login sai vài lần rồi… tự bị chặn.

Nếu bạn có IP cố định (nhà/văn phòng/VPN), hãy thêm vào ignoreip:

ignoreip = 127.0.0.1/8 ::1 YOUR_PUBLIC_IP

Ví dụ:

ignoreip = 127.0.0.1/8 ::1 203.0.113.10

Sau đó restart:

sudo systemctl restart fail2ban

Nếu IP của bạn hay thay đổi (4G/ISP), whitelist theo IP sẽ không ổn. Khi đó, hướng đúng thường là:

• dùng SSH key,
• hoặc dùng VPN có IP cố định,
• hoặc giới hạn IP truy cập SSH theo dải/nguồn tin cậy.

Cách kiểm tra Fail2ban đang chặn gì (và IP nào đang bị ban)

Kiểm tra các jail đang hoạt động:

sudo fail2ban-client status

Kiểm tra riêng jail SSH:

sudo fail2ban-client status sshd

Bạn sẽ thấy các thông tin quan trọng như:

• Jail có đang chạy không,
• Tổng số lần bị match,
• Danh sách IP đang bị ban (Banned IP list).

Muốn xem log Fail2ban để debug:

sudo tail -n 100 /var/log/fail2ban.log

Muốn xem log SSH (Ubuntu/Debian):

sudo tail -n 100 /var/log/auth.log

Unban IP nhanh khi bị chặn nhầm

Nếu bạn hoặc khách bị ban nhầm, unban rất nhanh:

sudo fail2ban-client set sshd unbanip 1.2.3.4

Nếu không chắc jail tên gì, hãy chạy fail2ban-client status trước rồi unban đúng jail.