Robots.txt không phải là một file HTML, chẳng có tí code HTML nào cả, thực ra nhìn vào đuôi .txt thì bạn đã đủ rõ, nó chỉ là file text rất đơn giản nhưng lại vô cùng quan trọng với một trang web.
Đọc thêmCùng tìm hiểu file robots.txt – kẻ dẫn đường chỉ lối cho bọ tìm kiếm