Ae seoer cho em hỏi làm mình đặt file robost.txt thế này đã ok! chưa ạ mà sao google vẫn báo là URL bị chặn ạ. Em cảm ơn ạ. User-agent: * Disallow: admin Disallow: css Disallow: js Disallow: bin Sitemap:Mã:http://maycuanhuacuanhom.vn/sitemap.xml
Đồng chí Disallow thế kia có vẻ không ổn đâu. Disallow sẽ chặn máy tìm kiếm không thể thu thập dữ liệu ở các trang mà bạn định nghĩa. Cái admin, css, js không nói làm gì vì có thể website của bạn không có URL nào chứa từ khóa đó, nhưng cái bin thì mình thấy ko ổn. Bạn disallow thế thì các URL, chẳng hạn như có chứa từ khóa binh, bing,...đều sẽ bị chặn. Kiểm tra xong GWT xem Google thông báo không thu thập được dữ liệu ở URL nào mà điều chỉnh.
chặn folder admin & bin thì Disallow: /admin Disallow: /bin css và js không cần chặn. nếu muốn chặn thì dùng cú pháp này: Disallow: *.css Disallow: *.js
thấy cái css và js thì không nên chặn, đã có 1 lần nào đó GG đã nói về điều này mà mình đã bỏ chặn nó đi
