Khắc phục: Googlebot không thể truy cập vào tệp JS và CSS trên site của bạn

Thảo luận trong 'Thủ Thuật SEO - SEO Tip' bắt đầu bởi chicken2nd, 29/7/15.

  1. chicken2nd

    chicken2nd Administrator

    Bài viết:
    178
    Đã thích:
    256
    1. Biểu hiện:
    Thông báo từ Google cảnh báo về việc Google không thể truy cập vào các file Javascript và Css trên website của bạn, điều này ảnh hưởng đến thuật toán tìm kiếm thông tin và hiển thị chuẩn toàn bộ website của bạn trên máy chủ Google, nên có thể sẽ khiến cho thứ hạng website ảnh hưởng.

    2. Nguyên nhân

    Có khá nhiều nhưng mình muốn nói về cái thường thấy nhất: tệp tin điều khiển robot: robots.txt.

    3. Xử lý

    a. Làm theo hướng dẫn của Google để đảm bảo tìm ra được robots.txt đã chặn ở các thư mục js và css nào.

    • Truy cập vào GWT > Thu thập dữ liệu> Tìm nạp như Google.
    • Tại giao diện này bạn cần chọn lựa lấy vài mẫu đường dẫn của website để thử nghiệm. Thử nghiệm tải trên mobile và thử nghiệm tải trên máy tính bàn nhằm đảm bảo nó hiển thị ok.

    Theo đề xuất của mình là:

    - Đường dẫn trang chủ để nguyên khung trống và nhấp tìm nạp và hiển thị (máy tính bàn và điện thoại thông minh – Sờ mát phôn ấy nhé).

    - Đường dẫn một trang danh mục nào đó nếu như website có cấu trúc phân chia danh mục ví dụ:
    Mã:
    http://abc.com.vn/thuoc-chua-dep-trai.html
    .

    Lưu ý đường dẫn này là đường dẫn danh mục, tức là nơi tổng hợp các tin, bài hoặc sản phẩm - ví dụ:
    Mã:
    http://abc.com.vn/thuoc-chua-dep-trai/thuoc-moc-mun.html
    - Đường dẫn một trang chi tiết ví dụ:
    Mã:
    http://abc.com.vn/thuoc-chua-dep-trai/thuoc-moc-mun.html
    Đưa vào và kiểm tra 3 mẫu này với 2 hình thức hiển thị.

    Chờ đợi khoảng vài phút, sau khi có kết quả, thì nhập vào bên trong xem phần hiển thị để biết Google bot đang bị chặn không được phép tìm kiếm các tài nguyên hiển thị nào.

    b. Xử lý nguồn tài nguyên bị chặn.

    Bây giờ mình muốn lưu ý rằng để xử lý tốt, thứ nhất các bạn cần có kiến thức về robots.txt và cách điều hướng nó.

    Thứ 2 các bạn cần hiểu về nền tảng website mà bạn đang quản trị, sở hữu để nhanh chóng tìm ra điều hướng đúng cho Google.

    Dưới đây mình sẽ lấy ví dụ một điều hướng trên nền tảng Joomla (PHP). Việc trước tiên là tải file rotbots.txt xuống xử lý cho dễ. Hoặc các bạn cũng có thể dùng công cụ editor có sẵn trong bộ quản lý file trên hosting (file manager > edit) của các bạn để xử lý.

    Giải thích:

    User-agent: * áp dụng với tất cả các loại robots. Nếu bạn cảm thấy bạn cần phải khống chế một thằng nào đó thì vui lòng chọn thêm

    User-agent: tên robot đó

    Disallow: /

    Với Disallow: /tmp/ là không cho phép robotx mò mẫm vào thư mục tmp

    Allow: /modules/*.jpeg tức là cho phép nó mò vào và xem tất cả các file có đuôi là đuôi ảnh jpeg trong thư mục /modules/ mặc dù bên trên các bạn thấy là chúng ta đã Disallow: /modules/

    - không cho phép robots mò mẫm vào trong thư mục /modules.

    Đối với wordpress các bạn có thể sửa trực tiếp robots.txt trên quản trị site thông qua plugin seo như yoast nhé.

    c. Kết thúc

    Lưu file robots.txt lại, up lên website của bạn tại thư mục cao nhất ví dụ:
    Mã:
    http://abc.com/
    , như vậy bạn có thể xem lại bằng
    Mã:
    http://abc.com/robots.txt
    Các nền tảng website khác như ngôn ngữ aspx, asp… hoặc các phần mềm quản trị nội dung như drupal, opencart, magento, hay các nền tảng website 2.0 kiểu dạng như VBB, IBP, XF vui lòng comment bên dưới, mình sẽ hướng dẫn cách khắc phục (chú ý là không phải câu hỏi nào mình cũng reply nhé. Mình kiêu lắm, nhất định phải chọn lựa :D)
     
    Đang tải...
  2. chicken2nd

    chicken2nd Administrator

    Bài viết:
    178
    Đã thích:
    256
    Ai cần thì xem nhé ^^! Chúc mọi người sớm vượt qua các khó khăn Google tặng cho bạn ^^!
     
  3. kientt

    kientt Well-Known Member

    Bài viết:
    277
    Đã thích:
    93
    Các bạn bị chặn js, css có thể tham khảo thêm cách đơn giản hơn là thêm vào bên dưới User-agent: * đoạn code:
     
    Chỉnh sửa cuối: 30/7/15
  4. nhatlinhit88

    nhatlinhit88 Well-Known Member

    Bài viết:
    48
    Đã thích:
    5
    Mình cũng nhận được mail từ google về điềều này. Nó rắc rối ra. Phụ thuộc mỗi nó đúng là mệt thật.
     
  5. chicken2nd

    chicken2nd Administrator

    Bài viết:
    178
    Đã thích:
    256
    Đoạn code này không đúng định dạng robots bạn nhé!
     
  6. Gbriel

    Gbriel Well-Known Member

    Bài viết:
    161
    Đã thích:
    64
    Đây nè các thím :v

    User-agent: *
    Allow: /*.js$
    Allow: /*.css$
     
  7. gamehayst

    gamehayst Well-Known Member

    Bài viết:
    812
    Đã thích:
    62
    Cái này hôm trước cũng thấy thông báo trên Webmaster tool. Tuy nhiên trên file robot cũng không có disallow file js vs CSS mà sao vẫn bị thông báo nhỉ
     
  8. kientt

    kientt Well-Known Member

    Bài viết:
    277
    Đã thích:
    93
    Ở đây bạn nói ko đúng là như nào?, không đúng định dạng hay sao?. Mình thiếu 1 dấu / ở đâu nhưng web mình đang dùng đoạn này thì không thấy báo lỗi CSS hay JS gì.
     
  9. sthaihien

    sthaihien Well-Known Member

    Bài viết:
    900
    Đã thích:
    160
    Do site bạn không có chặn js css nha.
    Tôi đã test trên wmt nó vẫn chặn như thường. Kiểm tra trước khi chia sẽ nha!!!
     
  10. chicken2nd

    chicken2nd Administrator

    Bài viết:
    178
    Đã thích:
    256
    Mã:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache/
    Allow: /wp-content/themes/
    Allow: /wp-content/plugins/
    Allow: /wp-content/uploads/
    Allow: /wp-includes/css/
    Allow: /wp-includes/js/
    Allow: /wp-includes/images/
    Đoạn này bỏ đi 3 thằng là
    Mã:
    Allow: /wp-content/themes/
    Allow: /wp-content/plugins/
    Allow: /wp-content/uploads/
    Lý do vì thư mục phía trước nó wp-content không bị chặn, nên các bot mặc định sẽ vào và xem xét.
    Bởi vậy code trên sẽ được thu gọn thành
    Mã:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache/
    Allow: /wp-includes/css/
    Allow: /wp-includes/js/
    Allow: /wp-includes/images/
    Lưu ý với các bạn: Mỗi site mỗi khác nhau, nên cần phải xem kỹ site của mình thông qua việc kiểm tra trên GWT cho chắc chắn.
     
    trangda thích bài này.
Đang tải...
Đang tải...