Hướng dẫn cách tạo và điều hướng file Robots.txt chuẩn seo

Thảo luận trong 'Thủ Thuật SEO - SEO Tip' bắt đầu bởi Search Engine, 20/1/15.

Trạng thái chủ đề:
Không mở trả lời sau này.
  1. Search Engine

    Search Engine Administrator

    Bài viết:
    397
    Đã thích:
    516
    Trong SEO Onpage, bạn sẽ bắt gặp một khái niệm về tập tin robots.txt . Một yếu tố quan trọng không thể thiếu trong quá trình tối ưu hóa website của bạn.

    Vậy tập tin file Robots.txt là gì ? Nó quan trọng như thế nào ?

    Bài viết này mình sẽ chia sẻ khái niệm và công dụng của file robots.txt. Và Hướng dẫn cách tạo và điều hướng file Robots.txt chuẩn seo cho những bạn mới.

    1. Khái niệm file robots.txt

    Robots.txt là tập tin đơn giản dạng text có đuôi .txt được đặt trong thư mục gốc của website ngang cấp với tập tin index.html

    File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó.

    [​IMG]

    2. Tại sao chúng ta phải tạo file robots.txt ?

    Khi các Google Bot vào website của bạn để thu thập dữ liệu thì tập tin đầu tiên của nó truy cập đó chính là file robots.txt. Như khái niệm, file robots.txt sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot. Do đó website bạn không thể thiếu file robots.txt.

    Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

    [​IMG]

    3. Cách tạo file robots.txt chuẩn SEO

    Rất đơn giản để tạo file robots.txt bạn chỉ cần mở chương trình Notepad điền các câu lệnh của nó. Lưu file tên robots.txt và đặt nó vào thư mục gốc website ngang với file index.

    Câu lệnh cơ bản của file robots.txt là :

    Mã:
    User-agent: *
    Allow:
    Disallow:
    Sitemap :
    User-agent : xác định loại Google Bot có thể truy cập vào website.
    Allow : cho phép Google Bot truy cập vào thư mục hay trang.
    Disallow : chặn Google Bot truy cập vào thư mục hay trang.
    Sitemap : nêu địa chỉ liên kết sitemap của website.


    4. Cách sử dụng file Robots.txt


    + Chặn tất cả các bot vào web

    Mã:
    User-agent: *
    Disallow: /
    
    – với lệnh trên thì không có công cụ tìm kiếm nào lập chỉ mục (index) website của bạn, có nghĩa là các bài viết trên website của bạn sẽ không xuất hiện trong kết quả tìm kiếm của các công cụ tìm kiếm.

    + Không cho bot truy cập vào một thư mục, trang nào đó

    Mã:
    
        User-agent: *
        Disallow: /wp-includes/
        Disallow: /test.html
    
        điều này có nghĩa là cho tất cả các loại bot truy cập vào website và trừ thư mục wp-includes và trang test.html không được truy cập.
    
    
    + Chặn 1 bot nào đó

    Mã:
    User-agent: SpamBot
    Disallow: /
    User-agent: *
    Disallow: /wp-includes/
    – spamBot bị cấm truy cập tất cả tài nguyên. Trong khi các bot khác được truy cập tất cả trừ thư mục “wp-includes”

    + cho phép bot truy cập vào một thư mục, trang nào đó

    Mã:
    User-agent: *
    Allow: /bai-viet/
    Allow: /demo.html
    Disallow: /wp-includes/
    – cho tất cả bot truy cập vào thư mục bai-viet vài trang demo, nhưng không truy cập được thu mục wp-includes

    + Các loại Google Bot khi truy cập vào website


    • Google Bot : Bot thu nhập thông tin và đánh số chỉ mục mới hay cũ của Google.
    • Googlebot-Mobile : Bot thu thập thông tin và đánh số chỉ mục thiết bị di động.
    • Googlebot-image : Bot thu thập thông tin và đánh số chỉ mục hình ảnh của Google.
    • Mediapartners-Google: Bot xuất hiện quảng cáo của Google Adsence.
    • Adsbot-Google : Bot thu thập và đánh số chỉ mục sản phẩm hay dịch vụ của Google Adwords.
    + Một số lưu ý khi tạo file robots.txt

    • Phân biệt chữ hoa hay thường.
    • Sử dụng đúng cấu trúc câu lệnh
    • Không thêm các ký tự đặc biệt
    • Một câu lệnh nên viết một dòng
    • Không được dùng khoảng trắng trước câu lệnh

    + Một số công cụ kiểm tra file robots.txt

    • Công cụ kiểm tra file robots.txt : frobee.com/robots-txt-check
    • Công cụ tạo file robots cho blogpost : ctrlq.org/blogger/
    • Giới thiệu một số mẫu file robots.txt : link-assistant.com/blog/10-robots-txt-files-worth-to-have-a-look-at/

    Ghi nguồn diễn đàn seo seomxh.com khi đăng tải lại bài viết này.
    Link: Hướng dẫn cách tạo và điều hướng file Robots.txt chuẩn seo
     
    Đang tải...
    Last edited by a moderator: 14/1/16
  2. Thế Hùng

    Thế Hùng Well-Known Member

    Bài viết:
    163
    Đã thích:
    121
    Tuy rằng robots.txt ai cũng biết , nhưng không phải ai cũng biết thiết lập nó chuẩn theo từng web !

    Đây là kiến thức cũ nhưng rất mới với các bạn bắt đầu seo
     
    MozSeo thích bài này.
  3. taidoanh

    taidoanh Well-Known Member

    Bài viết:
    237
    Đã thích:
    12
    mình toàn bỏ qua file này. thật sự chưa tập chung làm nó. sau bài này chắc cũng nên tập chung vào nó hơn để đạt hiệu quả tốt hơn
     
  4. MozSeo

    MozSeo Administrator

    Bài viết:
    1,255
    Đã thích:
    1,433
    Bạn nên bổ xung ngay vào thôi , cái này là cho boss vào hay không vào website bạn , nếu không có thì seo rất khó lên top và không bền vững nhé , bạn đọc bài admin và làm theo !
     
  5. kieutrang101292

    kieutrang101292 New Member

    Bài viết:
    1
    Đã thích:
    0
    Có nhất thiết phải có không ạ. Mình thì chỉ tập trung vào on và off thôi chứ ít để ý mấy cái này.
     
  6. nobita

    nobita Well-Known Member

    Bài viết:
    184
    Đã thích:
    7
    sau khi chạy web mới việc đầu tiên mình làm là tạo cái thằng robots.txt này
     
  7. Thế Hùng

    Thế Hùng Well-Known Member

    Bài viết:
    163
    Đã thích:
    121
    Cái này là các bước đầu tiên tìm hiểu nhé , thiết cái này thì website bạn lên top nổi không , bạn vào wmt hay google anlantic đều có thông báo về tình trang robot , vì cái này là boss nó thu thập thông tin của website bạn !
     
  8. ShareCode

    ShareCode Member

    Bài viết:
    19
    Đã thích:
    33
    Các bạn lưu ý là thiết file robots thì wwebsite bạn rất khó lòng lên top và wmt khó thông báo tình trạng boss vào website của các bạn nhé
     
  9. datbinhduong2000

    datbinhduong2000 Well-Known Member

    Bài viết:
    262
    Đã thích:
    26
    Mà sao seo blogspot có người nói nên tạo người thì không? Các bạn trả lời giúp mình với.
     
  10. maidangtuan

    maidangtuan New Member

    Bài viết:
    2
    Đã thích:
    0
    bài viết rất hữu ích, cho mình hỏi làm sao để khi tìm kiếm trên google website mình nó hiện ra các menu trên google luôn?
     
Trạng thái chủ đề:
Không mở trả lời sau này.
Đang tải...
Đang tải...