Bạn có tạo thuận lợi cho công cụ tìm kiếm crawl website không

Thảo luận trong 'Thủ Thuật SEO - SEO Tip' bắt đầu bởi Search Engine, 10/9/15.

  1. Search Engine

    Search Engine Administrator

    Bài viết:
    397
    Đã thích:
    516
    Sau nhiều năm quan sát các công cụ tìm kiếm, thật thú vị khi thấy có quá nhiều thay đổi đã diễn ra. Chúng ta đi từ việc phân tích từ khóa hiệu quả tới tối ưu tỷ lệ chuyển đổi, đi từ bước đầu thu hút khách hàng cho tới bước cuối cùng trong phễu chuyển đổi. Dù vậy, vẫn có một bước ở giữa rất quan trọng đó là cánh cửa để bước vào website.

    Trong khi người dùng là mục tiêu quan trọng tác động tới yếu tố chuyển đổi thì những người làm SEO phải quan tâm tới sở thích của công cụ tìm kiếm, để có nhiều lượt hiển thị hơn nhằm thu hút người dùng. Từ góc nhìn của một người làm SEO, trước khi người dùng bước vào web thì công cụ tìm kiếm vào được web một cách dễ dàng, không bị gián đoạn.

    Nếu bạn cố gắng để cải thiện chất lượng của website đối với công cụ tìm kiếm thì bạn cũng làm một việc tương tự đối với người dùng. Bài viết này đưa ra một danh sách các việc cần làm để giúp trang của bạn được công cụ tìm kiếm crawl tốt hơn.

    Kết nối

    Công cụ: Pingdom Website Speed Test

    Pingdom Website Speed Test.

    Trước khi nghĩ tới chuyện công cụ tìm kiếm vào thăm website, bạn cần phải xem xét trang web của mình kết nối với server như thế nào. Việc đầu tiên là kiểm tra Ping và Traceroute để xem có vấn đề gì trong kết nối không.

    Một phương án khác là kiểm tra dữ liệu thẳng từ Google Analytics. Xem trong phần Behavior>>Site Speed>>Page Timings các thông số như Avg. Redirection Time, Avg. Domain Lookup Domain, Avg. Server Connection Time, and Avg. Server Response Time.

    [​IMG]

    Sự rõ ràng

    Tools: Google Search Console và Sitemap Writer Pro

    Tôi gọi đây là “sự rõ ràng” vì nó thật sự là điểm bắt đầu của công cụ tìm kiếm trên website. Nó là nền móng của SEO. Tuy nhiên, nếu bạn cảm thấy nó không quen thuộc gì, dưới góc nhìn của SEO, nó có thể giới hạn khả năng của bạn.

    robots.

    Bạn sẽ xem trong phần Google Search Console>>Crawl>>Robots.txt tester để xem Google bot vào file robots.txt như thế nào, cái gì bạn không cho nó thấy. Đây là cơ hội tuyệt vời để xem xét lại những thứ bạn bỏ qua và cho phép bạn kiểm tra lại những vùng có thể có giá trị mà không cho công cụ tìm kiếm vào xem.

    Chạy kiểm tra những trang quan trọng nhất của website để chắc chắn khôgn có lỗi lầm nghiêm trọng nào. Bạn cũng nên đảm bảo sitemap hiện tại chứa đầy đủ các trang, hình ảnh, video để công cụ tìm kiếm có thể vào xem thường xuyên khi nó cần.

    Tải trang

    Công cụ: Pingdom Website Speed Test và Google PageSpeed Insights

    Tốc độ tải trang là một trong những yếu tố xếp hạng qua nhiều năm nay. Yếu tố này tối ưu khi những file riêng CSS và JavaScript để gọi ra càng ít càng tốt. Tôi thấy nhiều người có thể đáp ứng được việc tối ưu này, nhưng lại thường bỏ qua các trang 404 hoặc những trang redirect. Mặc dù redirect không phải là điều xấu nhưng nó cũng khiến cho công cụ tìm kiếm ngừng crawl trang web một thời gian.

    mccoy4.

    Chúng ta sử dụng công cụ Pingdom's speed test một lần nữa, bởi nó có công cụ xem xét tải trang rất tốt. Với những trang mà request lâu, bạn có thể thấy màu của file đó được tô màu khác như kiểu file chết hay redirect.

    Nhân tiện khi chúng ta nói với redirect, cách để giúp cho bọ crawl website dễ dàng hơn thì hãy sử dụng redirect nội website. Sử dụng các công cụ như Xenu's Link Sleuth hay SEMrush Site Audits bạn có thể tìm ra được những link nội bộ hỏng hay redirect.

    Render trang

    Công cụ: Google Search Console (Fetch as Googlebot and Blocked Resources)

    Khi bạn tới đây thì website đã được tối ưu về việc load các file. Vậy công cụ tìm kiếm thấy nó như thế nào? Nó chỉ load content của bạn thì không có nghĩa là lỗi không xảy ra. Sử dụng Fetch as Googlebot trong Search Console, bạn sẽ thấy được liệu bài viết của mình được người dùng nhìn thấy giống với những gì bọ nhìn thấy. Trong khi đó, xem trong phần Blocked Resources bạn có thể kiểm tra lại lần nữa những trang bị chặn bởi server bị time out hay là do robots.txt chặn.

    Trùng lặp nội dung hoặc là Crawl thừa

    Công cụ: SEMrush Site Audit, SiteLiner, và tự kiểm tra thủ công

    Tôi đã nói tới redirect và link hỏng, và chúng ta có thể bàn sâu hơn về việc chuyển hướng các đường link nhưng cái tôi muốn nói ở đây là về việc crawl dư thừa và những trùng lặp trong content không phát hiện được. Khi mà Googlebot bỏ thời gian vào web để crawl bài, bạn có muốn có làm việc một cách nhanh chóng nhất hay là làm phiền nó với những trang trùng lặp hoặc đã được crawl rồi?

    Có những công cụ giúp bạn phát hiện trùng lặp như SiteLiner hay SEMrush, tuy nhiên cách tôi thường làm là copy lại tiêu đề hoặc câu trong content để tìm kiếm trong site. Bạn sẽ thường phát hiện ra những nội dung trùng lặp trên nhiều trang khác nhau hoặc trùng lặp content trên sub-domain.

    Kết luận

    Dĩ nhiên là chúng ta không thể làm mọi thứ để mở cửa cho công cụ tìm kiếm vào website được nhưng tôi đã liệt kê ra cho bạn những điểm chính mà các trang thường mắc lỗi. Hãy nghĩ về quá trình crawl của công cụ tìm kiếm khi nó vào site, gõ cửa và bạn mở cửa cho nó vào.

    Ghi nguồn LINK diễn đàn seo seomxh.com khi đăng tải lại bài viết này.
    LINK : Bạn có tạo thuận lợi cho công cụ tìm kiếm crawl website không
     
    Đang tải...
  2. Linh Le

    Linh Le Well-Known Member

    Bài viết:
    46
    Đã thích:
    8
    Ngoài ra còn phải tạo ra sitemap xml nữa nhỉ, để cho chúng nó có bản đồ biết đường mà mò vào những đâu.
    Còn một điểm quan trọng nữa mà mình chưa thấy, đó là tối ưu cho internal link, điều này giúp cho bot được điều hướng xuyên suốt website mà ko phải chạy lung tung
     
  3. jackchau

    jackchau Well-Known Member

    Bài viết:
    79
    Đã thích:
    13
    Bài dịch của bạn hay lắm. Mình định dịch mà bạn dịch trước mất rồi. Bài viết của Blogger người Ấn này khá tốt. Cám ơn bạn!
     
  4. minhphuc0101

    minhphuc0101 Well-Known Member

    Bài viết:
    47
    Đã thích:
    7
    Khó nhất là việc điều hướng các internal link sao cho bọ ở lại web crawl tất cả các bài nhưng mà tốc độ của nó phải nhanh chứ không rề rà làm ảnh hưởng các bài mới nhỉ :-?
     
  5. tai facebook

    tai facebook Well-Known Member

    Bài viết:
    51
    Đã thích:
    8
    sao a kiếm nguồn dịch hay vậy. google dịch k giống a. mình thử rồi mà chịu. tiếng anh quá kém
     
  6. cogihot2011

    cogihot2011 Member

    Bài viết:
    20
    Đã thích:
    2
    Mình thì có 1 cách bọ tìm kiếm nhanh nhất đó là làm site map và kết hợp submit ngay khi có bài mới
     
  7. sthaihien

    sthaihien Well-Known Member

    Bài viết:
    900
    Đã thích:
    160
    Viết bài chất thật nhiều + điều hướng link để google bot luôn ở trên site ;)
     
  8. minhphuc0101

    minhphuc0101 Well-Known Member

    Bài viết:
    47
    Đã thích:
    7
    Cho mình hỏi là sitemap mình đặt cho nó priority là 100 để crawl mỗi ngày thì nhanh nhất hả bạn :-? Trước giờ mình toàn tạo tự động bằng plugin không à
     
  9. blackhat_seo

    blackhat_seo Well-Known Member

    Bài viết:
    77
    Đã thích:
    3
    mình thấy chủ thớt chỉ nói các điều kiện ngoại biên ( mở cửa ) cho GG đi vào thôi còn muốn GG crawl tốt đầu tiên fai có sitemap + Robotx sau đó là các điều hướng link nội
     
  10. vinanetco

    vinanetco Guest

    Cần lắm những bài viết như thế này, nhưng có vẻ thiếu thì phải?
     
Đang tải...
Đang tải...