Công cụ tìm kiếm xử lý các liên kết như thế nào?

Hiểu được cách công cụ tìm kiếm xử lý và thu thập liên kết sẽ giúp cho bạn định hướng con đường tối ưu hóa website của mình nhằm tạo thuận lợi cho quá trình index trang.

Có bao giờ bạn tự hỏi công cụ tìm kiếm thu thập dữ liệu, phân tích, index và xếp hạng các trang như thế nào không?

Có bao giờ bạn tự hỏi 404s, rel=canonicals, noindex, nofollow, và robots.txt làm việc như thế nào không? Sau đây là những giải thích rất cơ bản về cách công cụ tìm kiếm thu thập trang và liên kết:

Thu thập dữ liệu

Công cụ tìm kiếm thu thập dữ liệu (ví dụ minh họa là một con nhện như hình) ghé thăm một trang web bất kỳ. Cái đầu tiên mà nó thu thập đó là file robots.txt.

Giả sử tập tin này không tồn tại hoặc có thể thu thập thông tin trên toàn bộ trang web. Công cụ vẫn sẽ thu thập thông tin trên tất cả các trang này và lấy cơ sở dữ liệu. Nghĩa là, nó như một hệ thống thu thập dữ liệu theo kế hoạch có sẵn nhằm sao lưu và ưu tiên thu thập ngẫu nhiên trên các trang.
Khi đó, nó thu thập một danh sách tất cả các trang chứa liên kết. Nếu gặp liên kết nội bộ, công cụ này sẽ dựa vào chúng để thu thập thông tin các trang khác. Nếu gặp liên kết ngoài, nó sẽ đưa vào một cơ sở dữ liệu.
Xử lý liên kết

Sau khi các đồ thị liên kết được xử lý, công cụ tìm kiếm sẽ lấy tất cả các liên kết ra khỏi cơ sở dữ liệu và kết hợp chúng lại, gán các giá trị liên quan cho chúng. Các giá trị có thể là tích cực hoặc tiêu cực. Ví dụ, nếu có 1 trang spam và trang này liên kết đến các trang khác, nó có thể đem đến giá trị liên kết xấu vào những trang đó.
Trang ở ví dụ trên có giá trị tốt nhiều hơn so với spam. Vì vậy, nó là một trang tốt. Trang này sẽ được công cụ tìm kiếm đánh giá cao.

Chặn trang với Robots.txt

Trở lại với ví dụ ban đầu. Giả sử tập tin robots.txt cho biết các công cụ tìm kiếm không thể truy cập vào một trong các trang này.

Điều đó có nghĩa rằng trong khi công cụ tìm kiếm đang thu thập thông qua các trang web và lập danh sách liên kết, không có bất kỳ dữ liệu về trang đó được bao gồm trong file robots.txt.

Trở lại với đồ thị liên kết như ví dụ. Giả sử rằng các trang này bị chặn bởi robots.txt:
Công cụ tìm kiếm vẫn sẽ thu thập tất cả các liên kết đến trang đó và đếm chúng. Tuy nhiên, công cụ tìm kiếm không thể nhìn thấy bất kỳ giá trị nào của những trang này.

Sử dụng 404 hoặc 410 để loại bỏ trang

Tiếp theo, giả sử rằng thay vì chặn trang đó với robots.txt, đơn giản hãy loại bỏ nó. Vì vậy, các công cụ tìm kiếm sẽ cố gắng để truy cập vào trang này, nhưng sẽ biết được trang này không còn tồn tại nữa.
Điều này có nghĩa là khi đồ thị liên kết được xử lý, các liên kết đến trang đó sẽ vô hiệu lực và được lưu trữ lại sau khi trang này hồi phục.
Tuy nhiên, đôi khi các trang ưu tiên sẽ được thu thập thông tin và index.

Công cụ tìm kiếm index như thế nào?

Các từ xác định và yếu tố index trên một trang sẽ kết hợp các từ và các yếu tố trong một cơ sở dữ liệu.

Công cụ tìm kiếm sử dụng thuật toán của nó để xác định các trang web được index, đánh giá các liên kết dẫn đến trang web và tên miền, xử lý hàng chục của các số liệu đã biết và chưa biết khác để đi đến một giá trị cuối cùng. Nếu Panda hay Penguin đang “chú ý” trang web này thì đây sẽ là một vấn đề quan trọng. Giá trị cuối cùng sẽ quyết định thứ hạng trang đó trong kết quả tìm kiếm.

Loại bỏ trang với Noindex

Noindex hoạt động tương tự như robots.txt ngoại trừ thay vì bị chặn thu thập trang, công cụ tìm kiếm hoàn toàn có thể truy cập vào nó nhưng sau đó phải ra khỏi trang này. Công cụ tìm kiếm vẫn sẽ thu thập các liên kết trên trang để thêm vào cơ sở dữ liệu và nó vẫn sẽ gán giá trị cho các liên kết dẫn đến trang đó.
Tuy nhiên, nó sẽ không củng cố giá trị các trang khác và không dừng việc gán giá trị qua các trang. Tất cả những việc mà Noindex thực hiện đó là yêu cầu công cụ tìm kiếm không index trang.

Do đó, chỉ có một cách để ngăn chặn việc gán giá trị của liên kết cho các trang đó là sử dụng 404 hoặc 410. 410 có vẻ triệt để hơn 404, tuy nhiên cả hai sẽ khiến trang của bạn không thể index. Có nhiều cách khác để ngăn chặn gán giá trị từ liên kết này sang liên kết khác nhưng ít khi quản trị web kiểm soát các trang web khác, họ chỉ theo dõi các trang của mình.

Hy vọng rằng bài viết này sẽ giúp bạn hiểu được cách công cụ tìm kiếm truy cập vào các trang web và sự khác biệt giữa robots.txt và noindex.

Dịch:seovietnam.net.vn
Nguồn: SearchEngineLand