Tín hiệu kỹ thuật và trở ngại lập chỉ mục
Công cụ rà soát các tín hiệu kỹ thuật quyết định trang có đủ điều kiện được lập chỉ mục hay không. Công cụ không đảm bảo Google sẽ lập chỉ mục trang nhưng nhanh chóng chỉ ra các nguyên nhân chặn rõ ràng.
- Kiểm tra trạng thái HTTP và xác định yêu cầu có bị chuyển hướng hay không.
- Đọc quyền truy cập trong robots.txt theo danh tính bot được chọn.
- Phát hiện tín hiệu noindex trong meta robots và X-Robots-Tag.
- So sánh đích canonical với URL cuối cùng.
Khi nào nên kiểm tra khả năng lập chỉ mục
Dùng công cụ khi trang đã được phát hiện nhưng chưa lập chỉ mục, trước khi ra mắt trang mới, khi lưu lượng giảm sau một đợt phát hành hoặc khi Search Console báo URL bị loại trừ.
- Trước khi gửi các URL quan trọng để yêu cầu lập chỉ mục.
- Sau khi chuyển đổi trang web, thiết lập chuyển hướng hoặc thay đổi mẫu trang.
- Khi sitemap có các trang vẫn không xếp hạng.
- Khi người dùng thấy trang hoạt động bình thường nhưng công cụ tìm kiếm không thể thấy.
Cách đọc kết quả kiểm tra khả năng lập chỉ mục
Trang có thể đủ điều kiện kỹ thuật để lập chỉ mục nhưng vẫn không được lập chỉ mục do chất lượng, nội dung trùng lặp, độ uy tín hoặc liên kết nội bộ yếu. Trước tiên, công cụ này trả lời câu hỏi về điều kiện kỹ thuật.
- Lỗi HTTP là nguyên nhân chặn nghiêm trọng cho đến khi được khắc phục.
- Quy tắc robots disallow chặn thu thập dữ liệu nhưng không phải lúc nào cũng ngăn phát hiện URL.
- Noindex yêu cầu công cụ tìm kiếm không giữ trang trong chỉ mục.
- Dùng URL canonical khác có nghĩa URL hiện tại có thể không phải URL được xếp hạng.
Lỗi thường gặp về khả năng lập chỉ mục
Nhiều nhóm chỉ kiểm tra xem trang có mở được trong trình duyệt hay không. Công cụ tìm kiếm đánh giá một tập hợp tín hiệu khác; chỉ một header ẩn hoặc quy tắc mẫu trang cũng có thể chặn cả khu vực.
- Đừng quên X-Robots-Tag trên PDF, tệp phương tiện và trang được tạo tự động.
- Đừng chỉ kiểm tra bằng một bot nếu quy tắc dành cho Googlebot khác biệt.
- Đừng cho rằng đưa URL vào sitemap sẽ ghi đè noindex hoặc quy tắc robots.
- Đừng xem các trang dùng URL canonical khác là đích có thể lập chỉ mục độc lập.
Bước tiếp theo sau khi kiểm tra khả năng lập chỉ mục
Nếu một trang bị chặn, hãy kiểm tra mẫu trang và nhóm đường dẫn. Vấn đề về khả năng lập chỉ mục thường lặp lại ở các thư mục, loại trang CMS hoặc phiên bản bản địa hóa.
- Dùng công cụ tạo robots.txt khi cần dọn dẹp quy tắc truy cập.
- Dùng công cụ kiểm tra canonical khi trang trỏ đến URL khác.
- Dùng công cụ xác thực sitemap khi thiếu các trang có thể lập chỉ mục trong tệp sitemap.
- Dùng Spider Analysis để nhóm nguyên nhân chặn trên toàn trang web và xác định người phụ trách.
- Ghi lại nhóm URL, người phụ trách, tác động dự kiến, bước xác thực và quyết định xuất bản tiếp theo để biến kết quả thành phiếu khắc phục thay vì thêm một bảng tính được xuất ra.