Cách Tạo Và Gửi Tệp Robots.txt Hoàn Hảo Cho Blogger Chuẩn SEO



Tạo Và Gửi Tệp Robots.txt Cho Blogger Mới Nhất

Tệp Robots.txt kiểm soát công cụ tìm kiếm thu thập thông tin cho một trang web. Điều đó có nghĩa là nó đóng một vai trò quan trọng trong việc tối ưu hóa công cụ tìm kiếm của blog Blogger. Trong bài viết này, chúng tôi sẽ hiểu cách triển khai tốt nhất của tệp robots.txt trong blog Blogger.

Chức năng của tệp robots.txt là gì?

Với sự trợ giúp của tệp robots.txt, chúng tôi cho công cụ tìm kiếm biết về các trang nên và không nên thu thập thông tin. Do đó, nó cho phép chúng tôi kiểm soát hoạt động của các bot công cụ tìm kiếm.

Trong tệp robots.txt, chúng tôi sử dụng hàm user-agent, allow, disallow, sitemap để khai báo các bot của công cụ tìm kiếm, các trang được phép thu thập thông tin, các trang không được phép thu thập thông tin.

Thông thường, chúng tôi sử dụng các lệnh cho tất cả các chương trình thu thập thông tin của công cụ tìm kiếm để lập chỉ mục các trang trên toàn bộ web. Tuy nhiên, để biết thêm chi tiết, bạn phải hiểu tệp robots.txt cho blog Blogger.

Tệp Robots.txt tốt nhất cho Blog Blogger

Để tạo tệp robots.txt tùy chỉnh hoàn hảo cho Blogger BlogSpot. Trước tiên, chúng ta phải hiểu chức năng của blog Blogger. Đối với điều này, hãy phân tích tệp robots.txt mặc định.

Theo mặc định, tệp này trông giống như:
User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml 
  • Dòng đầu tiên của tệp này khai báo loại bot. Đây là Google AdSense, không được phép sử dụng. Điều đó có nghĩa là quảng cáo AdSense có thể xuất hiện trên toàn bộ trang web.
  • Tác nhân người dùng tiếp theo là *, có nghĩa là tất cả các bot của công cụ tìm kiếm không được phép vào / các trang tìm kiếm. Điều đó có nghĩa là không được phép đối với tất cả các trang tìm kiếm và nhãn (do cấu trúc URL giống nhau).
  • Và thẻ allow xác định rằng tất cả các trang khác ngoài phần không cho phép sẽ được phép thu thập thông tin.
  • Dòng tiếp theo chứa sơ đồ trang web bài đăng cho blog Blogger.
Đây là một tệp gần như hoàn hảo để kiểm soát các bot của công cụ tìm kiếm và cung cấp hướng dẫn cho các trang để thu thập thông tin hoặc không thu thập thông tin. Xin lưu ý, ở đây, những gì được phép thu thập thông tin sẽ không đảm bảo rằng các trang sẽ lập chỉ mục.

Nhưng tệp này cho phép lập chỉ mục các trang lưu trữ, điều này có thể gây ra sự cố nội dung trùng lặp. Điều đó có nghĩa là nó sẽ tạo ra rác cho blog Blogger.

Chúng tôi phải ngăn vấn đề nội dung trùng lặp này do phần lưu trữ gây ra. Điều đó có thể đạt được bằng cách ngăn các bot thu thập dữ liệu phần lưu trữ. Đối với điều này, chúng tôi phải áp dụng quy tắc Không cho phép / 20 * vào tệp robots.txt. Nhưng quy tắc này sẽ ngừng thu thập thông tin của các trang. Vì vậy, để tránh điều này, chúng tôi phải áp dụng quy tắc cho phép mới cho phần /*.html cho phép bot thu thập dữ liệu các bài đăng và trang.

Sơ đồ trang web mặc định bao gồm các bài đăng, không phải các trang. Vì vậy, bạn phải thêm sơ đồ trang web cho các trang nằm trong https://example.blogspot.com/sitemap-pages.xml hoặc https://www.example.com/sitemap-pages.xml cho miền tùy chỉnh.

Vì vậy, tệp robots.txt hoàn hảo mới cho blog Blogger sẽ trông như thế này

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
Bạn phải thay thế www.example.com bằng miền Blogger hoặc tên miền tùy chỉnh của mình. Ví dụ: giả sử tên miền tùy chỉnh của bạn là www.iashindu.com, thì sơ đồ trang web sẽ có tại https://www.iashindu.com/sitemap.xml. Ngoài ra, bạn có thể kiểm tra robots.txt hiện tại tại https://www.example.com/robots.txt.

Tệp trên, cài đặt là thực hành tốt nhất cho robots.txt cũng như cho SEO. Điều này sẽ tiết kiệm ngân sách thu thập dữ liệu cho trang web và sẽ giúp blog Blogger xuất hiện trong kết quả tìm kiếm. Cùng với việc bạn phải viết nội dung thân thiện với SEO để xuất hiện trong kết quả tìm kiếm.

Để có cài đặt tốt nhất có thể cho robots.txt và thẻ meta rô bốt, hãy thử thẻ meta robot nâng cao và tệp robots.txt. Sự kết hợp này là một trong những phương pháp hay nhất để thúc đẩy SEO của blog Blogger 

Gửi tệp robots.txt cho Google

Sau khi bạn đã tải lên và kiểm tra tệp robots.txt, các trình thu thập dữ liệu của Google sẽ tự động tìm và bắt đầu sử dụng tệp robots.txt của bạn. Bạn không phải làm bất cứ điều gì! Nếu bạn đã cập nhật tệp robots.txt và cần phải làm mới bản sao đã lưu vào bộ nhớ đệm của Google càng sớm càng tốt, hãy tìm hiểu cách gửi tệp robots.txt đã cập nhật cho Google.

Làm cách nào để chỉnh sửa tệp robots.txt của blog Blogger?

Tệp Robots.txt luôn nằm ở cấp cơ sở của bất kỳ trang web nào. Nhưng trong Blogger, không có quyền truy cập vào root, vậy làm thế nào để chỉnh sửa tệp robots.txt này?

Blogger cung cấp tất cả cài đặt tệp gốc trong cài đặt của nó như tệp robots.txt và ads.txt. Bạn phải đăng nhập vào tài khoản Blogger và chỉnh sửa tệp robots.txt.

  • Cách chỉnh sửa tệp robots.txt của Blogger
  • Cung cấp tệp robots.txt tùy chỉnh
  • Đi tới Trang tổng quan Blogger và nhấp vào tùy chọn cài đặt,
  • Cuộn xuống trình thu thập thông tin và phần lập chỉ mục,
  • Bật robots.txt tùy chỉnh bằng nút chuyển đổi.
  • Nhấp vào robots.txt tùy chỉnh , một cửa sổ sẽ mở ra, dán tệp robots.txt và cập nhật.
Sau khi cập nhật tệp robots.txt tùy chỉnh, hãy kiểm tra tệp đó bằng cách truy cập https://www.example.com/robots.txt, nơi www.example.com sẽ được thay thế bằng địa chỉ miền của bạn.

Lời kết 

Trên đây là chia sẻ của mình tạo và gửi tệp Robots.txt cho blogger . Nếu các bạn có thắc mắc xin hãy comment xuống dưới để mình biết nhé. Chúc các bạn một ngày tốt lành
Bài viết liên quan: