Thứ Sáu, 24/03/2023
  • Đăng nhập
Báo Chính Thống
Advertisement
  • Thời sự
    • Chính trị
    • Dân sinh
    • Lao động & Việc Làm
    • Giao thông
  • Thế giới
    • Phân tích
    • Quân sự
    • Tư liệu
  • Kinh doanh
    • Bất động sản
    • Chứng khoán
    • Doanh nghiệp
    • Quốc tế
    • Hàng hoá
  • Khoa học
    • Khoa học trong nước
    • Phát minh
    • Ứng dụng
  • Giải trí
    • Giới sao
    • Phim
    • Nhạc
    • Làm đẹp
    • Thời trang
  • Thể thao
    • U23 châu Á 2022
    • Bóng đá
  • Pháp luật
    • Hồ sơ phá án
    • Tư vấn
  • Giáo dục
    • Chân dung
    • Du học
    • Tin tức
    • Tuyển sinh
  • Sức khoẻ
    • Các bệnh
    • Dinh dưỡng
    • Đàn ông
    • Khoẻ đẹp
    • Tư vấn
  • Du lịch
    • Điểm đến
    • Ẩm thực
    • Dấu chân
Không có kết quả
Xem tất cả kết quả
  • Thời sự
    • Chính trị
    • Dân sinh
    • Lao động & Việc Làm
    • Giao thông
  • Thế giới
    • Phân tích
    • Quân sự
    • Tư liệu
  • Kinh doanh
    • Bất động sản
    • Chứng khoán
    • Doanh nghiệp
    • Quốc tế
    • Hàng hoá
  • Khoa học
    • Khoa học trong nước
    • Phát minh
    • Ứng dụng
  • Giải trí
    • Giới sao
    • Phim
    • Nhạc
    • Làm đẹp
    • Thời trang
  • Thể thao
    • U23 châu Á 2022
    • Bóng đá
  • Pháp luật
    • Hồ sơ phá án
    • Tư vấn
  • Giáo dục
    • Chân dung
    • Du học
    • Tin tức
    • Tuyển sinh
  • Sức khoẻ
    • Các bệnh
    • Dinh dưỡng
    • Đàn ông
    • Khoẻ đẹp
    • Tư vấn
  • Du lịch
    • Điểm đến
    • Ẩm thực
    • Dấu chân
Không có kết quả
Xem tất cả kết quả
Báo Chính Thống
Không có kết quả
Xem tất cả kết quả
Trang chủ Giáo dục Tin tức

Tệp Robots.txt là gì? Hướng dẫn tạo tệp robots.txt chuẩn cho WordPress.

Chí Anh bởi Chí Anh
17/03/2023
Thời gian đọc: 8 số phút đọc
0 0
0
robots.txt là gì

robots.txt là gì

0
Chia sẻ
Chia sẻ FacebookChia sẻ TwitterChia sẻ E-mailChia sẻ Telegram

Tệp robots.txt là một phần nằm trong thủ thuật SEO Website tổng thể, vậy nó là cái gì? Thì sau đây Thương Hiệu Việt cho bạn biết rõ khái niệm và hướng dẫn tạo tệp robots.txt cho WordPress.

Tệp Robots.txt là gì?

Là một tập tin tệp văn bản đơn giản có chứa đuôi dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa nhóm các tiêu chuẩn của web quy định robot website (crawl) thu thập thông tin, dữ liệu và lập chỉ mục (index) cho trang web của bạn. 

Tại sao tôi cần tập tin này

Sử dụng robots.txt, bạn có thể chặn các bot tìm kiếm truy cập vào bất kỳ phần nào của trang web, các trang web và thậm chí cả các tệp riêng lẻ, có thể là hình ảnh, âm thanh hoặc video.

Trong quá trình thực hiện Seo tổng thể thì bạn không thể thiếu tập tin này. Bạn có thể tham khảo bảng báo giá seo tổng thể

Vì vậy, có thể ngăn không cho những tài liệu này được đưa vào kết quả tìm kiếm. Sau đó, người lạ sẽ không nhìn thấy chúng. Nhưng có một sắc thái. Nếu một trang mà bạn không muốn thu thập dữ liệu được liên kết đến từ các trang web khác, trang đó vẫn có thể xuất hiện trong kết quả tìm kiếm. Để ngăn chặn điều này, bạn cần viết quy tắc “noindex” trong mã của trang này.

Ngược lại, nếu bạn quảng bá trang web trong các công cụ tìm kiếm, nhưng nhận thấy rằng toàn bộ tài nguyên hoặc một số trang của nó không xuất hiện trong kết quả tìm kiếm, thì trong những tình huống như vậy, điều đầu tiên cần làm là kiểm tra robots.txt. Rốt cuộc, nó có thể chứa lệnh cấm quét.

tep-robots.txt-tren-trang-web
Tệp robots.txt trên trang web

Quy tắc robot.txt

Quy tắc thu thập thông tin trang web — hoặc hướng dẫn — có thể được thêm vào robot.txt được gọi là chỉ thị. Hãy nhìn vào những cái chính.

User-agent – Chỉ thị tác nhân người dùng 

Lệnh này sẽ mở một nhóm quy tắc và xác định trình thu thập thông tin nào phải tuân theo tất cả các quy tắc của nhóm hiện tại. Cú pháp sẽ là “Tác nhân người dùng: tên robot”.

Ví dụ bạn muốn tạo một nhóm quy tắc cho công cụ tìm kiếm Google thì bạn viết chỉ thị như sau:

Đối với robot Bing như thế này:

Nếu bạn muốn tạo một nhóm quy tắc chung cho tất cả các công cụ tìm kiếm cùng một lúc, hãy sử dụng dấu hoa thị thay cho tên rô-bốt:

Disallow & Allow – Chỉ thị Không cho phép và Cho phép 

Mỗi nhóm quy tắc phải chứa ít nhất một trong hai chỉ thị: Không cho phép hoặc Cho phép.

Lệnh Disallow trỏ đến một phần của trang web, trang hoặc tệp mà trình thu thập thông tin hiện tại không được phép thu thập thông tin. Cú pháp là “Không cho phép: đường dẫn đến phân vùng/trang/tệp liên quan đến thư mục gốc.”

Ví dụ: để ngăn robot thu thập dữ liệu trang hidden-page.html từ thư mục gốc, hãy thêm văn bản sau vào robots.txt:

Và nếu bạn muốn cấm hoàn toàn việc thu thập dữ liệu của trang web, bạn sẽ cần viết lệnh như sau:

Ngược lại, lệnh Cho phép trỏ đến một phần của trang web, trang hoặc tệp mà rô-bốt hiện tại được phép quét. Cú pháp là “Cho phép: đường dẫn đến phân vùng/trang/tệp liên quan đến thư mục gốc.”

Mục nhập này có nghĩa là rô-bốt hiện tại chỉ có thể thu thập dữ liệu trang có thể nhìn thấy-page.html từ thư mục gốc và phần còn lại của nội dung trang web không có sẵn cho nó.

Sitemap – Chỉ thị sơ đồ trang web

Sơ đồ trang web trỏ đến một sơ đồ trang web, một tệp cho bạn biết trang nào cần thu thập dữ liệu và theo thứ tự nào. Vì vậy, chỉ thị này làm cho việc lập chỉ mục trang web hiệu quả hơn. Cú pháp là “Sơ đồ trang web: liên kết đầy đủ đến tệp bản đồ trang web.” Ghi ví dụ:

Ví dụ về tệp robots.txt

Để rõ ràng, chúng ta hãy xem các chỉ thị khác nhau được viết cùng nhau như thế nào. Dưới đây là các ví dụ về các tập tin này đã hoàn thành. Lưu ý: Theo mặc định, trình thu thập thông tin được phép thu thập thông tin bất kỳ phần, trang và tệp nào không bị chặn bởi quy tắc Không cho phép.

Ví dụ 1. Chúng tôi hoàn toàn cấm robot Google quét trang web và thêm sơ đồ trang web:

Ví dụ 2. Chúng tôi hoàn toàn cấm thu thập dữ liệu trang web đối với rô-bốt Google và Bing:

Cách tạo tệp robot.txt trên WordPress

Thực tế cho ta thấy thì việc tạo robots.txt WordPress giúp các nhà quản trị web linh hoạt và chủ động hơn trong việc cho phép bot của google thu thập dữ liệu và index trang web của mình. Thì dưới đây Thương Hiệu Việt hướng dẫn các bạn tạo robots.txt dễ dàng bằng Yoast SEO

Bước 1: Đăng nhập tài khoản WordPress

Bước 2: Kiếm đến mục Yoast SEO ⇒ Tools

chon-tool
Chọn tools trong Yoast SEO

Bước 3: Chọn File editor

cho-file-editor
Chọn file editor

Bước 4: Nếu website bạn chưa tạo thì hãy nhấn tạo Robots.txt. Để có được 2 mục là robots.txt và .htaccess file.

Robots.txt-htaccess file
Robots.txt và .htaccess file

Phần kết luận

Robots.txt là một tài liệu văn bản chứa các quy tắc để thu thập dữ liệu trang web bằng công cụ tìm kiếm.

Với tệp này, bạn có thể kiểm soát cách các bot tìm kiếm có thể truy cập bất kỳ phần nào của trang web, các trang web và thậm chí cả các tệp riêng lẻ, có thể là hình ảnh, âm thanh hoặc video. Bằng cách này, bạn có thể ngăn chặn hoặc cho phép những nội dung này xuất hiện trong kết quả tìm kiếm. Do đó, robots.txt rất quan trọng đối với thủ thuật SEO.

Chủ sở hữu trang web có thể tạo robots.txt bất cứ lúc nào, chỉ định các quy tắc cần thiết và thêm tệp vào trang web. Sau đó, các công cụ tìm kiếm sẽ buộc phải làm theo các hướng dẫn này.

Bài viết trước

Sitemap là gì? Cách tạo và khai báo sitemap của bạn đến Google

Bài viết tiếp theo

Google Search Console là gì? Cách thiết lập và sử dụng công cụ.

Bài viết tiếp theo
Google Search Console là gì? Cách thiết lập và sử dụng công cụ.

Google Search Console là gì? Cách thiết lập và sử dụng công cụ.

Trả lời Hủy

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Kết nối với chúng tôi

Quảng cáo Quảng cáo
ADVERTISEMENT
  • Xu hướng
  • Bình luận
  • Mới nhất
10 lời khuyên dinh dưỡng tốt cho sức khỏe.

10 lời khuyên dinh dưỡng tốt cho sức khỏe.

23/03/2023
Nam thanh niên roi từ chung cư xuống đất

Nam thanh niên rơi từ chung cư xuống đất tử vong – TP. Hồ Chí Minh

21/03/2023
Âm nhạc đẩy cảm xúc trong ‘Em và Trịnh’

Âm nhạc đẩy cảm xúc trong ‘Em và Trịnh’

16/06/2022
Kế hèn của thiếu gia lấy vợ vì chiếc Rolls-Royce phần thưởng

Kế hèn của thiếu gia lấy vợ vì chiếc Rolls-Royce phần thưởng

16/06/2022
Happy Skin đẩy mạnh phát triển, chăm sóc da bằng công nghệ hiện đại

Happy Skin đẩy mạnh phát triển, chăm sóc da bằng công nghệ hiện đại

3
Drone có thể bay, lặn và ‘đi nhờ’ vật thể khác

Drone có thể bay, lặn và ‘đi nhờ’ vật thể khác

2
Khách Tây bất ngờ khi Việt Nam ‘như chưa hề có dịch’

Khách Tây bất ngờ khi Việt Nam ‘như chưa hề có dịch’

2
Khách Việt bị cướp đồng hồ 1,2 tỷ đồng ở Milan

Khách Việt bị cướp đồng hồ 1,2 tỷ đồng ở Milan

1
Taxi VinFast

Xe VinFast VF mấy sẽ có trong đội xe taxi điện của ông Phạm Nhật Vượng nào?

24/03/2023
giáo viên cắt tóc 100 hoc sinh

Sự việc gây tranh cãi: Giáo viên Thái Lan cắt tóc trừng phạt 100 học sinh

24/03/2023
doanh nghiệp Mỹ ghé thăm VN

Doanh nghiệp Mỹ quan tâm đến lĩnh vực tiềm năng để đầu tư tại Việt Nam.

22/03/2023
Nam thanh niên roi từ chung cư xuống đất

Nam thanh niên rơi từ chung cư xuống đất tử vong – TP. Hồ Chí Minh

21/03/2023

Bài viết mới nhất

Taxi VinFast

Xe VinFast VF mấy sẽ có trong đội xe taxi điện của ông Phạm Nhật Vượng nào?

24/03/2023
giáo viên cắt tóc 100 hoc sinh

Sự việc gây tranh cãi: Giáo viên Thái Lan cắt tóc trừng phạt 100 học sinh

24/03/2023
doanh nghiệp Mỹ ghé thăm VN

Doanh nghiệp Mỹ quan tâm đến lĩnh vực tiềm năng để đầu tư tại Việt Nam.

22/03/2023
Nam thanh niên roi từ chung cư xuống đất

Nam thanh niên rơi từ chung cư xuống đất tử vong – TP. Hồ Chí Minh

21/03/2023

Liên kết nhanh

Bảng báo giá SEO tổng thể của Thương Hiệu Việt|Tất cả các thủ thuật SEO| Nhà cái f8bet uy tín hàng đầu | Hoàng Nguyên cung cấp dịch vụ chuyển nhà trọn gói gò vấp CƠ SỞ VẬT CHẤT – ĐỘI XE TẢI CHUYỂN NHÀ HIỆN ĐẠI chuyển nhà quận gò vấp NGUỒN NHÂN LỰC HÙNG HẬU. Bạn đang cần chuyển nhà quận 3 van chuyen nha tphcm ? Dịch Vụ Chuyển Nhà Nhanh Chóng Tại chuyển nhà quận tân phú giá cả cạnh tranh. Cty hoàng nguyên cung cấp Chuyển nhà trọn gói quận Tân Phú dịch Vụ Chuyển Nhà Nhanh Chóng Tại Tân phú HCM. Đứng thứ 5 trong bảng xếp hạng những công ty chuyển nhà quận bình tân là HOàng NGuyên. Dịch vụ dọn Chuyển nhà trọn gói quận 7 TPHCM được cung cấp tại công ty chuyển nhà Hoàng Nguyên. Hiểu được điều đó dịch vụ Chuyển nhà trọn gói quận 2 của Hoàng Nguyên cung cấp một mức giá được thể hiện trên trang web. Dịch vụ Chuyển nhà trọn gói quận 12 TPHCM bằng xe taxi tải giá bao nhiêu ? Cung cấp dịch vụ Chuyển nhà trọn gói quận 9 TPHCM, UY TÍN, CHẤT LƯỢNG giá cực rẻ Hoàng Nguyên cung cấp dịch vụ Chuyển nhà trọn gói quận Tân Bình quý khách hàng gọi ngay theo số Hotline để được tư vấn báo giá miễn phí. Riêng đối với dịch vụ Chuyển nhà quận Tân Bình Hoàng Nguyên mang đến mức giá chuyển dọn siêu tiết kiệm. Link xem Truc tiep bong da ngoại hạng anh, wordcup Tận hưởng trọn vẹn socolive bóng lăn khi xem trực tiếp bóng đá hôm nay link xem bóng đá trực tuyến bình luận tiếng Việt miễn phí.

Báo Chính Thống

Báo Chính Thống là chọn lọc được những trang báo uy tín, chất lượng tại Việt Nam nên nội dung sẽ đảm bảo được sự thật.

Theo giõi chúng tôi

Design by Thương Hiệu VIệt

  • Thời sự
    • Chính trị
    • Dân sinh
    • Lao động & Việc Làm
    • Giao thông
  • Thế giới
    • Phân tích
    • Quân sự
    • Tư liệu
  • Kinh doanh
    • Bất động sản
    • Chứng khoán
    • Doanh nghiệp
    • Quốc tế
    • Hàng hoá
  • Khoa học
    • Khoa học trong nước
    • Phát minh
    • Ứng dụng
  • Giải trí
    • Giới sao
    • Phim
    • Nhạc
    • Làm đẹp
    • Thời trang
  • Thể thao
    • U23 châu Á 2022
    • Bóng đá
  • Pháp luật
    • Hồ sơ phá án
    • Tư vấn
  • Giáo dục
    • Chân dung
    • Du học
    • Tin tức
    • Tuyển sinh
  • Sức khoẻ
    • Các bệnh
    • Dinh dưỡng
    • Đàn ông
    • Khoẻ đẹp
    • Tư vấn
  • Du lịch
    • Điểm đến
    • Ẩm thực
    • Dấu chân
  • Đăng nhập

Design by Thương Hiệu VIệt

Chào mừng bạn trở lại!

Đăng nhập vào tài khoản

Quên mật khẩu?

Lấy lại mật khẩu

Vui lòng nhập tên người dùng hoặc địa chỉ email của bạn để đặt lại mật khẩu của bạn.

Đăng nhập