Vikipediyanın robots txt faylı üçün https az wikipedia org robots txt robots txt veb saytlar tərəfindən axtarış botların

Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt

robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.

Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.

"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan ilə birlikdə istifadə edilə bilər.

Tarixi

Standart Martin Koster tərəfindən 1994-cü ilin fevralında ""da işləyərkən, o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.

O tez bir zamanda "", "" və "" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi çevrildi.

1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi. Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.

Həmçinin bax

Internet Archive

İstinadlar

"Historical". Greenhills.co.uk. 2017-04-03 tarixində . İstifadə tarixi: 2017-03-03.
Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 2013-09-27 tarixində . İstifadə tarixi: September 25, 2013.
Koster, Martijn. . www-talk mailing list. 25 February 1994. October 29, 2013 tarixində orijinalından ( archived message) arxivləşdirilib.
"The Web Robots Pages". Robotstxt.org. 1994-06-30. 2014-01-12 tarixində . İstifadə tarixi: 2013-12-29.
"How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 June 2006. 2013-11-25 tarixində . İstifadə tarixi: 19 April 2014.
Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 June 2014. 2015-09-07 tarixində . İstifadə tarixi: 2015-11-19.
"Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 2019-07-10 tarixində . İstifadə tarixi: 2019-07-10.
Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 2022-09-14. 2022-09-22 tarixində . İstifadə tarixi: 2022-09-22.

Xarici keçidlər

robotstxt.org — Robots.txt rəsmi saytı
Koster, Martijn; Illyes, Gary; Zeller, Henner; Sassman, Lizzi. "Robots Exclusion Protocol". Internet Engineering Task Force. September 2022.

[1] "Historical". Greenhills.co.uk. 2017-04-03 tarixində . İstifadə tarixi: 2017-03-03.

[2] Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 2013-09-27 tarixində . İstifadə tarixi: September 25, 2013.

[3] Koster, Martijn. . www-talk mailing list. 25 February 1994. October 29, 2013 tarixində orijinalından ( archived message) arxivləşdirilib.

[:0-4] "The Web Robots Pages". Robotstxt.org. 1994-06-30. 2014-01-12 tarixində . İstifadə tarixi: 2013-12-29.

[5] "How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 June 2006. 2013-11-25 tarixində . İstifadə tarixi: 19 April 2014.

[sear_Robo-6] Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 June 2014. 2015-09-07 tarixində . İstifadə tarixi: 2015-11-19.

[7] "Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 2019-07-10 tarixində . İstifadə tarixi: 2019-07-10.

[8] Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 2022-09-14. 2022-09-22 tarixində . İstifadə tarixi: 2022-09-22.