Axtarış botu — Ümumdünya hörümçək torunu sistematik şəkildə analiz edən və adətən veb indeksləşdirmə məqsədilə axtarış motorları tərəfindən idarə olunan internet botu.
Veb axtarış mühərrikləri və bəzi digər veb-saytlar öz və ya digər saytların veb məzmununun indekslərini yeniləmək üçün istifadə edirlər. Axtarış botu axtarış mühərriki tərəfindən emal edilməsi üçün səhifələri kopyalayır. Bu da istifadəçilərə daha səmərəli axtarış edə bilmə imkanı verir.
Axtarış botları ziyarət edilən sistemlərdə resursları istehlak edir və tez-tez saytları xəbərsiz ziyarət edirlər. Böyük səhifə kolleksiyasına rast gəldikdə planlama, yüklənmə və "nəzakət" problemləri gündəmə gəlir. Bunu axtarış botuna bildirmək üçün indekslənmək istəməyən ictimai saytlar üçün mexanizmlər mövcuddur. Məsələn, robots.txt
faylı botlardan veb-saytın yalnız müxtəlif hissələrini indeksləşdirməyi və ya ümumiyyətlə indeksləşdirməməyi tələb edə bilər.
İnternet səhifələrinin sayı olduqca çoxdur; hətta ən böyük botlar belə tam indeks yaratmaqda çətinlik çəkirlər. Bu səbəbdən, axtarış sistemləri Ümumdünya hörümçək torunun ilk illərində, 2000-ci ildən əvvəl müvafiq axtarış nəticələrini vermək üçün mübarizə aparırdılar. Bu gün müvafiq nəticələr demək olar ki, dərhal verilir.
Axtarış botları hiperlinkləri və HTML kodunu təsdiqləyə bilər. Onlar həmçinin və üçün istifadə edilə bilər.
Həmçinin bax
İstinadlar
- . 2021-12-06 tarixində orijinalından arxivləşdirilib.
Əlavə ədəbiyyat
- Cho, Junghoo, "Web Crawling Project", UCLA Computer Science Department.
- A History of Search Engines, from
- WIVET is a benchmarking project by OWASP, which aims to measure if a web crawler can identify all the hyperlinks in a target website.
- Shestakov, Denis, "Current Challenges in Web Crawling" and "Intelligent Web Crawling", slides for tutorials given at ICWE'13 and WI-IAT'13.
Xarici keçidlər
wikipedia, oxu, kitab, kitabxana, axtar, tap, meqaleler, kitablar, oyrenmek, wiki, bilgi, tarix, tarixi, endir, indir, yukle, izlə, izle, mobil, telefon ucun, azeri, azəri, azerbaycanca, azərbaycanca, sayt, yüklə, pulsuz, pulsuz yüklə, haqqında, haqqinda, məlumat, melumat, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, şəkil, muisiqi, mahnı, kino, film, kitab, oyun, oyunlar, android, ios, apple, samsung, iphone, pc, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, web, computer, komputer
Axtaris botu Umumdunya horumcek torunu sistematik sekilde analiz eden ve adeten veb indekslesdirme meqsedile axtaris motorlari terefinden idare olunan internet botu Axtaris botunun arxitekturasi Veb axtaris muherrikleri ve bezi diger veb saytlar oz ve ya diger saytlarin veb mezmununun indekslerini yenilemek ucun istifade edirler Axtaris botu axtaris muherriki terefinden emal edilmesi ucun sehifeleri kopyalayir Bu da istifadecilere daha semereli axtaris ede bilme imkani verir Axtaris botlari ziyaret edilen sistemlerde resurslari istehlak edir ve tez tez saytlari xebersiz ziyaret edirler Boyuk sehife kolleksiyasina rast geldikde planlama yuklenme ve nezaket problemleri gundeme gelir Bunu axtaris botuna bildirmek ucun indekslenmek istemeyen ictimai saytlar ucun mexanizmler movcuddur Meselen a href wiki Robots txt title Robots txt robots txt a fayli botlardan veb saytin yalniz muxtelif hisselerini indekslesdirmeyi ve ya umumiyyetle indekslesdirmemeyi teleb ede biler Internet sehifelerinin sayi olduqca coxdur hetta en boyuk botlar bele tam indeks yaratmaqda cetinlik cekirler Bu sebebden axtaris sistemleri Umumdunya horumcek torunun ilk illerinde 2000 ci ilden evvel muvafiq axtaris neticelerini vermek ucun mubarize aparirdilar Bu gun muvafiq neticeler demek olar ki derhal verilir Axtaris botlari hiperlinkleri ve HTML kodunu tesdiqleye biler Onlar hemcinin ve ucun istifade edile biler Hemcinin baxIstinadlar 2021 12 06 tarixinde orijinalindan arxivlesdirilib Elave edebiyyatCho Junghoo Web Crawling Project UCLA Computer Science Department A History of Search Engines from WIVET is a benchmarking project by OWASP which aims to measure if a web crawler can identify all the hyperlinks in a target website Shestakov Denis Current Challenges in Web Crawling and Intelligent Web Crawling slides for tutorials given at ICWE 13 and WI IAT 13 Xarici kecidler