المحتوى
- التعريف - ماذا يعني Web Crawler؟
- مقدمة إلى Microsoft Azure و Microsoft Cloud | من خلال هذا الدليل ، سوف تتعرف على الحوسبة السحابية التي تدور حولها وكيف يمكن أن يساعدك Microsoft Azure على ترحيل عملك وإدارته من السحابة.
- يشرح Techopedia Web Crawler
التعريف - ماذا يعني Web Crawler؟
متتبع ارتباطات الويب هو روبوت إنترنت يساعد في فهرسة الويب. يزحفون إلى صفحة واحدة في كل مرة عبر موقع ويب حتى يتم فهرسة جميع الصفحات. تساعد برامج زحف الويب في جمع معلومات حول موقع ويب والروابط المرتبطة بها ، كما تساعد في التحقق من صحة كود HTML والارتباطات التشعبية.
يُعرف متتبع ارتباطات الويب أيضًا باسم عنكبوت الويب أو المفهرس التلقائي أو ببساطة الزاحف.
مقدمة إلى Microsoft Azure و Microsoft Cloud | من خلال هذا الدليل ، سوف تتعرف على الحوسبة السحابية التي تدور حولها وكيف يمكن أن يساعدك Microsoft Azure على ترحيل عملك وإدارته من السحابة.
يشرح Techopedia Web Crawler
تقوم برامج زحف الويب بجمع معلومات مثل عنوان URL لموقع الويب ، ومعلومات علامة التعريف ، ومحتوى صفحة الويب ، والروابط في صفحة الويب والوجهات المؤدية من هذه الروابط ، وعنوان صفحة الويب وأي معلومات أخرى ذات صلة. يتتبعون عناوين URL التي تم تنزيلها بالفعل لتجنب تنزيل نفس الصفحة مرة أخرى. تحدد مجموعة من السياسات مثل سياسة إعادة الزيارة وسياسة الاختيار وسياسة الموازاة وسياسة التهذيب سلوك الزاحف على الويب. هناك العديد من التحديات التي تواجه برامج زحف الويب ، وهي شبكة الويب العالمية الكبيرة والمتطورة باستمرار ، والمقايضات في اختيار المحتوى ، والالتزامات الاجتماعية ، والتعامل مع الخصوم.
برامج زحف الويب هي المكونات الرئيسية لمحركات البحث على الويب والأنظمة التي تبحث في صفحات الويب. فهي تساعد في فهرسة إدخالات الويب وتتيح للمستخدمين استعلامات مقابل الفهرس وتوفر أيضًا صفحات الويب التي تطابق الاستعلامات. استخدام آخر لبرامج زحف الويب هو أرشفة الويب ، والتي تتضمن مجموعات كبيرة من صفحات الويب التي يتم جمعها وحفظها بشكل دوري. تستخدم برامج زحف الويب أيضًا في استخراج البيانات ، حيث يتم تحليل الصفحات لخصائص مختلفة مثل الإحصاءات ، ثم يتم إجراء تحليلات البيانات عليها.