القائمة الرئيسية

الصفحات

كود لعمل كشط لصفحات مواقع الانترنت


web scraping


 ربما أول مرة قد تسمع بكشط المواقع والتي تعني بالإنجليزي web scraping وهي تقنية تستخدم في استخراج البيانت من مواقع الانترنت أو تسمى يطلق عليها البعض سحب البيانات أو الداتا من صفحات ويب الواقع وذلك يتم عن طريق برامج أو سكربتات كتوبة بلغة php او بايثون أو من خلال إضافات تضاف على متصفح جوجل كروم أو فيرفوكس .

كذلك تستخدم تحليل مواقع الويب أو فهرسة مواقع الانترنت ، وقد يتم جمع بيانات وتخزينها داخل قواعد بيانات .

لا شك أن بعض المواقع التي حققت نجاحا كبيرا في وقت وجيز تقوم باستخراج المعلومات والمواضيع وحصادها من من مواقع مختلفة عن طريق بوتات مصنوعة بلغة php او بايثون او بيرل لان هذه هي الاقوى في عنل ويب سكرابيج ، ثم يتم تخزين تلك المواضيع في قواعد بيانات حيث يتم استدعاؤها الى مواقعهم على سكربتات مثلا وورد بريس ، وهناك موقع ضخم معروف بكثرة المواضيع في جميع المجالات وموجودة مسبقا على الانترنت وهو موقع mawdoo3.com حيث يعتر أكبر وأضخم موقع عربي بالعالم.

قوة وسرعة كشط المواقع :
السرعة تكمن في سرعة ومعالجة المعلومات من طرف الجهاز الذي تستخدمه وكذلك سرعة الانترنت ، ولا شك بأن أقوى الاجهزة هي السيرفرات المستضيفة لمواقع الانترنت وتحتوي على سرعة انترنت فائقة تصل الى 1 جيجا في الثانية ، وفي حالة اردت استخدام ذلك الجهاز يجب ان تقوم بشراء استضافة من احد المواقع واستخدم سكربتات php لان أوامرها تنفذ داخل السيرفر ، ولكي تعرف سرعة php في معاجلة وتنفيذ الطلب تخيل عندما تريد تسجيل الدخول مثلا الى فيس بوك فهذا يعني انها تبحث في قاعدة بينات تحتوي على ازيد من مليار حساب ويتم وجود حسابك والدخول بسرعة .
هناك طرق اخرى لمن يريد استخدام سكربتات اخرى مثل بايثون او بيرل وهي شراء rdp او vps .

سكربت php لعمل كشط لموقع :

انا وضعت شرح كامل حيث كنت استخدمت احد السكربتات بعد التعديل عليه في لغة php وقد قمت بنسخ اكثر من 3 مليون رقم هاتف مع المعلومات الى قاعدة بيانات خاصة بي ، وباستطاعتك تخزين صور ومواضيع من الانترنت اذا كنت تتقن php ، فهذا السكرب بصراحة هو خارق يمكن تجعل منه بوت على الانترنت يفعل ما تريد وخصوصا قمت بربطه مع احد البرامج مثل برنامج على الفيجواتل بيسك .

السكربت قادر على :

  • استخدام البيانات التي يتم جلبها في موقع الويب الخاص بك .
  • القيام بوظيفة جلب وإدخال البيانات (مثل الروبوت تلقائيًا)
  • جمع معلومات مثل رسائل البريد الإلكتروني وأرقام الهواتف ومواقع الشركات والعديد من الأشياء الأخرى.
  • جمع تفاصيل المنتجات من المتاجر عبر الإنترنت.
  • الحصول على بيانات نصية وتحليل البيانات.
  • كشط البيانات للأعمال المتعلقة بالأعمال.

البيانات التي يمكن كشطها:

  • عناوين URL's
  • عناوين المواضيع
  • المواضيع
  • روابط الصور
  • المستندات (PDF ، Excel ، إلخ)
  • تفاصيل المنتج
  • التسعير

المهم أترككم مع شرح السكربت


تحميل الكود :
هل اعجبك الموضوع :

تعليقات

4 تعليقات
إرسال تعليق

إرسال تعليق



التنقل السريع