شرح مكتبه urllib في بايثون

يمكن من خلال مكتبة urllib في بايثون الحصول علي محتوي صفحة أو التحقق من الصفحة ومرفة تفاصيل الصفحة .

يجب أولا : تثبيت المكتبة من Pypi عبر Pip

• pip install urllib.request

مثال : في الكود التالي سيتم طباعة أكواد محتوي الصفحة لموقع Python عبر urllib.request.
import urllib.request MySite = urllib.request.urlopen('https://www.python.org') online = MySite.read() print(online)

Here Page Content

تستطيع التحكم في عدد الحروف التي يتم طلبها من الصفحة ويمكن إستخدام  read().decode("utf-8") لعمل ترميز.
import urllib.request with urllib.request.urlopen("https://www.python.org") as url: print(url.read(300))

Here Page Content 300 Words

التحقق من حالة الصفحة تعمل أو لا .
import urllib.request request = urllib.request.Request("https://python.org") request.add_header("Cookie", "cookie1=value1") status = urllib.request.urlopen(request).status print(status)

200

عند طباعة محتوي الصفحة لموقع ما ولم يريد أن يرسل طلب للخادم وحدث خطأ & ذلك لأن الخادم لا يسمح بلدخول أو الوصول التلقائي الآلي لأنة يكون مخصص للمتصفحات ليتمكن من تحليلها.
تستطيع التغلب علي هذا المشكل عبر إرسال User-Agent header وإرسال طلب.
import urllib.request Site = 'https://www.python.org' headers = {} headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17' request = urllib.request.Request(url, headers=headers) resp = urllib.request.urlopen(request) print(resp.read())

Here Page Content

جمع معلومات عن الموقع عبر ()info في بايثون .
import urllib.request response = urllib.request.urlopen('https://python.org') print(response.info()) print(response.info()["content-type"])

X-Robots-Tag: all,noodp
X-Content-Type-Options: nosniff
X-XSS-Protection: 1; mode=block

يمكنك جمع المعلومات أيضا بإستخدام مكتبة Socket : شرح مكتبة socket في بايثون

إنضم لجروب بايثون علي الفيسبوك : فتح الجروب

آو من هنا : فتح الرابط