spiderfetch. خالية من شبكة الإنترنت المستندة إلى Python
التحميل الان

spiderfetch. الترتيب والملخص

spiderfetch. العلامات

أحضر العنكبوت على شبكة الإنترنت زحف المجنزرة على شبكة الإنترنت العنكبوت جلب الموقع

spiderfetch. وصف

بيثون المجاني على شبكة الإنترنت SpiderFetch هو العنكبوت الواحد المجاني مدفوعا من الوصفات المؤلفة من تعبيرات منتظمة. بدأ spiderfetch كأداة للعنبض على جميع الروابط على صفحة ويب، لكن القليل أصبح قليلا من قبل Little، أصبح SPiderFetch بالكامل، أصبح الآن مجموعة من الأدوات التي يمكن استخدامها بمفردها، مثل العنكبوت والجوار وبعد يتم كتابة الجناح بأكمله في بيثون نقي (سابقا روبي) ولا يتطلب أي تبعيات. فيما يلي بعض الملامح الرئيسية ل "Spiderfetch": العناكب الصفحة لأي شيء يشبه عنوان URL. القدرة على تصفية عناوين URL للتعبير المنتظم (ضع في اعتبارك أن هذا لا يزال Ruby's Regex، لذلك * لمطابقة أي حرف، وليس * كما هو الحال في ملف Globbing، (صحيح | خطأ) للاختيار وما إلى ذلك.) قم بتنزيل جميع عناوين URL تسليحا، أو مجرد مخرجات إلى الشاشة (مع - Dump) إذا كنت ترغب في تصفية / فرز / إلخ. يمكنك استخدام ملف فهرس موجود (مع - RuseIndex)، ولكن بعد ذلك، إذا كانت هناك روابط نسبية بين عناوين URL، فسوف يحتاجون إلى ما بعد المعالجة، لأن مسار صفحة الفهرس على الخادم غير معروف بعد تخزينه محليا. يستخدم WGET داخليا والتمرير إخراجها أيضا. يدعم رابط HTTP و HTTPS و FTP. دلالات ثابتة مع عنوان URL في عناوين URL؛ هل تعمل URL $ ... لا إعادة تنزيل الملفات المكتملة، يستأنف التنزيلات، إعادة المحاولة انقطاع التحويلات. متطلبات: بيثون محددات: غير مضمون للعثور على كل عنوان URL آخر، على الرغم من أن المطابقة متساهلة للغاية. إذا لم تتمكن من مطابقة عنوان URL معين، فستظل عالقا مع GREP و SED. إذا كان عليك مصادقة نفسك بطريقة أو بأخرى في المتصفح لتتمكن من تنزيل ملفات الوسائط الخاصة بك، فلن تتمكن SPiderFetch من تنزيلها (كما هو الحال مع WGET بشكل عام). ومع ذلك، لم نفقد كل شيء. إذا كانت عناوين URL هي FTP أو خادم الويب يستخدم مصادقة بسيطة، فلا يزال بإمكانك نشرها إلى: FTP: / / اسم المستخدم: password@the.rest.of.the.url، نفسه بالنسبة ل HTTP.

spiderfetch. برامج ذات صلة