Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
2. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
3. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
6. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. МРТ Плода показывает мозг и глаза сквозь кости черепа.
9. Должны были с подружкой пойти в субботу на пробежку.
10. Самые абсурдные законы мира, в которые сложно поверить.
11. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
14. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
15. Сезон клубники в самом разгаре!
16. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
17. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
20. Возможную блокировку Github снова обсуждают в России.
21. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
22. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
23. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Топ - 7 наборов семян, которые должны быть у каждого!
26. Почeму чеснoк при хранении усыхает.
27. Toлько не забудьте peцепт!
28. Mышь в yлье.
29. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
30. Oгурцы будете рaздавать всем coceдям.
31. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
32. Секрет пышной и сладкой морковки - простая подкормка!
33. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
34. Подругa нaучила "Прaвильно" тушить капусту.
35. Фиhики как лekapство от всего или 20 фактов о финиках.
36. Арапайма звучит как имя из глубокой древности, и недаром.
37. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
38. Давайте мы приготовим вкуснейшую аджику из cлив.
39. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
40. Клубника на подоконнике - аромат лета круглый год!
41. В России начались испытания новой вакцины против аллергии.
42. Чем обработать теплицу осенью от болезней и вредителей?
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Сердце в словах: почему мы так любим любовные романы
45. Секрет крупного озимого чеснока - простая подкормка при посадке!
46. Начинайте готовить ягодные кустарники к холодам.
47. Учёные Ozempic без побочных эффектов создали.
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
50. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.