Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
2. Родила старшую дочку в 17 лет.
3. Малина отплодоносила - и рука так и тянется оставить всё до весны.
4. В Россию прибыла первая партия бензина из индии.
5. Из одного кочана делаю целую сковороду капустных шницелей.
6. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
7. Почему утро, день и вечер не имеют чётких границ.
8. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
9. В Дубае существует район, который кажется ошибкой самой реальности.
10. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
14. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
17. Девушка случайно Airpods вместо таблетки перед сном проглотила.
18. Нарциссизм всё чаще связывают именно с генетикой.
19. Работа в кровати незаметно здоровье человека разрушает.
20. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
21. Цензура запросов к искусственному интеллекту обсуждается в России.
22. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
23. Kaким растениям зола не подходит.
24. Джим Керри и теория клона: что произошло на самом деле?
25. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
26. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
27. Она растёт в каждом саду и называется ведьмина трава.
28. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
29. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
30. Сaлат с копченой курицей.
31. Натали вспомнила мужа: "третья новогодняя ночь без него.
32. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
33. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
34. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
37. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
38. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
39. Как правильно подкармливать пионы чтобы они пышно цвели.
40. Многим из нас нравится замиокулькаса.
41. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
42. Moжет кто не знал этoго.
43. Уже давно делаю по этому рецепту!
44. А вы знали, что если у девушки долго не было Seksa, то она ….
45. Как избавиться от грызунов на даче простыми средствами.
46. Как правильно подготовить малинник к новому сезону.
47. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
50. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.