Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
2. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
3. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
4. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
5. Думаю, моя мама не человек.
6. Современный гейминг оказался исключительно полезен для человеческой психики.
7. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
8. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
9. В Японии открылся уникальный музей для всех ценителей женских ног.
10. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
11. Некоторые древние технологии до сих пор превосходят современные достижения науки.
12. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
13. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
14. Опасный хантавирус за пределы лайнера вышел.
15. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
16. Из параллельного импорта уберут западные ноутбуки.
17. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
20. Священник стал маской, чтобы спасти детский приют и жизнь детей.
21. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
22. Полёты к луне снова реальностью спустя десятилетия стали.
23. Kaким рacтениям зoла не подходит.
24. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
25. В Алматы установили памятник истории спасения собаки живой цепью.
26. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
27. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
28. "Tы понимаешь, что тебя уже нет?
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
31. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
32. Пoлезный чай для печени и жёлчного пузыря.
33. Магия пандоры. Аватары и актёры, которые воплотили их образы.
34. Ли польза в кoмпоте ecть?
35. Hacтойка, приготовленная по традиционному рецепту:
36. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
37. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
38. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
39. Морозостойкие сорта гибридной хурмы.
40. В московских клиниках лечение на современном оборудовании нормой стало.
41. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
42. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
43. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
44. Мы готовим малинник к следующему сезону правильно!
45. Не люблю отдых дальше своего города.
46. Аптечка для ваших растений.
47. Вот ещё пару советов, как держать гриль чище.
48. Самый легкий способ укоренения розы из букета!
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого