Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
4. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. Долго планировали с мужем переезд, нашли жилье.
7. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
8. После последней ягоды про клубнику легко забыть до следующей весны.
9. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
10. Пустая грядка в августе не обязана два месяца выращивать сорняки.
11. Всю жизнь терпеть не могу своё имя - Валентина.
12. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
13. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
14. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
15. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
16. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
17. У меня сложные отношения со свекрами.
18. Когда-то давно у меня был кот с сумасшедшим характером.
19. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
20. Обычные прогулки мощной поддержкой для организма оказались.
21. В Москве предупредили о возможных ограничениях связи.
22. Туапсе экологическая катастрофа хуже анапской грозит.
23. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
24. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
25. Этo oдин из тех рецептов, которые всегда выручают.
26. Как подкормить малину весной для крупных и сладких ягод.
27. У китайцев принято чавкать.
28. 10 растений с белыми цветами.
29. Последний защитник брестской крепости.
30. Клещи - мутанты из Африки атакуют россиян.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
34. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
35. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
36. Ли польза в кoмпоте ecть?
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
39. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
40. Насыпной пирог с творожной начинкой.
41. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
42. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
43. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
44. Какие лилии могут зимовать в грунте!
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Яркий акцент для сада.
47. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
48. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
49. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.