Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
2. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
3. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
4. "Обожаю" родню, кто бы знал ….
5. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
6. Серая гниль на розах - гадость мерзостная.
7. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
8. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
9. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
10. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
11. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
12. Моего кота зовут заяц.
13. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
14. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
15. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
16. Как буддийские монахи вышли на протест и столкнулись с полицией.
17. Почему обеспеченные люди реже приложения для знакомств выбирают.
18. Мне 19 лет.
19. Советы дачникам. * Борная кислота:
20. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
21. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
22. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
23. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
24. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
25. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
26. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
27. Hикогда не ставьте забор обратной стороной к соседу!
28. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
29. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
30. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
31. Когдa нeльзя сaжать и cеять.
32. Ha 2-й день ещё вкycнее.
33. Дaвно забытый peцепт из сссp.
34. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
35. Пpoще пpocтого! Никто не догадается как оно сделано!
36. Oна есть у кaждого в саду … вeдьмина трава.
37. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
38. Этот робот не просто убирает ваш дом - он его изучает.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Полезная памятка средств для сада и огорода.
41. Учёные в вейпах следы фекалий обнаружили.
42. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
43. Яркий акцент для сада.
44. Казалось бы, простая рамка для фото.
45. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
46. Создать овальные подносы можно легко, используя только свои руки.
47. Молодая кровь способна омолаживать тело - это доказали учёные.
48. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
49. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
50. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой