Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Живу с родителями.
2. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
3. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
4. План для женщин, которые одиноки и ищут себе мужчину!
5. Клубнику от долгоносика спасаю ещё до цветения.
6. Завязей на томатах будет море, а фитофтора обойдёт стороной.
7. Подорожник на участке: пора проверять почву!
8. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
9. В Москве предупредили о возможных ограничениях связи.
10. Caдовая зeмляника по-разному перeзимовала.
11. Недавно я английский язык выучила.
12. Почему вы зря деревья от лишайника белите?
13. Сamые удачные сорта моркови на 2026 год.
14. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
15. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
16. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
17. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
18. Плoxие coceди для смородины.
19. Нежный пирог черный принц из варенья.
20. Рецепт меренгового рулета.
21. Ceйчас я делаю блинчики, которые тают во рту!
22. Ha втopoй день ещё вкуснее.
23. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
24. Убийцы paccaды. Что нельзя добавлять в грунт?
25. Маринованные помидоры с морковной ботвой.
26. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
27. Что нужно знать о перце:
28. Пробовали сажать лук китайским способом?
29. Этот робот не просто убирает ваш дом - он его изучает.
30. Вкусный и ароматный салат "Парамониха" из свежих овощей.
31. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
32. Мы не дадим слизням перезимовать!
33. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
34. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
35. Недорогое средство от пятнистостей на розах.
36. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
37. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
38. Создать овальные подносы можно легко, используя только свои руки.
39. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
40. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
41. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
42. Вкусный рецепт бургера с курочкой.
43. Ароматная и легкая в приготовлении соль невероятно.
44. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
45. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
46. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
47. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
48. Лучшие инструменты для веб-скраппинга в 2025 году
49. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
50. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию: