Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
2. Серая гниль на розах - гадость мерзостная.
3. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
4. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
5. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
6. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
7. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
8. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
9. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
10. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
11. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
12. Урологи из сша новую технологию увеличения разработали.
13. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
14. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
15. Моя мама очень долго болью в коленях мучилась.
16. В популярных духах обнаружили потенциально опасные вещества.
17. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
18. Как подкормить малину весной для крупных и сладких ягод.
19. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
20. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
21. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
22. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
23. Toматы для ленивых.
24. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
25. Ha 2-й день ещё вкycнее.
26. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
27. Чтo делает с оргahизмом всего одна хурма.
28. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
29. Как правильно ухаживать за фиалками.
30. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
31. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
32. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
33. Вкусный и ароматный салат "Парамониха" из свежих овощей.
34. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
35. Мощный шторм на Москву надвигается.
36. Конечно! Вот классический рецепт варенья из яблок с апельсином:
37. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
38. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
39. Острый соус, который можно замораживать.
40. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
41. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
42. Аптечка для ваших растений.
43. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
44. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
45. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
46. Брюква - это вкусный и полезный корнеплод, который обладает множеством достоинств.
47. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
48. Иногда, чтобы почувствовать настоящую свободу, достаточно шагнуть в вязкую, прохладную грязь.
49. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
50. Как использовать публичные SOCKS5 прокси в Telegram