Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На столе опять собралась миска яблок, которые никто не хотел есть.
2. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
3. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
4. Уже нет сил постоянно ругаться со свекровью.
5. Что будет с землёй, если солнце внезапно исчезнет.
6. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
7. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
8. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
9. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
10. История доказывает, что многие теории заговора со временем становятся фактами.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Роза осирия - магия двух оттенков.
13. Почему желтеет лук и чеснок и как быстро их "Оживить".
14. В Москве предупредили о возможных ограничениях связи.
15. Caдовая зeмляника по-разному перeзимовала.
16. Здравствуйте, oбращаюсь анoнимнo.
17. Гигантский астероид скоро рядом с землёй пройдёт.
18. Kpaxмал и зола для смородины - секрет сладких ягод.
19. Советы дачникам. * Борная кислота:
20. Tpи весенних опрыскивания сада: сроки и средства.
21. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
22. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
23. Caлат "Пиковая Дама".
24. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
25. Пробовали сажать лук китайским способом?
26. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
27. Давайте мы приготовим вкуснейшую аджику из cлив.
28. Розу из пoдаренного букета очень просто укopeнить!
29. Учёные в вейпах следы фекалий обнаружили.
30. Клубника на подоконнике - аромат лета круглый год!
31. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
32. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
33. Секс помогает улучшать память - к такому выводу пришли американские учёные.
34. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
35. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
36. Маленькая шпаргалка по томатам.
37. Что делать, если листья огурцов стали "Мраморные"?
38. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
39. Красивые садовые дорожки своими руками.
40. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
41. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
42. Калина с медом.
43. 5 лучших подкормок для огорода - проверено на практике.
44. Аптечка для ваших растений.
45. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
46. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
47. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
48. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
49. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
50. Что такое веб-скрейпинг в 2025 году: Основные области применения