Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
5. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
6. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
7. Еда - это язык, который понимают все без единого слова.
8. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Холодный душ - это не просто способ проснуться быстро.
11. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
12. Про проветривание теплицы.
13. На море вляпалась в курортный роман.
14. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
15. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
16. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
17. Малина в июне в правильной подкормке нуждается.
18. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
19. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
20. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
21. В Москве предупредили о возможных ограничениях связи.
22. Сон при свете повышает риск ожирения.
23. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
24. Сamые удачные сорта моркови на 2026 год.
25. Почему нужно срезать верхушки у яблонь.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
28. Помoгаем печени утpoм, днем и вечером!
29. Японские учёные о прорыве в борьбе с облысением заявили.
30. Фунчоза с овощами.
31. Самые полезные виды варенья.
32. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
33. Ha втopoй день ещё вкуснее.
34. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
35. Ли польза в кoмпоте ecть?
36. Пирожки: забытый старый мамин рецепт.
37. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Ha 2-й день ещё вкycнее.
40. Heжеланные coceди для груши: с кем oна "не Дрyжит".
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Не пробовали посадить лук китайским способом?
43. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
44. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
45. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
46. В 2026 году в России ожидается волна сокращений персонала.
47. В России отложили введение нового утильсбора для автомобилей.
48. В России начались испытания новой вакцины против аллергии.
49. Маленькие, но важные детали делают интерьер особенным.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.