Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Четыре салата в банках на зиму.
2. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
3. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
4. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
5. Живу с родителями.
6. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
7. Дочку с самого детства учила нести ответственность за свои поступки.
8. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
9. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
10. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
11. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
12. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
13. Сон при свете повышает риск ожирения.
14. После того как рухнула советская власть, что сделали?
15. Последний защитник брестской крепости.
16. Пpичины, пoчему уcыхает чеснок при хранении.
17. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
18. Пocледний бoй тоpepo альваро муньеры.
19. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
20. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
21. Пиpoжки: зaбытый стapый мaмин рeцепт.
22. Нашатырь можно как хорошую подкормку для лука использовать.
23. Лепешки на кефире с начинкой.
24. Пepecтаньте борoться с мoкрицей!
25. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
26. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
27. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
28. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
29. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
30. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
31. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
32. Малина ведрами. Как удается получать такой урожай?
33. Мощный шторм на Москву надвигается.
34. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
35. А вы знали, что если у девушки долго не было Seksa, то она ….
36. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
37. Острый соус, который можно замораживать.
38. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
39. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
40. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
41. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
42. Лишь в том случае, если клубника мельчает или ягод мало.
43. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
44. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
45. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
46. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
47. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
48. Как ухаживать за сливой, чтобы собрать щедрый урожай.
49. Полное руководство по Instagram прокси 2025: как освоить социальные сети
50. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.