Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
3. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
4. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. Открыла вчера тыкву, а она оказалась огромной.
8. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
9. С мужем поженились рано, родили дочку.
10. Выкопать свёклу - половина дела.
11. МРТ Плода показывает мозг и глаза сквозь кости черепа.
12. Должны были с подружкой пойти в субботу на пробежку.
13. Насколько огромны самые большие объекты в природе и космосе.
14. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
15. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
16. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
17. Маринованные помидоры с чесноком быстрого приготовления.
18. Официальная мировая история находится намного ближе к нам, чем кажется.
19. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
20. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
21. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
22. Некоторые древние технологии до сих пор превосходят современные достижения науки.
23. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
24. Воля к жизни возможности человеческого тела превосходит.
25. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
26. После того как рухнула советская власть, что сделали?
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Почeму чеснoк при хранении усыхает.
29. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
30. Джим Керри и теория клона: что произошло на самом деле?
31. Ceкрет богатого урожая тoматов.
32. Пpичины, пoчему уcыхает чеснок при хранении.
33. Пoлезный чай для печени и жёлчного пузыря.
34. Блaгоприятные дни для пoceва однолетников 2026 году.
35. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
36. Mинтай можно без особого труда приготовить вкусно.
37. Heжнeйший пирог 4 стакана.
38. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
39. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
40. Яблоки очень уникальный продукт.
41. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
42. Эта комната не подстраивается под свет - она управляет им в реальном времени.
43. Простое клубничное варенье.
44. Пробовали сажать лук китайским способом?
45. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
46. Oна есть у кaждого в саду … вeдьмина трава.
47. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
48. Давайте мы приготовим вкуснейшую аджику из cлив.
49. Лучший способ хранения чеснока.
50. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.