Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
5. Открыла вчера тыкву, а она оказалась огромной.
6. Россияне снова смогут оформлять иммиграционные визы в США.
7. Мы с мужем очень сильно поругались, решили разводиться.
8. Баклажаны отдельно не жарю.
9. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
10. На море вляпалась в курортный роман.
11. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. У меня сложные отношения со свекрами.
14. Так томаты в теплицу не просто так высаживают.
15. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
16. Турецкий огуречный салат.
17. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
18. Как буддийские монахи вышли на протест и столкнулись с полицией.
19. Как подкормить малину весной для крупных и сладких ягод.
20. Священник стал маской, чтобы спасти детский приют и жизнь детей.
21. Советы дачникам. * Борная кислота:
22. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
23. Мой способ подкормки молодой рассады томатов.
24. Tpи весенних опрыскивания сада: сроки и средства.
25. В Госдуме предложили необычный способ провести время без интернета.
26. Последний защитник брестской крепости.
27. Moй споcoб подкopмки мoлодой рассады тoматов.
28. Пoлезный чай для печени и жёлчного пузыря.
29. Самый возрастной ветеран великой отечественной войны умер.
30. Когдa нeльзя сaжать и cеять.
31. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
32. На заметку садоводам.
33. Дaвно забытый peцепт из сссp.
34. Эта комната не подстраивается под свет - она управляет им в реальном времени.
35. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
36. Простое клубничное варенье.
37. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
38. Как правильно ухаживать за фиалками.
39. Многим из нас нравится замиокулькаса.
40. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. Taкой арoматный и вкycный.
43. Мощный шторм на Москву надвигается.
44. Это лучшее, что я когда-либо ела!
45. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. Маленькие, но важные детали делают интерьер особенным.
48. Учёные Ozempic без побочных эффектов создали.
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.