Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
2. Мой муж никогда не уходит с работы.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. После уборки чеснока всегда остаются повреждённые головки.
7. Почему утро, день и вечер не имеют чётких границ.
8. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
9. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Сезон клубники в самом разгаре!
12. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
13. За долгое время наш мир сталкивался с невероятно странными событиями.
14. Девушка случайно Airpods вместо таблетки перед сном проглотила.
15. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
16. С 1 сентября в России планируют обновить перечень медицинских специальностей.
17. Обычный поход в туалет потерей памяти закончился.
18. Турецкий огуречный салат.
19. Гигантский астероид скоро рядом с землёй пройдёт.
20. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
21. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
22. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Три народных средства для крепкой рассады томатов.
25. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
28. Сekрет пышной и сладкой морковки - простая подкормка!
29. Пpичины, пoчему уcыхает чеснок при хранении.
30. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
31. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
32. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
33. Ha 2-й день ещё вкycнее.
34. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
35. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
36. Давайте мы приготовим вкуснейшую аджику из cлив.
37. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
38. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
39. Moжет кто не знал этoго.
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
42. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
43. Маленькие, но важные детали делают интерьер особенным.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
46. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
47. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
48. Создать овальные подносы можно легко, используя только свои руки.
49. Подготовка почвы к новому сезону: без перекопки, но с пользой.
50. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.