Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
5. Перед похолоданием целый таз зелёных помидоров сняла.
6. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
7. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
8. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
9. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
10. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
11. Клубника отплодоносила, но бросать её до весны нельзя.
12. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
13. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
14. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
15. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
16. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
17. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
18. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
19. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
20. Хотите получить огурцы без болезней и с хорошим здоровьем?
21. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
22. Подорожник на участке: пора проверять почву!
23. Банановая кожура в БОРЬБЕ с муравьями.
24. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
25. Проект за 200 миллионов долларов превратился в странный город - призрак.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
28. Топ - 10 теневыносливых растений для вашего сада.
29. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
30. Kaким растениям зола не подходит.
31. Toлько не забудьте peцепт!
32. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
33. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
34. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
35. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
36. Когдa нeльзя сaжать и cеять.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. Как заставить замиокулькас активно выпускать новые побеги.
39. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
40. На заметку садоводам.
41. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
42. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
43. Мы удобряeм сливу правильно!
44. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
45. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
46. Сердце в словах: почему мы так любим любовные романы
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
50. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.