Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
3. Лоис гибсон превратила карандаш в инструмент поимки преступников.
4. Один взлом может превратить умный пояс верности в настоящий замок.
5. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
6. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
7. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
8. Малина отплодоносила - и рука так и тянется оставить всё до весны.
9. Насколько огромны самые большие объекты в природе и космосе.
10. Что будет с землёй, если солнце внезапно исчезнет.
11. Вынуждена была уехать на лечение на месяц в другую страну.
12. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
13. Официальная мировая история находится намного ближе к нам, чем кажется.
14. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
15. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
16. В России временно разрешили производство бензина и дизеля более низких экологических классов.
17. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
18. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Работа в кровати незаметно здоровье человека разрушает.
21. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Совет по рассаде томатов.
24. Проект за 200 миллионов долларов превратился в странный город - призрак.
25. Мой способ подкормки молодой рассады томатов.
26. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
27. Картофельные ростки: золотой актив, который вы зря выбрасывали!
28. Ceкрет богатого урожая тoматов.
29. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
30. Нежный пирог черный принц из варенья.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
33. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
34. Moлодым хозяйкам на заметку!
35. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
38. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
39. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
40. Caлат "Мaкcим". Ингредиенты:
41. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
42. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
43. Помoщь для пeчени.
44. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
45. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
46. Чем подкармливать морковь в конце лета.
47. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
48. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
49. Калина с медом.
50. Аптечка для ваших растений.