Sprytne lenistwo - scraping ofert z Internetu
Scraping ofert z Internetu zastąpił mi ręczne wysyłanie 200 maili: zbudowałem automatyzację, która sama znalazła studia oklejania samochodów w Warszawie i okolicach, a potem rozesłała do nich zapytania.
Scraping ofert w skrócie
- Automatyzacja do scrapingu ofert wyszukuje firmy w Google i sprawdza na ich stronach, czy mają zakładkę z usługą oklejania folią PPF.
- Z każdej pasującej strony automatyzacja pobiera adres e-mail, sprawdza, czy jest poprawny, i wysyła zapytanie o cenę i terminy ze zdjęciami samochodu w załączniku.
- Ustawienie automatyzacji do scrapingu ofert zajęło mi 20-30 minut w jednym narzędziu i kosztowało kilka dolarów, a ręcznie spędziłbym nad tym kilka dni.
- Zaplanowałem też drugą automatyzację, która zbierze wszystkie odpowiedzi do pliku Excel, żebym mógł łatwo porównać ceny i dostępność.
Jestem leniwy i jestem z tego dumny. Co prawda osoby, które mnie znają ostatnie chyba co by o mnie powiedziały, że jestem leniwy, ale prawda jest, że szybko się nudzę, a ja chciałem złapać Twoją uwagę.
Mam tak, że zamiast robić 100 razy tę samą rzecz przez 5 minut codziennie to wolę zarwać noc i napisać program, który za mnie to zrobi. Odbieram niedługo nowy samochód - piękne, wspaniałe, kolejne już Volvo z jednym dużym problemem. Jest szare.
Dlaczego? Zapytajcie mojej żony, to ona wybierała kolor samochodu, ja byłem odpowiedzialny za resztę wyposażenia.
Serio, ten szary w Volvo jest … szary. Postanowiłem więc, że okleję go matową, satynową folią dla lepszego efektu oraz oczywiście ochrony lakieru, bo jestem praktyczny a nie trwonię pieniądze.
Perspektywa wysyłania 200 maili do różnych studiów w Warszawie i okolicach, ustalania cen, terminów i porównywania ofert mnie przeraziła. No nie, dziękuję, mam ciekawsze rzeczy do zrobienia. Zamiast tego skorzystałem z automatyzacji. Stworzyłem proces, który: Wyszukuje w Google odpowiednie firmy Weryfikuje ich oferty pod kątem usługi oklejania folią PPF, tzn sprawdza, czy mają odpowiednią zakładkę na stronie. Pobiera email i go weryfikuje czy jest poprawny. Wysyła zapytania o cenę i terminy z załączonymi zdjęciami mojego samochodu. Całość zajęła mi około 20-30 minut w jednym narzędziu za kilka dolarów. Jutro planuję stworzyć kolejną automatyzację, która zbierze wszystkie odpowiedzi do pliku Excel, bym mógł łatwo porównać ceny i dostępność. Kiedyś bym spędził nad tym kilka dni, teraz uwolniłem sobie czas, który spożytkowałem dla mnie lepiej. Więc tak, jestem leniwy i jestem z tego dumny
