Grzegorz Wojterzak

Dane, które same trafiają tam, gdzie ich potrzebujesz

Buduję automaty, które codziennie zbierają informacje z sieci, porządkują je i dostarczają w formie raportu, powiadomienia albo pliku do innego systemu. Zbudowałem na tym dwa własne serwisy.

Dla kogo

  • Sklepy chcące śledzić ceny konkurencji
  • Firmy szukające przetargów, naborów i ogłoszeń
  • E-commerce potrzebujący feedów do Google i porównywarek
  • Zespoły ręcznie kopiujące dane między systemami

Co dokładnie robię

  • Monitoring cen konkurencjiCodzienne porównanie Twoich cen z wybranymi sklepami, z panelem i powiadomieniem o zmianach.
  • Zbieranie ogłoszeń i naborówAutomat przegląda strony instytucji, wyłapuje nowe ogłoszenia według Twoich kryteriów i przysyła zestawienie.
  • Feedy produktowePliki XML/CSV dla Google Merchant Center i porównywarek, z poprawnym mapowaniem kategorii i atrybutów.
  • Integracje APIPołączenie sklepu, hurtowni, CRM i systemu magazynowego, żeby dane synchronizowały się same.
  • Bazy i paneleZebrane dane w bazie z prostym panelem do przeglądania, filtrowania i eksportu.
  • Harmonogram i serwerAutomaty działają na serwerze według harmonogramu i powiadamiają o błędach.
Z praktyki

Handlowy Radar monitoruje prawie 36 tysięcy list ogłoszeń urzędów, a Dotacje Radar ponad 11 tysięcy Biuletynów Informacji Publicznej. Oba działają automatycznie każdej nocy.

Narzędzia

  • Python
  • Flask
  • SQLite / PostgreSQL
  • Node.js
  • Linux / cron
  • API REST
  • XML / CSV

Najczęstsze pytania

Czy zbieranie danych ze stron jest legalne?

Pracuję na danych publicznych i z poszanowaniem regulaminów serwisów oraz ich obciążenia. Nie zbieram danych osobowych bez podstawy prawnej.

W jakiej formie dostanę dane?

Jak Ci wygodnie: arkusz Google, plik CSV/XML, e-mail z raportem, panel www albo bezpośrednio w Twoim systemie przez API.

Co, jeśli strona źródłowa się zmieni?

Automat zgłasza błąd, gdy przestaje znajdować dane. Poprawki w ramach opieki wprowadzam na bieżąco.

Gdzie będzie działał automat?

Na Twoim serwerze albo na serwerze, który przygotuję. Kod i dane zostają Twoją własnością.

Kontakt

Opowiedz mi o swoim problemie

Napisz kilka zdań o tym, czego potrzebujesz. Odpowiem z propozycją kolejnego kroku, zwykle tego samego dnia.