Jak zbieramy i publikujemy dane

Metodologia Jak zbieramy i publikujemy dane Wszystkie liczby w serwisie pochodzą z publicznych publikacji wydawców indeksów oraz z rejestrów urzędowych. Poniżej opisujemy, co dokładnie pobieramy, jak często, jak oznaczamy datę odczytu i co się dzieje, gdy źródło nie odpowiada. Zasada nadrzędna Publikujemy tylko odczyt, który udało się faktycznie pobrać. Nigdy nie interpolujemy, nie uśredniamy i nie szacujemy brakujących punktów. Jeżeli parser nie zwróci wartości mieszczącej się w dopuszczalnym zakresie dla danego indeksu, punkt nie powstaje: wolimy lukę w szeregu niż liczbę, której nikt nie potwierdził. Skrót: co, skąd i jak często DaneŹródłoJednostkaCzęstotliwość publikacji Fracht morski, indeks składowyDrewry World Container Index (WCI)USD za kontener 40 stóptygodniowo Fracht morski, wyjścia z SzanghajuSCFI, Shanghai Shipping Exchangepunkty indeksutygodniowo Kolej Chiny do EuropyERAI (Eurasian Rail Alliance Index), kierunek zachodniUSD za FEUtygodniowo Fracht lotniczy East-WestDrewry Airfreight Price IndexUSD za kilogrammiesięcznie Środki ochronne UETRON oraz EUR-Lexnumer sprawy, kod CN, statuscodziennie Kurs USD/PLNNBP, tabela APLN za 1 USDw dni robocze Indeksy frachtu morskiego Drewry World Container Index Z publicznie dostępnej strony indeksu pobieramy wartość składową (composite) wyrażoną w dolarach za kontener 40 stóp oraz tygodniową zmianę procentową. Drewry publikuje aktualizację raz w tygodniu, dlatego między publikacjami wartość się nie zmienia i dokładnie tak ją prezentujemy: z datą odczytu, a nie z datą dzisiejszą. Odczyt przechodzi kontrolę zakresu. Wartości spoza sensownego przedziału dla tego indeksu traktujemy jako błąd parsowania i odrzucamy, zamiast zapisywać podejrzaną liczbę. SCFI (Shanghai Containerized Freight Index) Indeks publikuje Shanghai Shipping Exchange. Bierzemy wartość składową (comprehensive index) z publicznej tabeli na stronie giełdy, również raz w tygodniu, wraz z datą publikacji. SCFI jest indeksem punktowym, więc podajemy punkty, a nie dolary, i nie mieszamy go z WCI w jednym szeregu. Bieżące wartości obu indeksów razem ze zmianą tydzień do tygodnia pokazujemy na stronie stawki frachtu z Chin. Jak czytać te indeksy, wyjaśniamy w tekście co mówią indeksy WCI, SCFI i ERAI, a dlaczego oferta spedytora rzadko równa się indeksowi, w tekście ile realnie kosztuje kontener z Chin. Kolej Chiny do Europy Korzystamy z ERAI, indeksu publikowanego przez Eurasian Rail Alliance. Pobieramy kierunek zachodni, czyli przewozy z Chin do Europy, w dolarach za FEU. Ze strony indeksu bierzemy również datę ostatniej zmiany wartości i to ona jest datą odczytu w naszym szeregu. Fracht lotniczy Śledzimy Drewry Airfreight Price Index dla tras East-West, publikowany w dolarach za kilogram. Ten indeks aktualizowany jest w cyklu miesięcznym, więc również w naszym serwisie zmienia się raz w miesiącu. Jeżeli wydawca opisuje wartość zdaniem odnoszącym się do konkretnego miesiąca, przypisujemy odczyt do tego miesiąca, a nie do dnia pobrania. Środki ochronne Unii Europejskiej Informacje o cłach antydumpingowych, antysubsydyjnych i środkach ochronnych zbieramy z dwóch miejsc naraz. Pierwszym jest TRON, czyli portal postępowań ochronnych Komisji Europejskiej: stamtąd bierzemy trwające dochodzenia, ich numery i status. Drugim jest EUR-Lex, z którego pobieramy akty opublikowane w Dzienniku Urzędowym Unii Europejskiej: rozporządzenia nakładające cła, zawiadomienia o wszczęciu i o zbliżającym się wygaśnięciu środków. Zapisujemy wyłącznie dane deterministyczne, czyli takie, które da się jednoznacznie odczytać z dokumentu: numer sprawy, przedmiot postępowania, kody CN, daty i link do aktu. Wpisy przygotowane ręcznie przez redakcję mają pierwszeństwo i automat nigdy ich nie nadpisuje. Gotowe zestawienie w podziale na kody CN publikujemy w rejestrze ceł antydumpingowych na towary z Chin. Stawki celne pokazujemy dopiero po weryfikacji przy źródle Konkretnej wysokości cła nie publikujemy na podstawie samego zestawienia automatycznego. Stawka pojawia się dopiero wtedy, gdy człowiek sprawdzi ją w treści rozporządzenia w EUR-Lex oraz w bazie taryfowej (TARIC lub ISZTAR4) i potwierdzi, że dotyczy właśnie tego kodu CN, tego producenta i tego okresu. Do momentu takiej weryfikacji pokazujemy status sprawy i link do dokumentu, bez liczby. Nasze zestawienie nie zastępuje wiążącej informacji taryfowej ani decyzji organu celnego. Przed odprawą stawkę należy potwierdzić w TARIC albo ISZTAR4 dla konkretnego kodu i pochodzenia towaru. Po stronie polskiej śledzimy dodatkowo komunikaty PUESC, platformy Krajowej Administracji Skarbowej: informacje o obsłudze zgłoszeń celnych i o zmianach w systemach celnych trafiają do wydań radaru, bo zmieniają przebieg odprawy, a nie samą stawkę. Kursy walut Kursy pobieramy z publicznego API Narodowego Banku Polskiego, z tabeli A (kursy średnie). Przy każdym kursie pracujemy na dacie obowiązywania podanej przez NBP (pole z datą efektywną), a nie na dacie naszego zapytania. NBP nie publikuje tabeli w dni wolne, więc w weekend i w święta obowiązuje ostatni opublikowany kurs i tak go opisujemy. Data odczytu i częstotliwość Rozróżniamy trzy daty i staramy się ich nie mylić: Data publikacji przez wydawcę: kiedy indeks został ogłoszony (na przykład tygodniowa aktualizacja WCI). Data odczytu: kiedy nasz kolektor pobrał wartość. To ona jest widoczna przy liczbach w serwisie. Data wydania radaru: dzień, którego dotyczy konkretne wydanie przeglądu. Kolektory uruchamiamy automatycznie, codziennie. Indeks tygodniowy nie zmienia się jednak częściej, niż publikuje go wydawca, nawet jeżeli sprawdzamy go każdego dnia. Gdy źródło nie odpowiada Każde źródło pobieramy niezależnie i w izolacji: awaria jednego nie zatrzymuje pozostałych. Gdy strona źródła nie odpowiada, zmieni układ albo zwróci wartość spoza dopuszczalnego zakresu, dzieje się co następuje: nowy punkt nie powstaje, w szeregu zostaje luka zamiast zmyślonej wartości; w serwisie nadal widoczny jest ostatni potwierdzony odczyt razem ze swoją datą, żeby było widać, że dane się nie odświeżyły; błąd trafia do logu kolektora, a redakcja weryfikuje, czy to chwilowa awaria, czy zmiana struktury strony wymagająca poprawki parsera; jeżeli przerwa się przedłuża, opisujemy to wprost w wydaniu radaru. Korekty Wydawcy indeksów czasem korygują opublikowaną wartość. Jeżeli tak się stanie, poprawiamy punkt w naszym szeregu do wartości po korekcie i zachowujemy datę odczytu źródłowego. Gdy korekta zmienia wnioski z opublikowanego wcześniej tekstu lub wydania radaru, dopisujemy do niego notę o korekcie z datą, zamiast po cichu podmieniać liczbę. Zasadę tę stosujemy również do naszych własnych błędów, a tryb zgłaszania opisuje polityka redakcyjna. Prawa do danych źródłowych Indeksy pozostają własnością ich wydawców. Cytujemy wartości udostępniane publicznie, zawsze z podaniem wydawcy i linkiem do jego strony. Nie redystrybuujemy pełnych, licencjonowanych szeregów ani danych trasowych, do których dostęp jest płatny. Zobacz te dane w praktyce Stawki frachtu z Chin Odczyty WCI, SCFI, ERAI i frachtu lotniczego, opisanym wyżej trybem, z datą odczytu. Cło antydumpingowe Rejestr środków ochronnych Unii Europejskiej wobec towarów z Chin, w podziale na kody CN. Źródła Pełna lista źródeł z linkami i zakresem danych. Polityka redakcyjna Jak powstają teksty, jak kontrolujemy liczby i jak poprawiamy błędy. Nie musisz powtarzać tego procesu ręcznie Kolektory przechodzą po tych źródłach codziennie, a Ty dostajesz gotowy przegląd: fracht morski, kolejowy i lotniczy, środki ochronne Unii Europejskiej i kurs USD/PLN. Wypisujesz się jednym kliknięciem. Sprawdź skrzynkę. Wysłaliśmy link potwierdzający z adresu kontakt@importpanel.pl. Nie widzisz go? Zajrzyj do folderu Oferty albo Spam.