Ruch średnia agregacja

neil-lunn Chciałem obliczyć średnią kroczącą tak przez 3-miesięczne odstępy czasu Chciałbym wziąć jeden dzień i średnio tego dnia z ostatnich 3 miesięcy danych, a następnie robić to średnio na każdy dzień przez 50 lat najbliższych 50 lat Więc Myślę, że niektóre wartości pokrywają się ze średnimi Jak to zrobić z mapReduce zamiast tego można to zrobić z ramą agregacji Myślę, że masz rację, muszę porównać oddzielne dokumenty Thanks mc Aug 6 14 at 12 53.I don Uważam, że ramy agregacji mogą to zrobić dla wielu dat w bieżącej wersji 2 6, a przynajmniej można to zrobić bez poważnych gimnastyk. Powodem jest to, że rurociąg agregacyjny przetwarza jeden dokument naraz i tylko jeden dokument, więc konieczne byłoby jakoś utworzenie dokumentu dla każdego dnia zawierającego poprzednie trzy miesiące wartości istotnych informacji To byłby etap zbiorczy, który obliczałby średnią, co oznacza, że ​​poprzedni etap wyprodukowałby około 90 kopii każdego dnia s rec z pewnym kluczem odróżniającym, który może być użyty dla grupy. Więc nie widzę sposobu, aby to zrobić więcej niż jedną datę naraz w pojedynczej agregacji Chętnie się mylę i będę musiał ją usunąć usunąć tę odpowiedź, jeśli Ktoś znalazł sposób na to, nawet jeśli jest tak skomplikowany, że nie jest to praktyczne Funkcja typu POKRYCIA typu PostgreSQL może wykonać tę pracę Może ta funkcja zostanie dodana kiedyś. albo kwerendy tego i obliczyć średnią ruchomą w niektórych językach Ruby, Pythona, węzła lub uruchomić agregujące kwerendy dla każdego przedziału jest to, że naprawdę najlepsze rozwiązanie Czy nie czuje się źle to jest lepszy sposób to zrobić z map - zmniejszyć, że nie mogę myśleć mc 7 sierpnia w 18 41.I haven t myśleć o mapę-zmniejszyć Ogólnie rzecz biorąc, staram się unikać map-redukcji, ponieważ ma znaczną wydajność i nie jest tak bezpieczna, ponieważ pracujesz niestandardowy po stronie serwera kodu spróbuję się zastanowić, a może ktoś inny będzie gotować up mr solution wdberkeley 7 sierpnia 2007 at 18 44. Myślę, że mogę mieć odpowiedź na moje własne pytanie Zmniejszenie mapy zrobiłoby to Najpierw użyj emituj, aby mapować każdy dokument sąsiadów, że powinien być uśredniony, a następnie użyj skrótu do avg każdej tablicy i że nowa tablica średnich powinna być średnią ruchoma w nadgodzinach, ponieważ to id to nowy przedział daty, który Cię interesuje. Chyba muszę zrozumieć mapę - lepiej. Na przykład jeśli chcemy to zrobić w późniejszym czasie możemy tworzyć kolekcje. Wyglądają poprawnie. Ta funkcjonalność jest eksperymentalna i może zostać zmieniona lub całkowicie usunięta w przyszłym wydaniu Elastic podejmie najlepsze starania, aby rozwiązać wszelkie problemy, ale funkcje eksperymentalne nie podlegają SLA wsparcia oficjalnych funkcji GA. Dzięki uporządkowanej serii danych agregacja Moving Average przesuwa okno na dane i emituje średnią wartość tego okna Na przykład, biorąc pod uwagę dane 1, 2, 3, 4, 5, 6, 7 , 8, 9, 10 możemy obliczyć prosty ruch g średniej z oknami wielkości 5 w następujący sposób. Średnie przeciętne to prosta metoda wygładzania danych sekwencyjnych Przechodzenie średnie jest zazwyczaj stosowane do danych opartych na czasie, takich jak ceny akcji lub metryki serwerów Wygładzanie może być wykorzystane do wyeliminowania wahań wysokiej częstotliwości lub losowania hałas, co pozwala na łatwiejsze wizualizowanie tendencji w zakresie niższych częstotliwości, takich jak sezonowość. Model liniowy przypisuje liniowe ważenie do punktów w serii, dzięki czemu starsze punkty danych, np. na początku okna, przyczyniają się liniowo mniej średnia ważona Ważenie liniowe pomaga zmniejszyć opóźnienie za danymi, ponieważ starsze punkty mają mniejszy wpływ. Model liniowy nie ma specjalnych ustawień do konfiguracji. Jak podobny model, rozmiar okna może zmienić zachowanie średniej ruchomej. Na przykład, małe okienko 10 ściśle śledzi dane i wygładzi jedynie fluktuacje małych rozmiarów. figura 3 średnia liniowa średnica ruchoma z oknem o rozmiarze 10. W przeciwieństwie do liniowego ruchu średnia z większym oknem 100 wygładzi wszystkie fluktuacje o wyższej częstotliwości, pozostawiając jedynie niskie częstotliwości, długoterminowe tendencje Również skraca się do rzeczywistych danych o znaczną ilość, choć zazwyczaj jest mniejsza od prostego modelu. średnia z oknem o rozmiarze 100.Multiplicative Holt-Wintersedit. Multiplicative jest określona przez ustawienie typu mult Odmiana ta jest preferowana, jeśli mnoży się sezonowy wpływ na twoje dane. g Jeśli wpływ sezonowy to x5 dane, a nie tylko dodanie do niego. Domyślnymi wartościami alfa i gamma są 0 3, podczas gdy beta to 0 1 Ustawienia akceptują dowolny pływak od 0-1 włącznie Domyślną wartością okresu jest 1. Wielokrotny model Holt-Winters może być Minimalizowany. Wielofunkcyjny Holt-Winters dzieli się dzieląc każdy punkt danych według wartości sezonowej Jest to problematyczne, jeśli którekolwiek z Twoich danych jest zerowe lub jeśli występują luki w danych, ponieważ skutkuje to dzieleniem na zero Aby temu zaradzić, wszystkie wkładki mult Holt-Winters są wycenione przez bardzo małą kwotę 1 10 -10 tak, że wszystkie wartości są niezerowe Wpływa to na wynik, ale tylko minimalnie Jeśli dane są niezerowe lub chcesz zobaczyć NaN, gdy napotkano zero s, możesz wyłączyć to zachowanie z padiem false. All średni ruchoma model wspiera tryb predykcyjny, który będzie próbował ekstrapolować w przyszłość, biorąc pod uwagę bieżącą wygładzoną, ruchliwą średnią W zależności od modelu i parametru przewidywania te mogą być lub nie być dokładne. Podpiski są włączone przez dodanie przewidywanego parametru do dowolnej agregacji średniej ruchomej, określającej liczbę przewidywań, które chcesz dodać do końca serii Te przewidywania zostaną rozłożone w tym samym przedziale, co wiadra. Proste modele liniowe i ewma generują płaskie przepowiednie, zasadniczo zbliża się do średniej ostatniej wartości w serii, tworząc płaską. Rysunek 11 Średni ruch prosty z oknem wielkości 10, przewiduje 50. W przeciwieństwie do modelu holt można ekstrapolować na podstawie lokalnych lub glo bal stały trend Jeśli ustalimy wysoką wartość beta, możemy ekstrapolować na podstawie lokalnych tendencji stałych w tym przypadku przewidywania głową w dół, ponieważ dane na końcu serii zmierzały w kierunku do dołu. figura 12 średnica ruchoma Holt-Linear z oknem wielkości 100, przewidzieć 20, alfa 0 5, beta 0 8. W przeciwieństwie do tego, jeśli wybierzemy małą wersję beta prognozy opierają się na globalnej tendencji stałej W tej serii globalna tendencja jest nieznacznie pozytywna, więc przewidywania powodują ostry obrót i zaczyna się dodatni stok. Rysunek 13 Dwukrotnie mnożona średnia ruchoma z oknem wielkości 100, przewidywana 20, alfa 0 5, beta 0 1. Model holwinterski ma potencjał, aby zapewnić najlepsze prognozy, ponieważ zawiera również sezonowe fluktuacje do modelu. fotografia 14 Holt-Winters średniej ruchomej z oknem wielkości 120, przewiduje 25, alfa 0 8, beta 0 2, gamma 0 7, okres 30. Kiedyś pisałem o obliczaniu średniej ruchomej danych na żywo metoda buforowa w rozszerzeniach reaktywnych m ethod tworzy bufor aktualizacji, w którym definiuje dany program i udostępnia ten bufor z każdą kolejną aktualizacją Bieżąca aktualizacja będzie ostatnia w buforze, co pozwala obliczyć łączną średnią ruchową, przy czym ostatni czynnik jest dołączony do wyników. Recently, musiałem zrobić coś podobnego ze statycznych danych w aplikacji, która nie używała RX, Bud miał dobrze zdefiniowany dostawca danych LINQ Na moje zaskoczenie, stwierdziłem, że LINQ nie zapewnia buforowania metoda out of the box Do mojej większej niespodzianki okazało się, że łatwo było zaimplementować jeden Kod jest poniżej. Nie chciałem założyć, że wykonywać tylko przeciętne agregacje, dlatego też zachowałem moje rozwiązanie dość ogólnie To byłoby w górę do użytkownika mojej funkcji do kodowania logiki agregacji W tym poście chciałbym wykazać średnie agregacje, ale użytkownik tej funkcji mógłby zrobić coś z danym zestawem elementów. Pierwsze, niech s define struktury danych, połączenie ed Agregacja, która byłaby wykorzystana do zawijania oryginału i dodania nowej linii właściwości AggregatedValue 16, która zostanie wypełniona podczas procesu agregacji. Następnie definiuję próbkę TimedDataPoint, która byłaby wykorzystywana do utrzymywania cen akcji w moim przykładzie. Najważnie niech s definiuje Funkcja LINQ, która buforuje zestaw elementów w oryginalnym zestawie i zwróci zmodyfikowany zestaw z mniejszą liczbą elementów, w których każdy element zawierałby wartość agregacji dla buforowanego zestawu. Aby żądać sukcesu, muszę przetestować funkcję Aby grać z prawdziwymi numery, niech s historii tygodnia MSFT zwraca z yahoo Let s eksportować te dane do excel i utworzyć zestaw średnich kroczących Zamknij cena do przetestowania naszych danych Oto co arkusz powinien wyglądać like. We następnie można utworzyć przykładowy zestaw danych do przedstawienia oryginalnych cen zamknięcia Możemy następnie przetestować naszą funkcję, tworząc średnią ruchomej na zbiorze danych Kod jest poniżej. Najpierw tworzysz zestaw danych, a następnie przechodzę przez zestaw danych, rurociąg d ata w moją funkcję agregatora, co z kolei wywołuje mnie z powrotem i prosi mnie, abym podjął dwie ważne decyzje.1 Powinien dalej buforować linie 60 i 71 2 Biorąc pod uwagę, że bufor zapewnia agregację linii 61 w pierwszym przykładzie, a wiersze 74-82 w sekunda. Wyjście z próbki powinno odpowiadać kolumnie 6-dniowej średniej w załączonym arkuszu kalkulacyjnym. Uważam, że ten agregator jest bardzo przydatny. Mam nadzieję, że też.