Automatyczne usuwanie starych plików z AWS S3

aws s3 automatic cleanup

Podczas pracy magazynujemy zazwyczaj bardzo dużo plików. Szybki internet i dostępność danych bardzo temu sprzyja. Niestety bardzo duża część gromadzonych przez nas danych jest po pewnym czasie niepotrzebna lub nieaktualna. Niektórzy przeglądają swoje zbiory danych i co pewien czas usuwają zbędne rzeczy.

A co z chmurą? Od kiedy cena za storage stała się bardzo niska, wielu z nas gromadzi dane już nie u siebie tylko właśnie w chmurze. Dlaczego?

Ponieważ jest to tanie, wygodne i mamy do tego dostęp z każdego miejsca na świecie 🙂

W dzisiejszych czasach dane musimy dobrze filtrować, żeby znaleźć coś, co nam się przyda. Jeśli nie będziemy tego robić, to utoniemy w natłoku informacji. Z uporem maniaka gromadzimy potrzebne dane, zachowujemy je a one po pewnym czasie i tak stają się nieaktualne i przestarzałe.

Taka sama sytuacja dotyczy także logów przechowywanych w chmurze. Przechowywanie ich jest także tanie i wygodne, tylko… tylko logi mają też swoją ważność. Nie przechowujmy danych dłużej, niż musimy. Dla niektórych systemów będzie to 30 dni dla innych 90 a dla jeszcze innych rok albo kilka lat, jeśli zmusza nas do tego prawo i przepisy.

Jeśli masz jakiekolwiek dane w AWS, które byś chciał automatycznie usuwać po określonym czasie, to ten artykuł jest właśnie dla ciebie !!

Automatyczne usuwanie danych z całego bucketu S3

Na platformie AWS (Amazon Web Service) w prosty sposób możemy automatycznie usuwać dane z naszego S3 bucket. Otwieramy Amazon S3 i wybieramy z listy jeden bucket, na którym chcemy włączyć automatyczne usuwanie plików po określonym przez nas czasie.

amazon web services s3 - simple storage service

Przechodzimy do Management i klikamy Create lifecycle rule.

aws s3 - management

Podajemy nazwę naszej reguły. Zaznaczamy opcję mówiącą, że nasze zmiany mają dotyczyć wszystkich obiektów i zaznaczamy checkbox, który się pojawi. Musimy być świadomi tego, że wszystkie obiekty starsze niż liczba dni, które podamy poniżej, zostaną usunięte.

 s3 - create lifecycle rule

Jeśli chcemy, żeby pliki były usuwane po 30 dniach, to zaznaczamy opcję “Expire current versions of objects” i wpisujemy liczbę dni, po których pliki mają zostać usunięte.

aws s3 - lifecycle rule actions

W podsumowaniu powinniśmy widzieć coś podobnego jak na zdjęciu poniżej. Gdy wszystko się zgadza, klikamy na Create rule i nasza reguła automatycznego usuwania plików będzie gotowa.

aws s3 - timeline summary

Automatyczne usuwanie danych z jednego folderu w S3

Wszystko ładnie pięknie działa, ale co jeśli byśmy chcieli mieć różną retencję ustawioną na poszczególne grupy plików? Spokojnie nie będziemy tworzyć dla każdej grypy po kilka bucketów. Zarządzanie tak dużą ilością bucketów to byłby koszmar. Jest prostszy sposób. Możemy usuwanie plików ograniczyć tylko do określonego folderu albo podfolderu.

Zdecydowanie zalecam sprawdzenie tej opcji na testowym buckecie, jeśli dopiero się uczysz albo zrobienie kopii bucketu, na którym to wdrażasz, tak dla bezpieczeństwa.

Jeśli się pomylisz, to możesz stracić dane.

Jeśli jesteś pewny tego, co robisz, to możesz ograniczyć usuwanie plików tylko do konkretnego folderu.

Całość przebiega bardzo podobnie jak poprzednio, tylko jest taka różnica, że tym razem wybierasz opcję “Limit the scope of this rule using one or more filters” i podajesz nazwę folderu, którego ma dotyczyć tworzona reguła.

aws s3 - create lifecycle rule prefix

Podsumowanie opcji “Lifecycle rules”

amazon web services s3 - podsumowanie lifecycle

To są podstawy, naszą automatyzację możemy dużo bardziej rozbudowywać. Podstawy pomogą Ci uniknąć niepotrzebnych wydatków i zachować większy porządek automatycznie usuwając stare logi albo nieaktualne dane.

Jeśli artykuł dał Ci jakąś wartość albo znasz kogoś, komu mógłby się przydać, to podziel się nim w internecie. Nie pozwól mu bezczynnie leżeć na blogu i marnować swój potencjał.

Miło mi będzie także, jeśli napiszesz komentarz.

Jeśli nie lubisz wydawać niepotrzebnie pieniędzy to zapraszam do przeczytania innych artykułów na temat oszczędzania pieniędzy w chmurze.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *