W dniu 06.01.2022 o 16:58, nadir pisze:
> Jak coś jest usunięte, to tego po prostu nie ma i backup tego nie
> wyczaruje. Ale sam folder Kosz/Trash to nie do końca usunięty mail,
> dlatego te foldery też się backup-uje. Natomiast użytkownik lub
> ustawienia serwera decydują czy i kiedy usuwać maile z tego folderu.

O usuwaniu emaili z foldera usunięte oczywiście masz rację. Ale to nie
jest ich bezpowrotne usunięcie w praktyce.

> Nie ma znaczenia, że mail to text. Nagłówki czyli; skąd, dokąd, kiedy,
> którędy są często przechowywane dłużej niż całe maile.
> To coś jak dane bilingowe u operatorów telekomunikacyjnych.

Pewny tego jesteś? Bo kilka razy dane z takich serwerów analizowałem i
nie spotkałem się z przechowywaniem osobno nagłówków. Albo mamy coś w
rodzaju msg, albo nie mamy nic. Są specjalne programy, które na
szybkiego wyciągają dane z nagłówków, by to jakoś analizować (np. LINK
od AGH), ale to programowo się obsługuje. Na serwerze leżą pliki email.


--
Robert Tomasik

do góry

W dniu 06.01.2022 o 17:07, Robert Tomasik pisze:

> Pewny tego jesteś?

Że wszyscy dostawcy je zbierają i archiwizują takie dane, to nie. Ale
tych danych, które ja widziałem u pewnego operatora, to tak.

Bo kilka razy dane z takich serwerów analizowałem i
> nie spotkałem się z przechowywaniem osobno nagłówków. Albo mamy coś w
> rodzaju msg, albo nie mamy nic. Są specjalne programy, które na
> szybkiego wyciągają dane z nagłówków, by to jakoś analizować (np. LINK
> od AGH), ale to programowo się obsługuje. Na serwerze leżą pliki email.

Na serwerze leżą też logi, to administrator ustawia czy i gdzie będą
zbierane nagłówki.

do góry

W dniu 06.01.2022 o 17:20, nadir pisze:

>> Pewny tego jesteś?
> Że wszyscy dostawcy je zbierają i archiwizują takie dane, to nie. Ale
> tych danych, które ja widziałem u pewnego operatora, to tak.

Ciekawe. I mają to w jakiejś bazie danych? Po co? jedyne, co mi
przychodzi do głowy, to jakaś analiza przepływu pod kątem bezpieczeństwa.
>
>
> Na serwerze leżą też logi, to administrator ustawia czy i gdzie będą
> zbierane nagłówki.

No, grzebanie w logach, to w ogóle jest "wyższa szkoła jazdy". Ja do
tego używam ImExa, ale log z kilku minut, to jakieś Megabajty.
Przeważnie trudno znaleźć starszy, niż kilka dni, bo nikt nie magazynuje
takiej masy danych. Trzyma się to na wypadek awarii, by znaleźć przyczynę.


--
Robert Tomasik

do góry

W dniu 06.01.2022 o 17:44, Robert Tomasik pisze:

> Ciekawe. I mają to w jakiejś bazie danych?

Jak to teraz wygląda, to nie wiem, ja się z tym zetknąłem ponad dekadę temu.

> Po co? jedyne, co mi
> przychodzi do głowy, to jakaś analiza przepływu pod kątem bezpieczeństwa.

Czy to było dla własnych celów, czy jakiś wymóg prawny to nie wiem?

> No, grzebanie w logach, to w ogóle jest "wyższa szkoła jazdy". Ja do
> tego używam ImExa, ale log z kilku minut, to jakieś Megabajty.
> Przeważnie trudno znaleźć starszy, niż kilka dni, bo nikt nie magazynuje
> takiej masy danych. Trzyma się to na wypadek awarii, by znaleźć przyczynę.

"Gołe" logi faktycznie były objętościowo duże, ale jak sam wspomniałeś
to są pliki txt, one się ładnie kompresują. W każdym razie skompresowane
dane z kilku miesięcy mieściły się na jednej płycie CD.
Jak i po co to potem było obrabiane/analizowane to nie mam pojęcia.

do góry

Problem z Polucją jest taki, że i tak zgubią płytę, niechcący połamią lub źle nagrają
bez kopii.


-----
> Ja do tego

do góry

W dniu 06.01.2022 o 19:49, nadir pisze:

>> Ciekawe. I mają to w jakiejś bazie danych?
> Jak to teraz wygląda, to nie wiem, ja się z tym zetknąłem ponad dekadę
> temu.

Przyznam, że byłbym zdziwiony przechowywaniem takich danych, bo to dość
mocno śmierdzi bezprawnym przetwarzaniem.
>
>> Po co? jedyne, co mi przychodzi do głowy, to jakaś analiza przepływu
>> pod kątem bezpieczeństwa.
> Czy to było dla własnych celów, czy jakiś wymóg prawny to nie wiem?

Wymogu prawnego nie ma i nigdy nie było - na ile się orientuję.
>
>> No, grzebanie w logach, to w ogóle jest "wyższa szkoła jazdy". Ja do
>> tego używam ImExa, ale log z kilku minut, to jakieś Megabajty.
>> Przeważnie trudno znaleźć starszy, niż kilka dni, bo nikt nie
>> magazynuje takiej masy danych. Trzyma się to na wypadek awarii, by
>> znaleźć przyczynę.
> "Gołe" logi faktycznie były objętościowo duże, ale jak sam wspomniałeś
> to są pliki txt, one się ładnie kompresują. W każdym razie skompresowane
> dane z kilku miesięcy mieściły się na jednej płycie CD.
> Jak i po co to potem było obrabiane/analizowane to nie mam pojęcia.

To musiał być jakiś mocno niszowy operator, albo jakiś bardzo
specyficzny log obejmujący dane typu kto, do kogo - ale to śmierdzi
mocno kontrolą operacyjną.


--
Robert Tomasik

do góry

W dniu 06.01.2022 o 20:24, ąćęłńóśźż pisze:
> Problem z Polucją jest taki, że i tak zgubią płytę, niechcący połamią
> lub źle nagrają bez kopii.

Albo kopie zrobią kserokopiarką;)

--
Shrek

do góry

On 2022-01-06, Robert Tomasik <r...@g...pl> wrote:
> W dniu 06.01.2022 o 00:32, Marcin Debowski pisze:
>>> Zastanawiam się, czy są jakieś regulacje prawne, które nakazują
>>> operatorom trzymać przez jakiś czas usunięte emaile, aby
>>> udostępniać je na żądanie prokuratury, sądu i innych władz.
>> Zapewne mają kopie zapasowe skąd można te mejle odtworzyć, co
>> ponownie, nie oznacza, że zrobią to na żądanie szarego użutkownika.
>
> O ile wiem, to nie mają. Po prostu nie mają takiej potrzeby, a
> utrzymywanie takich kopii kosztuje. Kopie zapasowe pomijają usunięte

Wszyscy robią kopie zapasowe (backupy) bo jest to standardowa forma
ochrony przechowywanych danych. Jedyne czego w takim backupie nie będzie,
to mejli które przyszły i zostały skasowane pomiędzy kolejnym backupem
czy backupami.

> dane. Natomiast teoretycznie można takie usunięte dane odzyskać z
> nośników przez pewien czas. Bo jak plik jest usuwany, to nie usuwa się
> danych, tylko zaznacza, ze plik jest usunięty. Dokąd nie zostanie
> nadpisany, to te dane są.

Przy takim nawet średnei wielkości dostawcy jak wcześniej wymienieni
jest to raczej spore wyzwanie.

> Co więcej, na serwerze te dane są w wielu miejscach replikowane. Jak
> mamy emaila od A do B, to dla pewności działania tego jest on zapisywany
> w kilku miejscach i da się go odzyskać, dokąd nei nadpisze się
> wszystkich kopii. Ale to robota dla eksperta i operator email nie bedzie
> się w to bawił.

Zapewne masz na myśli COW, lub robienie snapshot'ów, ale to jest cecha
niektórych systemów plików jak np. btrfs czy zfs (a nie serwerów poczty)
a niekoniecznie takie systemy są używane przez konkretnych dostawców.
Backupy to jestem pewien robią wszyscy.

A wracając do pytania, nie wydaje mi się aby istniał jakikolwiek prawny
obowiązek przechowywania kopii mejli z tego to powodu, że byłoby to zbyt
poważnym ociążeniem infrastruktury dostawcy. To trochę tak, jakby miał
istnieć prawny wymóg przechowywania kopii plików przy usłudze wykupu
przestrzeni dyskowej. Jeśli będziemy to porównywać z przechowywaniem
wiadomości tekstowych, to jest tu też inna istotna różnica: takie sms to
idą wyłącznie w jednym kierunku: wysłanie->operator->odbiór, a mejla
użytkownik może przecież z powrotem załadować na serwer samodzielnie
(np. po imap) więc operator musiałby archiwizować każdy przychodzący
mejl niejako osobno niezależnie od tego co siedzi w folderach
użytkowników na serwerze.

--
Marcin

do góry

W dniu 06.01.2022 o 20:49, Robert Tomasik pisze:

> Przyznam, że byłbym zdziwiony przechowywaniem takich danych, bo to dość
> mocno śmierdzi bezprawnym przetwarzaniem.

Bezprawnym przetwarzaniem czego, nagłówków maili, które serwer pocztowy
generuje sam z siebie? To teraz pomyśl czy Poczta Polska przechowuje
elektronicznie lub papierowo dane nadawców i odbiorców listów, na
przykład poleconych?

> Wymogu prawnego nie ma i nigdy nie było - na ile się orientuję.

Też tego nie zagłębiałem, ale nie wykluczam że prawo
pocztowe/telekomunikacyjne mogło wymagać.

> To musiał być jakiś mocno niszowy operator, albo jakiś bardzo
> specyficzny log obejmujący dane typu kto, do kogo - ale to śmierdzi
> mocno kontrolą operacyjną.

To był mały, lokalny, dostawca internetu, nawet nie wiem co się teraz z
nim dzieje. Ale to nie ma znaczenia, serwery, nie tylko pocztowe
zbierają i generują różne logi. Nie wiem czy jest jakiś maksymalny i
minimalny czas retencji logów, który jest z góry narzucony przez prawo?

do góry

On 2022-01-06, Robert Tomasik <r...@g...pl> wrote:
> W dniu 06.01.2022 o 19:49, nadir pisze:
>
>>> Ciekawe. I mają to w jakiejś bazie danych?
>> Jak to teraz wygląda, to nie wiem, ja się z tym zetknąłem ponad dekadę
>> temu.
>
> Przyznam, że byłbym zdziwiony przechowywaniem takich danych, bo to dość
> mocno śmierdzi bezprawnym przetwarzaniem.
>>
>>> Po co? jedyne, co mi przychodzi do głowy, to jakaś analiza przepływu
>>> pod kątem bezpieczeństwa.
>> Czy to było dla własnych celów, czy jakiś wymóg prawny to nie wiem?
>
> Wymogu prawnego nie ma i nigdy nie było - na ile się orientuję.
>>
>>> No, grzebanie w logach, to w ogóle jest "wyższa szkoła jazdy". Ja do
>>> tego używam ImExa, ale log z kilku minut, to jakieś Megabajty.
>>> Przeważnie trudno znaleźć starszy, niż kilka dni, bo nikt nie
>>> magazynuje takiej masy danych. Trzyma się to na wypadek awarii, by
>>> znaleźć przyczynę.
>> "Gołe" logi faktycznie były objętościowo duże, ale jak sam wspomniałeś
>> to są pliki txt, one się ładnie kompresują. W każdym razie skompresowane
>> dane z kilku miesięcy mieściły się na jednej płycie CD.
>> Jak i po co to potem było obrabiane/analizowane to nie mam pojęcia.
>
> To musiał być jakiś mocno niszowy operator, albo jakiś bardzo
> specyficzny log obejmujący dane typu kto, do kogo - ale to śmierdzi
> mocno kontrolą operacyjną.

Nie wiem po co miałby ktoś przechowywać nagłowki poza jakąs wyjątkową
sytuacją gdy ktoś stara się np. diagnozować błędy, ale same logi to się
raczej rutynowo przechowuje i tak długo na ile infrastruktura pozwala.
Nie sądzę aby można to było rozpatrywać pod kątem danych wrażliwych bo
per analogia to trochę tak, jakbyś mi wrzucił do przydomowego śmietnika
pustą, zaadresowaną kopertę. Ja nawet nie wiem, że tam to jest póki nie
zacznę tego śmietnika przeglądać.

--
Marcin

do góry