GFI Archiver: хранилище для почты

IT-tech-mail0.png

Многие системные администраторы испытывают определенные трудности при работе с системами электронной почты. Это неудивительно, почтовый сервер имеет гораздо более сложную структуру, чем файловый сервер, роутер или сервер терминалов. В этой статье мы рассмотрим структуру и принцип работы почтовых серверов, без понимания которых настройка системы электронной почты вполне способна превратиться в шаманские танцы с бубном.

Данный материал содержит довольно много упрощений и обобщений, с целью дать системным администраторам необходимый минимум знаний. На наш взгляд, ради администрирования одного-двух почтовых серверов начального уровня становиться специалистом в области электронной почты совсем не обязательно. Для большинства пользователей и начинающих администраторов почтовый сервер представляет собой некий «черный ящик», который получив письмо «неведомыми» путями доставляет его адресату и наоборот. Все взаимодействие с таким сервером заключается в обращении почтового клиента к определенным портам, а то и вообще через веб-интерфейс. Однако внутри скрыт целый механизм, понимание работы которого имеет ключевое значение для успешной настройки и обслуживания системы электронной почты. Это особенно важно для администрирования серверов на платформе Linux. В отличии от Windows, где почтовый сервер представляет собой законченное программное решение и о внутреннем взаимодействии уже позаботились разработчики, в Linux компоненты почтового сервера представляют собой отдельные программы и настраивать их взаимодействие нужно самостоятельно.Рассмотрим структуру почтового сервера, а также что происходит когда пользователь пытается отправить почту.IT-tech-mail1-thumb-450x260-1095.pngВажнейшей часть почтового сервера является MTA (Mail Transfer Agent — агент пересылки почты) в задачи которого входит прием и передача почты. Очень часто (в Linux / UNIX) МТА называют также почтовым сервером. MTA работает по протоколу SMTP, и его одного, в принципе, уже достаточно для создания системы электронной почты. Когда-то давно именно так и было и для доступа к своему почтовому ящику требовалось обладать определенными техническими знаниями.Однако прогресс не стоит на месте, MTA, получая письмо, помещает его в почтовый ящик пользователя на сервере, к которому последний должен получить доступ, желательно наиболее простым и понятным способом. Вот здесь на сцену выходит MDA (Mail Delivery Agent — агент доставки почты), его задача по запросу почтового клиента передать ему почту из почтового ящика на сервере. MDA может работать по протоколам POP3 или IMAP, в ряде случаев для «общения» почтового клиента и агента доставки могут применяться собственные протоколы, обладающие расширенной функциональностью, например MAPI (Exchange Server).Вопреки распространенному заблуждению, MDA не имеет никакого отношения к процессу передачи почты. Это прерогатива MTA. Если провести аналогию, MTA можно представить как почтовое отделение, которое занимается приемом и отправкой почты, а MDA с почтальоном, который приносит пришедшую корреспонденцию к вам домой. Если почтальон заболел, то это никак не скажется на работе почты, просто вы не получите письма на дом. Также и MDA, его отказ не приводит к неработоспособности почтового сервера, становится недоступно только получение почты почтовым клиентом, в то же время к ней можно спокойно получить доступ другими путями, например, через веб интерфейс. Посмотрим, что происходит при отправке почты. В нашем примере пользователь Иванов, находящийся в домене example.org (ivanov@example.org), пишет письмо Козлову в домен example.com (kozlov@example.com). Для Иванова процесс отправки почты состоит из создания сообщения и нажатия кнопки «Отправить» в почтовом клиенте. Почтовый клиент соединяется с МТА по протоколу SMTP и первым делом сообщает свои учетные данные. Авторизовав пользователя, MTA принимает сообщение и пытается доставить его дальше.Вообще-то авторизация не является обязательной процедурой для MTA, но без авторизации мы получим открытый релей, т.е. любой может воспользоваться нашим сервером для пересылки почты, а как спамеры обрадуются! В настоящее время открытые релеи возникают в основном из-за ошибок настройки сервера. Однако вполне допустима ситуация, когда MTA без авторизации принимает почту от доверенных пользователей, например из локальной сети предприятия.

Для авторизации MTA может использовать собственный список пользователей, системный список, списки пользователей LDAP или AD. Также существует способ: авторизация POP прежде SMTP, когда пользователь перед отправкой почты авторизуется на MDA, который, в свою очередь подтверждает аутентификацию пользователя для MTA.Следующим шагом MTA анализирует служебную информацию письма, определяя домен получателя, если он относится к доменам обслуживаем данным МТА, производится поиск получателя и письмо помещается в его ящик. Так произошло, если бы Иванов написал письмо Петрову или Сидорову. Если домен получателя не обслуживается MTA, формируется DNS-запрос, запрашивающий MX-записи для данного домена. MX-запись представляет особый вид DNS-записи, которая содержит имена почтовых серверов, обрабатывающих входящую почту для данного домена. MX-записей может быть несколько, в этом случае MTA пробует последовательно установить соединение, начиная с сервера с наибольшим приоритетом. При отсутствии MX-записи запрашивается A-запись (запись адреса, сопоставляющая доменное имя с IP-адресом) и выполняется попытка доставить почту на указанный там хост. При невозможности отправить сообщение, оно возвращается отправителю (помещается в почтовый ящик пользователя) с сообщением об ошибке.Мы не будем рассматривать работу принимающего сервера, будем считать что все прошло нормально, Козлов получил письмо от Иванова и написал ему ответ. Сервер, обслуживающий домен example.com, проводит точно такие же действия и пробует передать почту нашему серверу. Получив входящее сообщение MTA, как и в случае с локальным отправителем, проверяет домен получателя, если он входит в число обслуживаемых MТА, обработка сообщения продолжается, иначе сервер отказывается принимать почту. После проверки домена проверяется получатель, если он присутствует в списке пользователей, сообщение доставляется в его ящик, в противном случае возможны два варианта: отказ от приема сообщения или прием сообщения в общий почтовый ящик (ящик администратора). С одной стороны такая настройка увеличивает число принимаемого спама, с другой позволяет не потерять письма с ошибками в написании адреса. Еще одной мерой защиты от спама является запрос PTR-записи. PTR-запись (запись указателя) связывает IP-адрес с именем домена. Запрашивая PTR, MTA принимает почту только в том случае если домен отправителя совпадает с доменом отправляющего сервера.IT-tech-mail2-thumb-450x360-1098.pngРассмотрим пример более подробно. Некий спамерский сервер spam.com пытается рассылать письма с поддельным отправителем, якобы от известного нам сервера example.com. В случае фильтрации по белым / черным спискам такое письмо будет доставлено, так как отправителем числится пользователь из доверенного домена (на что и рассчитывали спамеры). В целях борьбы со спамом MTA формирует запрос PTR записи для IP-адреса отправляющего сервера, который он сообщает в процессе SMTP сессии. Для адреса y.y.y.y PTR-запрос вернет имя домена spam.com, которое не совпадает с доменом отправителя, что будет причиной отказа в приеме данного сообщения. В то-же время сообщения от сервера x.x.x.x будут получены, так как домен из PTR-записи для x.x.x.x (example.com) совпадает с доменом отправителя.Итак, сообщение получено и находится в почтовом ящике пользователя. Как его прочитать? Почтовое хранилище, где находятся ящики пользователей, может быть организовано самыми различными способами: начиная от банальных папок и фалов, заканчивая базой данных. Не обладая техническими знаниями, прочитать собственную почту вряд-ли удастся. Но разве это должно волновать пользователя Иванова? Для него процесс получения почты сводится к нажатию кнопки «Получить» в почтовом клиенте. Для получения почты клиент устанавливает соединение с MDA по протоколу POP3 или IMAP, обязательно передавая данные для авторизации. MDA проверяет наличие пользователя в списках и, при успешной проверке, передает клиенту все новые сообщения находящиеся в его почтовом ящике. Пользователь Иванов получает свою корреспонденцию и может работать с ней удобным ему способом.На этом наша статья заканчивается, мы настоятельно рекомендуем вдумчивое прочтение и усвоение изложенного в ней материала. В последующем, при рассмотрении практических реализаций почтовых серверов мы будем подавать материал из расчета, что читатель имеет знания в объеме не менее данной статьи.

Сегодня излишне говорить о том, что объем хранимой информации и ее ценность для организации растет с каждым годом. Это действительно так, причем мало просто сохранить, необходимо обеспечить возможность получения необходимой информации из ранее сохраненного архива, причем за кратчайшие сроки и с минимальными затратами. архивирование электронной почты — одна из важнейших корпоративных задач.

2ed75b5212b94a89bed4bf96067d6cca.jpg

<font>Зачем это нужно?</font>

Для большинства организаций электронная почта является самым существенным фактором, из-за которого растет потребность в ресурсах для хранения информации. Если устанавливать для сотрудников ограничения по объему электронного ящика, потребуются дополнительные средства управления электронной почтой, да и пользователи могут обходить этот механизм, сохраняя переписку на локальных системах в файлах PST или NSF. Это может приводить к потерям данных, усложняет задачу резервного копирования. Решения для архивирования электронной почты освобождают пользователей от проблем с переполнением почтовых ящиков, помогают эффективнее использовать имеющиеся емкости СХД и ресурсы хранения данных, а потому способны радикально сократить ресурсы и финансовые затраты, необходимые организации для хранения информации. Независимо от особенностей уже имеющейся системы электронной почты такие продукты предложат интеллектуальные решения, которые помогут эффективно управлять информацией, хранить и находить ее. Архивирование переписки с помощью предназначенных для этой цели продуктов помогает решить проблемы, связанные с ограничениями ресурсов, а также повышает производительность и масштабируемость систем электронной почты. Внедрение решения архивирования даст следующие принципиальные преимущества: Посмотрим, как можно решить проблемы архивирования электронной почты с помощью продукта GFI Archiver. Программное решение Archiver компании GFI Software предназначено для централизованного архивирования всей корпоративной почты и документов. Оно не только решает проблему единственной точки отказа, но и обеспечивает доступ ко всем архивным элементам в режиме реального времени.850f7bf1a52a4a79b3107dfb3ab7ae83.png<font>В Archiver можно быстро восстановить любое письмо, папку, почтовый ящик, целый почтовый сервер и любую версию документа</font> GFI Archiver позволяет компаниям архивировать и управлять электронной почтой, работать с календарем и историей файлов, получая удобный доступ к данным. Сегодня этот продукт представляет собой не просто программу сбора всей почты в хранилище Archive Store, а намного более функциональное решение.c3e4cee41367460e8d7d9bc2ba887b2a.png<font>В разделе конфигурации можно задать серверы, с которых будет собираться электронная почта</font>

<font>Как это работает и что даёт?</font>

Это проще всего объяснить, перечислив, что умеет делать GFI Archiver. А умеет он многое, в том числе:

  • Архивирование всей почты в сети. GFI Archiver собирает всю входящую и исходящую почту, как только она проходит через почтовый сервер Это обеспечивает сохранность даже самых последних писем в случае неполадок с почтовым сервером или при удалении письма пользователем сразу после получения.
  • Сбор всей почты. Чтобы сохранить всю историю переписки, можно добавить в архив всю почту, которая уже находится на компьютерах сотрудников, а также в хранилище почтового сервера.
  • Сжатие почтовых сообщений. Объем данных уменьшается до пяти раз за счет сжатия файлов и дедупликации. Каждое письмо хранится в единственном экземпляре, даже если было отправлено нескольким адресатам. Тексты писем и вложения хранятся отдельно. Сжатие снимает нагрузку хранения писем с почтового сервера и значительно снижает требования к емкости хранения.
  • Постоянный доступ к архиву. Пользователь всегда имеет доступ к архиву своих писем и документов через веб-интерфейс или почтовый клиент, может выполнять моментальный поиск по любому параметру и работать результатами поиска без ожидания распаковки из архива.
  • Доступ из любого почтового клиента. Доступ к архиву возможен не только через веб-интерфейс, но и по протоколу IMAP, то есть сотрудники могут просматривать сохраненные письма через любой привычный почтовый клиент. При этом вся структура папок, возможности поиска и работы с письмами полностью сохраняется.
  • Надежное хранилище. Хранилище на основе MS SQL Server обеспечивает не только необходимую надежность, но и позволяет применять стандартные средства работы с базой для ее дальнейшего архивирования на медленные носители и восстановления с них, резервирования и балансирования нагрузки.
  • Полные копии сообщений. Все письма сохраняются в архиве без изменений, с сохранением заголовков для восстановления в первоначальном виде, а также для возможности использования при расследованиях.
  • Архивирование документов. Кроме почты GFI Archiver позволяет сохранять отдельные файлы и документы с компьютеров пользователей. Можно настроить общие папки для обмена документами между сотрудниками (аналогично Dropbox, Google Drive и Яндекс.диск, но без публикации файлов в интернете), все версии документов будут сохранены автоматически с возможностью восстановить любую из них.
  • Мощная система поиска. Любое письмо и документ можно быстро найти, просмотреть и восстановить по большому количеству параметров: ключевые сова, приложенные файлы, отправитель, получатель, размер, дата, беседа, автор изменений и т. д. При этом результаты поиска отображаются практически моментально. GFI Archiver создает специальный поисковый индекс, аналогично тому, как это делают поисковые системы.
  • Подробный анализ писем. GFI Archiver может анализировать содержимое писем: обнаружить ненормативную лексику, разделить сотрудников на группы общения, подсчитать скорость реакции сотрудника на письмо, пустующие ящики, выявить утечку информации по ключевым словам и шаблонам (номера кредитных карт, документов), то есть реализует функции DLP-системы. Отчеты создаются как по запросу при проведении расследования, так и по расписанию.
  • Общие папки. С помощью File Archiving Assistant, входящим в состав GFI Archiver, можно организовать специальные папки для обмена документами между пользователями, аналогично Dropbox, Яндекс.диск и Google Drive, но в случае GFI Archiver никакие данные не покидают корпоративную сеть.
  • Правила сбора писем. Можно задать сбор писем со всех постовых ящиков или только с определенных, а также указать, как поступать с письмами, помеченными как спам. Например, такие письма могут помещаться в архив, но автоматически удаляться через некоторое время.

c3ebe50a10854a8fbd60d2fb3d3f7565.png<font>Просмотр хранилищ архива</font> Хранилище Archive Store включает в себя базу данных, где хранятся метаданные и заголовки почтовых сообщений, индекс, указывающий место хранения на диске, и сами почтовые данные. Выполняемые GFI Archiver операции можно разделить на три основных этапа: 1. Сбор почты с почтового сервера или клиента Outlook; 2. Её архивирование в хранилище GFI Archive Store; 3. Пользователи могут просматривать архивированную почту через веб-интерфейс, с мобильных устройств или из Outlook.eb8535166183007006a2333cd747d58e.png<font>Доступ с мобильного устройства</font>

<font>Что нужно для работы?</font>

Для установки и запуска GFI Archiver потребуется ОС Windows Server с 2008 по 2012, 32- или 64-разрядная версия. Поддерживаются и серверы под VMware или Hyper-V. Кроме того, GFI Archiver можно установить непосредственно на сервер Exchange, но делать это рекомендуется только в целях тестирования или разработки. Продукт поддерживает Microsoft Exchange 2003, 2007, 2010, 2013; Office 365 (Exchange Online); почтовые серверы IMAP; Kerio Connect и Google Apps for Business. В большинстве случаев для хранения архива используется Microsoft SQL Server (2005 или старше). На самом деле GFI Archiver хранит в SQL только заголовки писем и метаданные, а само содержимое сжимается, шифруется и записывается на диск отдельно. Поддерживается и SQL Express, а для инсталляций не более чем на 25 пользователей в GFI Archiver включена бесплатная база данных Firebird.

<font>Инсталляция и конфигурирование GFI Archiver</font>

Инсталляция GFI Archiver очень проста: специальная утилита помогает пройти процесс по шагам. Нужно лишь решить, требуется ли использовать Active Directory. Далее добавляется имя администратора. Утилита установки проверяет наличие компонентов и инсталлирует необходимые. После завершения инсталляции по кнопке Configure можно начать настройку продукта. В разделе Archive Store Settings можно выбрать тип используемой БД, в Archiving Method – задать метод архивирования. Выбор архивирования вручную позволит пользователям самим решать, какую почту архивировать. Это метод не требует Exchange и подойдет компаниям, применяющим Outlook. Метод All Emails использует журналы Exchange – архивируется вся помещаемая в журналы почта. GFI Archiver может также собирать почту с любого сервера IMAP и задействовать MS Active Directory. А метод Rule-Based Archiving позволяет задать правила архивирования и избирательно сохранять почту в архиве. 1de129cd864f565b01af4fbadb7ac27d.png<font>Выбор метода архивирования</font>cfc5eb7ef37d9d0ac5651c8429a850be.png<font>Настройка политик хранения почты и обработки спама</font> После запуска и ввода логина/пароля открывается вкладка Home. Ее графика и статистика дает представление о параметрах операций GFI Archiver и помогает устранить проблемы, если они возникнут. Например, здесь видно, сколько свободного места на сервере GFI Archiver, сколько всего писем архивировано, сколько используется хранилищ Archive Stores, показана информация о событиях GFI Archiver. Вкладка Archive позволяет просмотреть архивированные элементы всех доступных почтовых ящиков. Можно просмотреть содержимое письма на панели справа, удалить письмо из архива, если это разрешено, а также восстановить письмо из архива в конкретный почтовый ящик или переадресовать его, загрузить элемент календаря и пр. Для поиска в архиве можно использовать Simple Search с дополнительными критериями или Quick Search. Еще более широкие возможности по выбору критериев предлагает средство Advanced Search. Искать почту в архиве можно и со смартфона. Вкладка Configuration служит для настройки конфигурации GFI Archiver, в частности задать, что нужно архивировать (Archive Sources), какой метод использовать (Archiving Method), правила архивирования (Archiving Rules), ограничения для исключения из процесса архивирования (Archive Restrictions) и пр. 46dbde4756d84dcab8fc418613ca8ea0.png<font>Окно настроек Archiver позволяет управлять основными операциями, в том числе задавать методы архивирования, определять роли и права доступа администраторов, хранилища архива, просматривать структуру почтовых ящиков, настраивать правила классификации почты, хранения и работы со спамом, проводить аудит системы</font> Можно загрузить в архив не только текущую, но и предыдущую переписку, которая накопилась еще до установки Archiver. Это делается с помощью Archive Assistant или Import and Export Tool. Для восстановления почты из архива GFI Archiver также предлагает два инструмента -Mailbox Restore и тот же Import and Export Tool.

<font>Отчеты GFI Archiver</font>

GFI Archiver предлагает несколько великолепных видов отчетов. Для этого имеется средство MailInsights, которое создает отчеты по запросу или по расписанию. Отчеты могут помочь выявить различные проблемы, идентифицировать проблемы безопасности, оптимизировать процессы в организации. Вот лишь некоторые примеры таких отчетов. 9dbb5848a9f09ab084fa8ab8cfe09b98.png<font>Отчет по почтовым коммуникациям Communication Flow отслеживает коммуникационные потоки в организации и вне её</font>115bb3adb87dfed905915c7bceb47c28.png<font>Отчёт по использованию веб-почты показывает основных пользователей почтовых систем вроде Gmail, Hotmail или Yahoo</font>6d9344831fb590649e9ddf94b6f93c39.png<font>Мониторинг операций</font>59e6e79901165ab81b0a17db976ea50d.png<font>Отчёт по использованию ресурсов хранения данных позволяет понять, что хранится в архиве в целом и по конкретным пользователям. Его можно использовать при создании политик хранения и правил вывода предупреждений пользователям</font>

<font>Почтовые клиенты</font>

Для доступа пользователей к архиву GFI Archiver поддерживает целый ряд почтовых клиентов, которые с помощью протокола IMAP доставляют архивированные сообщения из Archive Stores. Поддерживаются почтовое приложение для Android и iOS 5, Apple Mail, Outlook 2003 и старше, Outlook 2011 for Mac, Mozilla Thunderbird, Windows Live Mail. А к старым архивам можно обращаться из Outlook через Outlook Connector. Этот плагин синхронизирует GFI Archiver с Outlook и позволяет пользователям видеть архивированные GFI Archiver сообщения. Альтернативный способ доступа к архиву – веб-интерфейс. GFI Archiver можно также подключить к Office 365 с помощью Exchange Web Services.

<font>Выводы</font>

Без сомнения, GFI Archiver – замечательный продукт, содержащий все необходимое большинству организаций, решающих задачу архивирования электронной почты и предлагающий целый ряд дополнительных полезных функций. Не зря он получил столько отраслевых наград и отмечен высоким рейтингом MSExchange.org – 4,7 балла из 5 возможных. Последняя его версия поддерживает Windows 10, Exchange 2016 и Office 2016. Данный обзор ни в коей мере не претендует на полноту и знакомит читателей лишь с некоторыми его возможностями. Более глубокое представление даст trial-версия. Загрузить бесплатную полнофункциональную версию (демо, 30 дней) можно здесь: gfi-software.ru/downloads/gfi-archiver На время использования предоставляется техническая поддержка на русском языке в соответствии с политикой: gfi-software.ru/support/policyПост 1 — GFI LanGuard — виртуальный консультант по безопасности >>Пост 3 — GFI MailEssentials: почта под защитой >>

Добрый день. Хабрапользователь в статье «Восстанавливаем удаленную почту на mail.ru (и других)» поделился вариантом восстановления на сервере почты уже полученной клиентом. Хочу поделиться другим способом восстановления не зависящим от формата базы клиента.

В каких случаях этот способ сработает

К сожалению, применимость этого способа в большей степени зависит от протоколов передачи почты, которые поддерживают сервера и клиенты, а именно IMAP4. Некоторые популярные почтовые клиенты с поддержкой IMAP:

  • Mozilla Thunderbird
  • The Bat!
  • Outlook Express
  • Microsoft Outlook

О поддержке IMAP конкретным почтовым сервером можно узнать из соответствующих инструкций по настройке почтовых программ. Ниже перечислены некоторые популярные сервисы и ссылки на страницы помощи: И не смотря на то, что требуемый протокол существует с 1994, его поддержка некоторыми игроками данной области воспринимается как не обязательная опция. Примером этому может служить сервис mail.ru, который отказался от IMAP некоторое время назад. Итак. Если вы настроив почтовый клиент через pop3 и забыв поставить галочку «хранить почту на сервере» решили восстановить письма на сервере или хотите пополнить почтовый ящик любыми другими письмами из имеющихся в вашем почтовом клиенте аккаунтов, то welcome под Хабракат.

Краткая инструкция

Последовательно выполняем следующие действия:

  1. Пользуясь любимым поисковиком или поиском от www.google.com и запросами вида «gmail.com imap» и «Mozilla Thunderbird imap» выясняем возможности настройки IMAP для вашей комбинации почтового сервиса и клиента содержащего выгруженную почту. Так же не забываем, что эту информацию как правило можно найти и в соответствующих разделах помощи.
  2. Устанавливаем забытую ранее галочку «хранить почту на сервере».
  3. Пользуясь найденными инструкциями включаем, при необходимости, IMAP функционал на сервере и добавляем дополнительный профиль/аккаунт почты в вашем почтовом клиенте, но уже с настройками IMAP. Таким образом у вас будет 2 профиля/аккаунта привязанных к одному сервису и забирающих почту через различные протоколы.
  4. Запускаем прием и отправку (альтернативное название — синхронизация) писем для добавленного аккаунта, что бы получить структуру папок на сервере.
  5. Пользуясь функционалом почтового клиента переносим из «SMTP» аккаунта письма в папку Inbox/Входящие в «IMAP» аккаунте.
  6. Повторно запускаем синхронизацию

Подводя итоги

После повторной синхронизации перемещенных писем вам остается только решить какой из двух профилей в почтовом клиенте вы захотите оставить. Эпизодическое использование IMAP, например, очень удобно для сортировки писем по папкам в почтовом ящике к которому вы преимущественно обращаетесь через WEB. Возможно вы так же захотите лишь отключить автоматическую синхронизацию этого аккаунта не удаляя его из почтового клиента. Сам способ лежит на поверхности и не сложен технически, однако думаю, что как готовое решение проблемы (идея) пост будет полезен и тем, кто знаком с этими технологиями. Спасибо за внимание.

29
27.8k 29
Ссылка на основную публикацию