В прошлый раз я начал серию статей о сборе почты с нескольких различных ящиков, созданных даже на разных сервисах, в один основной ящик, который пользователь постоянно контролирует и ему проще работать только с ним одним, нежели чем отдельно просматривать все свои электронные ящики. Подробнее о необходимости сбора почты и о её реализации на сервисе GMail, читайте .
Эту серию статей я планирую пока что на 3 статьи. Сегодня расскажу о настройке сбора почты в не менее известном почтовом сервисе - Яндекс.
Сбор почты с других аккаунтов в Яндекс настраивается так же просто как и в других сервисах.
Чтобы подключить возможность собирать всю почту в ваш ящик на Яндекс с любых ваших аккаунтов на этом же или других почтовых сервисах в первую очередь войдите в свой аккаунт на Яндекс, который будет являться основным. Именно в него будете собирать почту с других ящиков.
Откройте раздел настроек почты и выберите “Сбор почты с других ящиков”.
Собирать почту вы можете с любых ящиков, расположенных на любых почтовых сервисах, а не только с ваших почт, расположенных на том же сервисе Яндекс!
В примере для этой статьи будет показан процесс сбора писем с почты Mail.ru.
Введите полный адрес электронной почты, откуда будете собирать письма и пароль от неё, после чего нажмите “Включить сборщик”.
Если вы указали верные логин и пароль от почты, то в следующем окне появится сообщение об успешном соединении и здесь можно произвести некоторые настройки сбора писем. К примеру, вы можете присвоить собираемым письмам метку, а также отображать старые пересылаемые письма как прочтённые. Отметьте нужные вам опции после чего внизу укажите ещё раз пароль от вашей второй почты и нажмите “Сохранить изменения” . Почта начнёт собираться минут через 10.
В этом окне настроек у вас не получится выбрать отдельную папку для сбора писем с подключённого ящика. Изначально будет указана папка “Входящие” и она не меняется. Это связано с тем, что изначально почта собирается по протоколу IMAP и этот протокол копирует полностью структуру папок с подключенной вами почты.
Если 2 варианта заставить всё-таки собираемую почту сортироваться по папкам:
Изменить настройки сбора почты и поставить протокол POP3, вместо IMAP (который задаётся изначально);
Настроить позже фильтрацию писем, т. е. создать условие, при котором получаемая почта будет попадать в нужную вам папку, минуя “Входящие”.
Второй вариант, думаю, более предпочтителен, особенно для новичков, чтобы не ковыряться в настройках соединения с другой почтой.
Теперь все письма, поступающие на подключённую вами почту, будут стекаться в текущую, которая является вашей основной. И тогда уже нет надобности заходить отдельно во вторую почту для проверки новых писем в ней.
После добавления почты, вы увидите ярлык с её названием слева под папками для писем. Пример:
Кликнув по этому ярлыку вы увидите отдельно все письма из подключённого ящика.
Если вам нужно что-либо поменять в настройках сбора почты из добавленного ящика, то вы можете это сделать там же в настройках почты Яндекса, через раздел “Сбор почты с других ящиков”.
Если нужно выключить или снова включить сбор почты с определённого подключённого ящика, нажмите на переключатель “Вкл. / Выкл.” в списке подключённых ящиков.
Если нужно открыть настройки сбора почты , кликните по названию ящика , после чего кликните по появившейся ссылке “Настроить”. В результате откроется такое же окно настроек, как при подключении почты ().
В заключение хочу отметить, что обычно со сбором электронной почты в сервис Яндекс проблем никаких нет и ничего не нужно настраивать во второй почте (которую подключаете). Но есть очень капризный сервис по имени GMail:) Вот при его подключении (причём не только к Яндекс, но к даже к самому себе) очень часто возникают проблемы и связано это с повышенной безопасностью этой гугловской почты. Нет, не спорю, безопасность - это хорошо! Но иногда это достигает уровня маразма, например, когда Gmail блокирует подключение к своему же второму ящику GMail, причём вход в оба выполнен с одного компьютера и одного IP:)) О подобных проблемах именно с подключением почт Google я расскажу в отдельной статье.
По мере активной деятельности в сети, у меня накопилось много почтовых аккаунтов, часть из которых, я активно использую для разных целей. Почтовых программ я не использую, а заходить и проверять почту в каждом ящике – долго, поэтому решил настроить сбор почты в одном месте. В этом посте расскажу о том, как настроить сбор почты с разных ящиков на одном аккаунте gmail.
Большая часть моих аккаунтов на яндексе и на gmail для домена. Почта с большинства аккаунтов, уже давно собирается на одном аккаунте gmail, но не вся, и периодически приходиться заходить и проверять другие почтовые аккаунты. Плюс отправка писем от имени другого аккаунта, настроена по простой схеме, когда почта отправляется через домен и аккаунт gmail, а не через почтовый сервер, на котором находится другой ящик. В общем, решил всё основательно упорядочить и настроить, собрать почту со всех активных аккаунтов в одном месте, на одном домене прикрученном к gmail, который давно взял специально для этих целей.
Так сложилось, что я никогда не использовал почтовых программ, не нравятся мне они. Gmail, я считаю, намного удобней. Ничего не нужно загружать себе на компьютер, удобный поиск, удобная группировка писем в цепочки и не только. Короче, тут я даже не думал, для работы с почтой, я использовал, и буду использовать gmail. Плюс также в том, что Вы можете получить доступ к архиву почты с любого компьютера. О том, как завести gmail для домена, можно прочитать в посте .
И так, к сути. Ниже приведу инструкцию, как я настроил сбор почты в одном месте, на аккаунте gmail для домена.
Что мне было нужно?
Всё. Больше ничего мне не нужно.
Начнём по порядку.
1. Сбор почты с разных ящиков/аккаунтов на одном аккаунте gmail
Здесь есть несколько путей.
1) Настроить пересылку почты с другого ящика/аккаунта на ваш основной аккаунт
У большинства развитых почтовых сервисов, есть такая возможность. У меня аккаунты на яндекс и на gmail, поэтому здесь опишу настройку пересылки почты для этих почтовиков.
Пересылка/Сбор почты с другого аккаунта Gmail
Переходим в аккаунте, с которого хотим пересылать почту, в Настройки => Пересылка и POP/IMAP
Отмечаете “Включить POP для всех писем”, выбираете, что нужно сделать пересылаемыми письмами. У меня стоит “Сохранить копию письма во входящих”. Вводите адрес, на который хотите пересылать почту.
После этого, на добавленный для пересылки емайл, приходит код подтверждения. Вводите код.
Затем выбираете пересылать на добавленный адрес и действие с письмами после пересылки:
Всё. Теперь все письма будут пересылаться на указанный вами емайл.
Пересылка/Сбор для почты с яндекс
Переходите в Настройка => Правила обработки почты => Создать правило.
Создаёте правило “Переслать по адресу” и отмечаете “сохранить копию при пересылке”. Жмёте создать правило.
После этого на емайл указанный для пересылке приходит письмо с ссылкой. Переходите по ссылке и нажимаете “Включить правило”.
Всё. Теперь вся почта с аккаунта яндекс будет пересылаться на указанный вами емайл.
2) Собирать почту с помощью сборщика почты gmail
Этот способ, лично я, использую только для сбора почты если:
Почему только в этих случаях?
Потому что:
Во-первых , есть ограничение, и Вы сможете собирать почту только с 5 аккаунтов, не больше. Это ограничение для бесплатного аккаунта, на коммерческом варианте, насколько я знаю, такого ограничения нет, но могу ошибаться.
Во-вторых , задержка по времени. Гугл сам выбирает время, через которое он будет собирать вашу почту с другого аккаунта. Можно, конечно, проверить руками, в настройках почты, выбрать нужный аккаунт и нажать проверить, но это уже не то. Если же Вы настроите пересылку с другого почтового аккаунта, то письма будут приходить моментально.
Как настроить сбор почты с помощью сборщика gmail
Переходите Настройки => Аккаунты => Получать почту из других аккаунтов => Добавить свой почтовый аккаунт
Добавляете емайл, с которого хотите собирать почту. Вводите данные и выбираете нужные действия. Данные для разных почтовых серверов – разные. Нужно уточнять. Для большинства крупных почтовиков типа яндекс, мейл, нужные настройки вводятся по умолчанию правильно.
Подробно настройка отправки писем от имени другого аккаунта описана ниже, при рассмотрении пункта 2 – “Иметь возможность отправлять письма от имени другого аккаунта и не палиться”. После этого, gmail будет собирать почту с добавленного почтового ящика.
2. Иметь возможность отправлять письма от имени другого аккаунта и не палиться
Для того, чтобы настроить возможность отправки почты от имени другого аккаунта, переходим в Настройки => Аккаунты => Добавить другой свой адрес электронной почты.
Вводим адрес и желаемое имя, которое будет указано при отправке письма.
Здесь предлагают 2 варианта, простой и посложнее:
Раньше мне не хотелось замарачиваться с настройкой и я выбирал первый вариант. Но при первом варианте, получатель, насколько я понимаю, будет видеть, что письмо отправлено совершенно с другого домена, а возможно, можно будет увидеть реальный адрес отправителя.
При втором варианте, почта отправляется с сервера, на котором находиться другой аккаунт. При этом, на сколько я знаю, адрес и домен не палятся, а отображаются те адреса и домен, от имени которых отправлено письмо. Поэтому я выбираю второй вариант.
Выбираем “Защищенное соединение с использованием TLS”, рекомендуемое gmail. Вводим адрес SMTP сервера. Для яндекса это smtp.yandex.ru порт 25. Это всё указано по умолчанию. Порт я ставил и другой, вроде тоже работало. Для gmail — smtp.gmail.com порт 587. Для других почтовых сервисов, нужно уточнять адрес smtp сервера.
После этого, на добавленный емайл придёт код. Вводите код и подтверждаете емайл.
Всё. Теперь Вы можете отправлять письма от имени другого аккаунта.
3. Помечать письма, отправленные на разные емайл адреса
Для того, чтобы проще ориентироваться, где и какие письма, создадим ярлыки для каждого аккаунта или группы аккаунтов и настроим фильтры.
Создаём ярлыки для писем
Переходим в Настройки => Ярлыки и создаём ярлык.
Создаём фильтр для писем
Переходим в Настройки=> Фильтры => Создать новый фильтр и создаём фильтр.
При создании фильтра, есть много настроек. Я создаю фильтр по адресату, кому адресовано письмо.
Мне нужно только пометить письмо ярлыком, поэтому я выбираю только “ Применить ярлык ”, выбираю ярлык и нажимаю “Создать фильтр”. Всё. Теперь все письма, адресованные на конкретный емайл, будут помечены ярлыком.
Таким образом, я теперь получаю письма более чем с 20 различных аккаунтов и имею возможность отвечать от имени этих аккаунтов, не паля основной адрес, с одного места. Теперь мне не нужно заходить в разные аккаунты, чтобы проверить почту и ответить, что экономит много времени. Возможно, и вам пригодится такое решение и поможет инструкция.
Gmail рулит!)
Есть чем дополнить – пишите!
Переключаться с одной вкладки с Gmail на другую с «Яндекс.Почтой» довольно утомительно. А уж если у вас имеется десяток учётных записей у разных почтовых провайдеров, утренняя проверка новой корреспонденции и вовсе превращается в пытку. Объединив письма в одном месте, вы избавитесь от этого неудобства.
Большинство провайдеров электронной почты предоставляют встроенную функцию сбора писем с нескольких почтовых ящиков. Например, попробуем собрать письма со всех ваших ящиков в одном аккаунте Gmail.
Прежде всего убедитесь, что в почтовой службе, откуда вы хотите забирать письма, есть доступ по протоколу POP. Затем зайдите в настройки Gmail и нажмите «Настройки» в правом верхнем углу. Перейдите на вкладку «Аккаунты» и отыщите раздел «Получать почту из других аккаунтов».
Добавьте аккаунт, введите адрес электронной почты и нажмите «Далее», затем ведите пароль. Для того чтобы обмен почтой между провайдерами был безопаснее, убедитесь, что включена опция «Всегда использовать защищённое соединение (SSL) при получении почты». Затем кликните на «Добавить аккаунт».
Теперь письма, приходящие на добавленный адрес, будут автоматически собираться в Inbox вашего Gmail. Вы можете добавить столько почтовых адресов, сколько вам нужно.
Электронной почте нужен софт. Да, вы можете сделать многое в веб-клиенте почты (иногда гораздо больше, чем Google сейчас позволяет делать в Gmail). Но веб-интерфейс не сравнить с нативным приложением. Даже самый современный Web UI - это узкое место в работе с почтой.
Рэйф Нидлман, Сnet.com
Десктопные почтовые клиенты хороши тем, что могут агрегировать письма из множества аккаунтов. При этом вы можете работать с десятками адресов и даже не задумываться, у какого провайдера хранится то или иное сообщение.
Большинство десктопных клиентов электронной почты имеют встроенный общий Inbox. Даже если ваш излюбленный клиент поддерживает работу только с отдельными папками для входящих писем, вы всё равно легко можете собрать их вместе с помощью умных фильтров.
Несмотря на то что Outlook предназначен для одновременного управления несколькими почтовыми ящиками, он всё равно отображает отдельный Inbox для каждой учётной записи. Но это легко можно исправить с помощью фильтров.
Откройте Outlook, зайдите на вкладку «Папки» и кликните «Создать папку поиска» на панели инструментов. Затем выберите «Создание настраиваемой папки поиска». Щёлкните на «Выбрать», но не выбирайте критерии поиска, чтобы в папку отправлялись все новые сообщения. Назовите папку как угодно, например «Вся почта».
Кликните на «Обзор», выберите все папки и ящики, из которых нужно собирать почту, и отметьте опцию «Поиск во вложенных папках».
Теперь в созданной вами умной папке будут появляться письма из всех почтовых аккаунтов, добавленных вами в Outlook. Вы можете включить опцию «Отображать в избранном», чтобы ваша новая почта всегда была на виду.
Почтовый клиент Mac предоставляет единую папку для входящих писем из всех подключённых учётных записей. Просто добавляйте свои аккаунты, и все новые письма окажутся собранными в одном месте.
В Thunderbird собрать все ваши письма в одной папке «Входящие» очень просто. Зайдите в меню «Вид» (если строка меню не отображена, нажмите Alt). Затем выберите «Папки» → «Объединённые». Теперь у вас будет одна папка «Входящие» для новых писем, одна папка «Черновики», одна папка «Отправленные» и один «Архив». Вам не придётся долго искать, что где лежит. При этом сообщения будут, как и раньше, храниться на серверах ваших почтовых провайдеров.
Объединённый Inbox есть во многих мобильных почтовых клиентах, в том числе в Gmail. Приложение Gmail собирает ваши входящие из всех аккаунтов электронной почты, в том числе из Yahoo, Outlook или других сервисов.
Если вам не нравится приложение от Google, можете попробовать сторонние почтовые клиенты, такие как Outlook или MyMail.
Может быть, у вас есть свои идеи, как сгруппировать почту в одном месте? Делитесь в комментариях.
Разумеется, всё должно быть распараллелено. Тут на сцену выходит моя любимая библиотека TPL DataFlow .
Забирать почту будем по POP3. Все «модные штучки» IMAP в данной задаче излишни - надо как можно быстрее и проще забрать исходник письма и удалить его на сервера. POP3 тут хватит за глаза. Используем OpenPop.NET .
В качестве факультатива прикрутим мониторинг в Zabbix . (Мы же собрались работать 24/7 и выдавать хваленую скорость - нужно следить за этим).
Install-Package Nlog
Install-Package OpenPop.NET
Install-Package TopShelf
Install-Package Microsoft.TPL.DataFlow
Переходим в папку проекта, создаем App.Debug.config и App.Release.config. Выгружаем проект из студии, открываем его код (Здесь и далее TopCrawler.csproj). В секцию с конфигом добавляем:
Конфигурации
Transform target
Создаем в проекте одноименную папку (должен же быть порядок). Внутри создаем 3 класса - Config, Logger, Zabbix. Наш логгер:
Logger
static class Logger
{
public static NLog.Logger Log { get; private set; }
public static NLog.Logger Archive { get; private set; }
static Logger()
{
Log = LogManager.GetLogger("Global");
Archive = LogManager.GetLogger("Archivator");
}
}
Zabbix
namespace TopCrawler.Singleton
{
///
Конфиги
Определяем типы
#region --- Types ---
static class MailboxType
{
public const string Bo = "bo";
public const string Crm = "crm";
public const string Fbl = "fbl";
public const string Bounce = "bounce";
}
class MailboxInfo
{
public string Type { get; set; }
public string Hostname { get; set; }
public string User { get; set; }
public string Password { get; set; }
public int Port { get; set; }
}
class DataBlockOptions
{
public int Maxdop { get; set; }
public int BoundedCapacity { get; set; }
public DataBlockOptions()
{
Maxdop = 1;
BoundedCapacity = 1;
}
}
#endregion
Создаем секции
///
///
Наши кастомные настройки прочитаем так:
Читаем
public List
Опустим пока обвязку из TopShelf, счетчики производительности, общение с БД и перейдем к делу! Создаем класс Crawler - ядро. Для начала читаем почту:
Private volatile bool _stopPipeline;
...
public void Start()
{
do
{
var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList();
foreach (var task in getMailsTasks)
task.Wait();
Thread.Sleep(2000);
} while (!_stopPipeline);
//Stop pipeline - wait for completion of all endpoints
//Тут будет остановка DataFlow конвейера
if (_stopPipeline)
Logger.Log.Warn("Pipeline has been stopped by user");
}
Вот тут лень взяла свое и я решил не заморачиваться - если ящиков порядка 20-30 можно под каждый запустить таск и не париться о количестве потоков. (Разрешаю закидать помидорами.)
Переходим к самому чтению:
Private void GetMails(MailboxInfo info)
{
try
{
using (var client = new Pop3Client())
{
Сразу посчитаем тайминги доступа к ящику - пригодится для диагностики сети и загруженности сервера.
//Get Zabbix metrics
var stopwatch = new Stopwatch();
stopwatch.Start();
//Get mail count
client.Connect(info.Hostname, info.Port, false);
client.Authenticate(info.User, info.Password);
stopwatch.Stop();
Отправляем данные в Zabbix. Всё просто - указываем имя хоста (как оно заведено в Zabbix), ключ (опять таки строго, как в Zabbix) и строковое значение.
//Send it to Zabbix
Zabbix.Sender.SendData(new ZabbixItem { Host = Config.HostKey, Key = info.Type + Config.TimingKey, Value = stopwatch.ElapsedMilliseconds.ToString() });
Logger.Log.Debug("Send [{0}] timing to Zabbix: connected to "{1}" as "{2}", timing {3}ms", info.Type, info.Hostname, info.User, stopwatch.ElapsedMilliseconds);
var count = client.GetMessageCount();
if (count == 0)
return;
Logger.Log.Debug("We"ve got new {0} messages in "{1}"", count, info.User);
//Send messages to sorting block
for (var i = 0; i < count; i++)
{
try
{
var mailInfo = new MessageInfo
{
IsSpam = false,
Mail = client.GetMessage(i + 1),
Type = MessageType.UNKNOWN,
Subtype = null,
Recipient = null,
Mailbox = info
};
Logger.Log.Debug("Download message from "{0}". Size: {1}b", info.User, mailInfo.Mail.RawMessage.Length);
DataFlow pipeline будет создана при создании класса Crawler. Считаем, что наш первый этап - отсортировать письмо.
While (!_sortMailDataBlock.Post(mailInfo))
Thread.Sleep(500);
Видите, как просто - сам конвейер один. Все таски, читающие почту, кидают туда сообщения по одному. Если блок занят, Post вернет false и мы просто подождем пока он не освободится. Текущий потом в это время продолжает работать. Вот это я называю параллелизм без забот.
Сообщение ушло на конвейер, теперь его можно со спокойной душой сохранить в RAW архив (да-да! всё, что читаем - сохраняем в файловый архив. Служба поддержки нам потом скажет спасибо).
Настроим, например, ротацию архива:
NLog.config
//Save every mail to archive
Logger.Log.Debug("Archive message");
Logger.Archive.Info(Functions.MessageToString(mailInfo.Mail));
}
catch (Exception ex)
{
Logger.Log.Error("Parse email error: {0}", ex.Message);
Functions.ErrorsCounters.Increment();
//Archive mail anyway
Logger.Log.Debug("Archive message");
Logger.Archive.Info(Encoding.Default.GetString(client.GetMessageAsBytes(i + 1)));
}
if (_config.DeleteMail)
client.DeleteMessage(i + 1);
if (_stopPipeline)
break;
}
Logger.Log.Debug("Done with "{0}"", info.User);
}
}
catch (Exception ex)
{
Logger.Log.Error("General error - type: {0}, message: {1}", ex, ex.Message);
Functions.ErrorsCounters.Increment();
}
}
Здесь мы использовали статические счетчики ошибок (в разрезе типов ящиков), где ErrorsCounters - это:
Public static Dictionary
А сами счетчики можно сделать так:
Counter.cs
class Counter
{
private long _counter;
public Counter()
{
_counter = 0;
}
public void Increment()
{
Interlocked.Increment(ref _counter);
}
public long Read()
{
return _counter;
}
public long Refresh()
{
return Interlocked.Exchange(ref _counter, 0);
}
public void Add(long value)
{
Interlocked.Add(ref _counter, value);
}
public void Set(long value)
{
Interlocked.Exchange(ref _counter, value);
}
}
Как вы уже поняли, данный пример в основном рассматривает применение сборщика для задач маркетинга - сбор статистики по доставке почты, информация о спаме.
Итак, мы определились с рабочим потоком. Объявляем необходимые блоки в классе Crawler:
Class MessageInfo
{
public bool IsSpam { get; set; }
public Message Mail { get; set; }
public string Subtype { get; set; }
public string Recipient { get; set; }
public MessageType Type { get; set; }
public MailboxInfo Mailbox { get; set; }
}
class Crawler
{
//Pipeline
private TransformBlock
Создаем метод инициализации и создаем блоки конвейера (для инициализации блоков используем наши замечательные секции из конфигов):
Public void Init()
{
//*** Create pipeline ***
//Create TransformBlock to get message type
var blockOptions = _config.GetDataBlockOptions("_sortMailDataBlock");
_sortMailDataBlock = new TransformBlock
Собираем конвейер в соответствии с нашей схемой:
//*** Build pipeline ***
_sortMailDataBlock.LinkTo(_spamFilterDataBlock, info => info.Type == MessageType.GENERAL);
_sortMailDataBlock.LinkTo(_addToFblDataBlock, info => info.Type == MessageType.FBL);
_sortMailDataBlock.LinkTo(_checkBounceDataBlock, info => info.Type == MessageType.BOUNCE);
_sortMailDataBlock.LinkTo(DataflowBlock.NullTarget
Как видим, всё предельно просто - связываем блок со следующим (с возможностью задания условия связи). Все блоки исполняются параллельно. Каждый блок имеет степень параллелизма и емкость (с помощью емкости можно регулировать очередь перед блоком, то есть блок сообщение принял, но еще не обрабатывает). Таким образом, можно задавать высокую степень параллелизма для «сложных» и долгих операций, как, например, парсинг содержимого письма.
Не буду описывать матчасть DataFlow, лучше всё прочесть в первоисточнике TPL DataFlow .
SortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_spamFilterDataBlock).Fault(t.Exception);
else _spamFilterDataBlock.Complete();
});
_sortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToFblDataBlock).Fault(t.Exception);
else _addToFblDataBlock.Complete();
});
_sortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_checkBounceDataBlock).Fault(t.Exception);
else _checkBounceDataBlock.Complete();
});
_spamFilterDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToCrmDataBlock).Fault(t.Exception);
else _addToCrmDataBlock.Complete();
});
_checkBounceDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_identifyDataBlock).Fault(t.Exception);
else _identifyDataBlock.Complete();
});
_identifyDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToBounceDataBlock).Fault(t.Exception);
else _addToBounceDataBlock.Complete();
});
}
Всё, на самом деле конвейер уже работает, можно постить в него сообщения. Осталось только остановить его дополнив наш метод Start:
Start
public void Start()
{
do
{
var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList();
foreach (var task in getMailsTasks)
task.Wait();
Thread.Sleep(2000);
} while (!_stopPipeline);
//Stop pipeline - wait for completion of all endpoints
_sortMailDataBlock.Complete();
_addToCrmDataBlock.Completion.Wait();
_addToFblDataBlock.Completion.Wait();
_addToBounceDataBlock.Completion.Wait();
if (_stopPipeline)
Logger.Log.Warn("Pipeline has been stopped by user");
}
Private MessageInfo SortMail(MessageInfo mail)
{
switch (mail.Mailbox.Type)
{
case MailboxType.Crm:
mail.Type = MessageType.GENERAL;
break;
case MailboxType.Bounce:
mail.Type = MessageType.BOUNCE;
break;
case MailboxType.Fbl:
mail.Type = MessageType.FBL;
break;
}
return mail;
}
Спам фильтр. Это на домашнюю работу - используйте SpamAssassin .
Вот вам делегат:
Private MessageInfo FilterSpam(MessageInfo mail)
{
//TODO: Add SpamAssassin logic
return mail;
}
И классы для работы с API SpamAssassin (ссылка на проект).
А мы переходим к парсингу писем. Парсим мы автоответы. Тут вступает в дело MEF.
Создаем проект (dll) с интерфейсами для наших плагинов (Назовем Interfaces).
Добавляем интерфейс:
Public interface ICondition
{
string Check(Message mimeMessage);
}
public interface IConditionMetadata
{
Type Type { get; }
}
И… всё. Наш TopCrawler зависит от этого проекта и проект с плагинами тоже будет использовать его.
Создаем новый проект (тоже dll), назовем Conditions.
Добавим типы автоответов:
#region --- Types ---
static class BounceType
{
public const string Full = "BounceTypeFull";
public const string Timeout = "BounceTypeTimeout";
public const string Refused = "BounceTypeRefused";
public const string NotFound = "BounceTypeNotFound";
public const string Inactive = "BounceTypeInactive";
public const string OutOfOffice = "BounceTypeOutOfOffice";
public const string HostNotFound = "BounceTypeHostNotFound";
public const string NotAuthorized = "BounceTypeNotAuthorized";
public const string ManyConnections = "BounceTypeManyConnections";
}
#endregion
И классы, реализующие наш интерфейс:
Public class ConditionNotFound1: ICondition
{
public string Check(Message mimeMessage)
{
if (!mimeMessage.MessagePart.IsMultiPart)
return null;
const string pattern = "Diagnostic-Code:.+smtp.+550";
var regexp = new Regex(pattern, RegexOptions.IgnoreCase);
return mimeMessage.MessagePart.MessageParts.Any(part => part.ContentType.MediaType == "message/delivery-status" && regexp.IsMatch(part.GetBodyAsText())) ? BounceType.NotFound: null;
}
}
...
public class ConditionTimeout2: ICondition
{
return BounceType.Timeout;
}
...
Как вы заметилиб всё дело в атрибутах. С помощью них плагины и будут загружены.
Возвращаемся к нашему проекту и загружаем плагины:
Class Crawler
{
...
//Plugins
public IEnumerable
LoadPlugins дергаем в конструкторе нашего класса. Объяснять подробно про механизм загрузки не буду - гугл справится лучше.
Переходим к нашему делегату проверки типа Bounce. Условия будут применяться по очереди, пока не сработает первое - исключающий метод:
Private MessageInfo BounceTypeCheck(MessageInfo mailInfo)
{
try
{
foreach (var condition in BounceTypeConditions)
{
var res = condition.Value.Check(mailInfo.Mail);
if (res == null)
continue;
mailInfo.Subtype = res;
Logger.Log.Debug("Bounce type condition [{0}] triggered for message [{1}]", condition.Metadata.Type, mailInfo.Mail.Headers.MessageId);
break;
}
}
catch (Exception ex)
{
Logger.Log.Error("Failed to determine bounce type for message "{0}": {1}", mailInfo.Mail.Headers.MessageId, ex.Message);
Logger.ErrorsCounters.Increment();
}
return mailInfo;
}
Таким образомб если появляется новая логикаб достаточно просто добавить в проект с плагинами новый класс, реализующий наш интерфейс и - вуаля! Пример второго плагина по определению отправителя письма прикладывать не буду - итак уже длинный пост (Автоответ сгенерировал сам сервер, поэтому отправителя тоже надо распарсить из заголовков письма)
.
С записью результатов в БД тоже ничего необычного. Например, так:
Private void AddToBounce(MessageInfo mail)
{
try
{
MailWH.BounceAdd(mail);
Functions.ProcessedCounters.Increment();
Functions.Log.Debug("Send Bounce to MailWH");
}
catch (Exception ex)
{
Functions.Log.Error("Error saving Bounce message "{0}" to MailWH: {1}", mail.Mail.Headers.MessageId, ex.Message);
Functions.ErrorsCounters.Increment();
}
}
BounceAdd
public static long BounceAdd(MessageInfo message)
{
using (var conn = new SqlConnection(ConnectionString))
using (var cmd = new SqlDataAdapter("BounceAdd", conn))
{
var body = message.Mail.FindFirstPlainTextVersion() == null
? message.Mail.FindFirstHtmlVersion().GetBodyAsText()
: message.Mail.FindFirstPlainTextVersion().GetBodyAsText();
var outId = new SqlParameter("@ID", SqlDbType.BigInt)
{
Direction = ParameterDirection.Output
};
cmd.SelectCommand.CommandType = CommandType.StoredProcedure;
cmd.SelectCommand.Parameters.Add(new SqlParameter("@RawMessage", message.Mail.RawMessage));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@Message", body));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@Subject", message.Mail.Headers.Subject ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@MessageID", message.Mail.Headers.MessageId ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressTo", message.Mail.Headers.To.Address ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressFrom", message.Mail.Headers.From.Address ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@DateRecieved", DateTime.Now));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@BounceTypeSysName", (object)message.Subtype ?? DBNull.Value));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@SourceFrom", (object)message.Recipient ?? DBNull.Value));
// TODO: Add ListId support
cmd.SelectCommand.Parameters.Add(new SqlParameter("@ListId", DBNull.Value));
cmd.SelectCommand.Parameters.Add(outId);
conn.Open();
cmd.SelectCommand.ExecuteNonQuery();
return outId.Value as long? ?? 0;
}
}
Фух… Если будет интересно, дальше расскажу, как поставить это на рельсы Continious Integration, настроить автобилды и выпуск релиза через VS Release Management .
Теги: Добавить метки
Для правильной и высоко эффективной работы на разных досках, вам нужно иметь целый пакет почтовых ящиков, для этого вам нужно создать себе 10-20 почтовых ящиков. Из-за некоторых проблем, на Mail.ru, Gmail.ru, Gmail.com лучше их не делать . Проблемы эти заключаются в том, что вышеперечисленные почтовые сервисы с некоторых пор стали усиленно бороться со спамом. И они как раз Орифлейм (письма как-нибудь связанные с ним) приравняли к спаму.
Соответственно, вы рискуете в один прекрасный момент перестать получать письма от соискателей, или вдруг у вас появятся проблемы с отправкой писем, или неожиданно безобидное отправленное вами письмо от кого-то к кому-то, не дойдёт. Хотя, многие консультанты работают с этими почтовыми сервисами и особых проблем не наблюдают, но лучше, не рисковать.
Работать с ящиками удобнее, через почтовую программу, например, The Bat или Mozilla Thunderbird (приложение к браузеру Мозиле), или через другие аналогичные, чтобы не работать через браузер, так как одновременно открыть в браузере десяток почтовых ящиков – не получится. А любая почтовая программа позволит вам без проблем работать с письмами со всех ящиков.
Обратите внимание, что названия вами созданных для работы на досках ваших почтовых ящиков, НЕ должны быть похожими между собой названиями, тем более, если вы будете регистрироваться в один присест - не сходя со стула. Иначе администраторы досок объявлений вас элементарно вычислят и удалят после вашей регистрации всех ваших аккаунтов. Так как на любой серьёзной доске можно иметь от одного человека только один аккаунт.
А можно поступить ещё проще и работать всего с одной почтой, которая будет сама собирать письма со всех ваших почтовых адресов. Почта на Яндексе с этим прекрасно справится. Настройка простейшая и много времени не займёт.
Для начала вы входите через браузер в свою заранее приготовленную Яндекс-почту для сбора писем со всех ящиков. Потом справа вверху находите обозначенный на первой картинке символ и нажимаете на него.
После этого у вас откроется выпадающее поле, обозначенное на втором скрине. Вам нужно нажать на ссылку «СБОР ПОЧТЫ С ДРУГИХ ЯЩИКОВ».
Затем вы попадёте на страницу настройки почтовых ящиков, с которых ваша почта на Яндексе будет собирать письма со всех ваших Е-мейлов. Далее всё интуитивно понятно. Есть, правда, одно ограничение - одна Яндекс-почта может собирать все сообщения максимум с 10 разных почтовых ящиков, но это вообще не проблема, например, можно для сбора почты сделать 2 или 3 почтовых ящика на Яндексе.
Следующим шагом будет активация в настройках ящиков-сборщиков на Яндексе настройки доступа к этим почтовым ящикам по протоколам IMAP и POP3. На двух скринах ниже видно, как добраться до этих настроек.
На всех ящиках с которых ваша Яндекс-почта будет собирать все письма, нужно также поступить аналогичным образом, предоставив доступ к этим ящикам по протоколам IMAP и POP3. Там настройки делаются аналогично. Правда при сборе писем таким методом через Яндекс-сборщик, имеется маленький не всегда удобный момент - сборка писем не происходит моментально, она осуществляется в течении суток всего по нескольку раз. Но, думаю, это не столь критично.
Для моментального же получения почты на одну почту-сборщик на Яндексе, нужно настроить не сбор писем, а переадресацию (пересылку). Это так же делается не сложно. Посмотреть осуществляемые настройки почты для переадесации, можно на этой странице подсказок Яндекса.
