Учимся устранять проблему с репутацией ip-адреса

API возвращает JSON строку, например:

Copy all

{"data":{"127.0.0.1":{"network_type":"unknown","country":"","appears":0,"frequency":0,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":1001,"updated":"2021-02-22 12:06:14","spam_rate":0,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1,"disposable_email":1,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}

Copy all

{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"updated":"2018-10-31 00:07:21","spam_rate":1,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":0,"disposable_email":1}}}

Для хэша адреса IP v4:

Copy all

{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"frequency":13626,"updated":"2019-05-15 05:01:23","spam_rate":1,"network_type":"hosting","country":"GB","frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1}}}

Расшифровка ответа:

data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.

Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы

Массив с проверенными записями содержит следующие поля:

• appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),

• sha256 — хэш sha256 адреса,
• network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):

• spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов). Параметр «spam_rate» может иметь значение от 0 до 1:  «spam_rate»: «1» — 100% запросов было спамом, «spam_rate»: «0,75» — 75% запросов было заблокировано как спам,
• submitted — дата и время первой спам-активности,
• updated — дата и время последнего обновления статуса,
• country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2,
• exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
• disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
• frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса),
  • frequency_time_10m — активность за 10 минут (показывает сколько попыток спама было зафиксировано),
  • frequency_time_1h — активность за 1 час (показывает сколько попыток спама было зафиксировано),
  • frequency_time_24h — активность за 24 часа (показывает сколько попыток спама было зафиксировано),Эти 3 параметра будут исключены из выдачи API spam_check() 7 октября 2021г.
• in_antispam — IP адрес найден в чёрном списке анти-спам,
• in_security — IP адрес найден в чёрном списке безопасности (brute-force),
• domains_count — число доменов, найденных на IP адресе.

В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.

Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.

Проблемы сайтов из чёрных списков

Падение трафика после попадания домена под санкции поисковой системы

Основная проблема сайта, который попал в блэклист – это ограничение доступа к нему, и, как следствие, резкое падение трафика. Причин этому несколько:

1. Если на сайт накладывает санкции поисковая система, то про трафик из поиска можно забыть. В результатах поиска сайт помечается как «угрожающий безопасности компьютера или мобильного устройства». В некоторых случаях поисковики понижают сайт в выдаче или даже исключают его из выдачи для мобильных устройств.
2. В браузерах, использующих Safe Browsing API (Google Chrome, Яндекс.Браузер, Opera, Firefox и Safari), при переходе на забаненный поисковиком сайт выдаётся красный экран блокировки и предупреждение о вирусах или мошенничестве.
3. Если сайт забанен антивирусом, то при попытке пользователей с тем же антивирусом открыть его, проактивная защита будет предупреждать об угрозе безопасности или вовсе блокировать доступ.

Кроме потери трафика, попадание в вирусные базы грозит репутации компании-владельца. Предупреждение о том, что сайт мошеннический и угрожает безопасности, скорее всего оставит негативное впечатление о владельце сайта, а информация о блокировке может быстро распространиться по соцсетям.

ТОП популярных блэклистов

Предлагаем вашему вниманию ТОП-5 черных списков, которые являются самыми востребованными и авторитетными. Именно они больше всего влияют на доставляемость ваших писем из рассылок:

1. Spamcop. Это масштабный сервис, в котором пользователи могут не только получить информацию, но и оставить жалобу на рассылку. 

1. ProofPoint. Этим списком пользуется корпорация Apple. Если ваш IP попадет в него, письма не будут приходить на адреса пользователей @me.com и @icloud.com. 

1. Spamhaus – один из самых достоверных листов, которые не делает осечек. При попадании в него домена или IP адреса письма перестаюь доставляться на все основные почтовые сервера (Mail.ru, Яндекс, Google, Microsoft, Yahoo). Огромный плюс этого проекта в хорошей технической поддержке. Она оперативно реагирует на каждое обращение. Если вы исправите выявленную проблему, то вас исключат из блэклиста.

1. Черный список для доменных имен URIBL! Если вы окажетесь тут несколько раз, то почти нет шансов выбраться. 

1. SORBS. Интересно, что на этот сервис почти не обращают внимания крупные почтовики. Главный его контингент – это организации. SORBS тщательно отслеживает внедрение адресов-ловушек и радует отличной техподдержкой. При быстром и адекватном реагировании можно выбраться из блэклиста с минимальными потерями. 

Какие бывают спам базы

Черные списки разделяются на два типа: частные и публичные.

• Частные создаются отдельным пользователем или конкретной компанией для блокировки некоторых доменов, чтобы не получать от них никаких писем. Пример, знакомый всем: допустим, к вам на почту приходят постоянно сообщения на тему заработка в казино. Вы добавляете отправителя в личный блэклист и больше не видите сообщений от него. Отправителю обойти этот список проще, чем публичный: нужно связаться с владельцем ящика или администратором компании и обсудить вопрос, возможно, блокировка писем произошла случайно. Но это не всегда приводит к положительному исходу.
• Публичные базы создаются специально для всех пользователей, и ими пользуются уже спам-фильтры и провайдеры почты. Если отправитель попадает в крупные и известные листы, большая часть его писем будет с пометкой спам и не дойдет до адресатов.

Почему письма умирают в папке со спамом: краткий ликбез

Несмотря на то, что в блоге есть достаточно материалов о том, кто и когда попадает в спам, мы кратко снова повторим изученное:

• Спам – это массовые рекламные рассылки, отправленные без получения предварительного согласия. Они попадают к тем, кто вовсе не планировал их получать. Главная задача спама – раздражать и формировать желание убивать. 

• Чтобы вы не квалифицировались, как спам, пользователь должен ЛИЧНО дать одобрение на получение рассылки. 

• Не стоит забывать про так называемые SPAM-фильтры, так как они тоже участвуют в принятии решения, попадёт ли рассылка в «спамную» папку. 

Остановимся на фильтрах. Это алгоритмы крупных почтовых провайдеров, которые самостоятельно оценивают несколько показателей:

1. Контент рассылки. Попробуйте проанализировать, как это делают фильтры, миллионы текстов, и вы точно научитесь распознавать спамеров. Умный алгоритм оценивает текст, верстку, дизайн. Позаботьтесь о том, чтобы исключить стоп-слова и сделать аккуратную верстку письма.

2. Репутация. Если вы уже попадались на том, что шалили и рассылали спам, то скорее всего ваши письма обречены на «кармическую» отправку в спам. Про репутацию можно прочитать ТУТ.

3. База и ее качество. Если у вас в списке адресов много «мертвых душ», вы рискуете попасться в спам-ловушки. Если вы попались, значит, вы ведете рассылку без согласия подписчиков, а это уже бесплатный билет в страну под названием “Спам”. 

4. Находитесь в каком-то черном списке? Сделайте все, чтобы оттуда выбраться быстрее, а мы уже говорили о том, как этого добиться – ТУТ! 

Сейчас настало время – получить на руки перечень удобных онлайн-сервисов, помогающих понять, попадают ли ваши письма в папку со спамом.

Как работают черные списки

Спам-ловушки делятся на две категории:

• Преобразованные email адреса — это адреса, которые неактивны больше года, из-за чего почтовые сервисы сделали из них спам-ловушки.
• Классические ловушки — это специально созданные email адреса. Их размещают на популярных ресурсах, где можно спарсить базу адресов для дальнейшей продажи или рассылки по ней спама.

У всех черных списков разные способы вычисления спамеров. Но почти все они применяют некоторую комбинацию спам-ловушек и данных о жалобах на спам.

Оператор черного списка может инициировать добавление в черный список IP-адреса, если на него идет чрезмерный поток жалоб за рассылку спама. Чтобы избежать черных списков, нужно обеспечить отправление рассылок на валидные и активные адреса, собранные самостоятельно.

Самые популярные черные списки

• BRBL — это бесплатный черный список IP-адресов, которых пользователи отправляют спам.
• DNSBL — список IP-адресов и доменов, которых уличили в рассылке спама.
• MultiRBL — этот бесплатный черный список DNS перекрестно ссылается на другие черные списки по IPV4, IPV6 или домену.
• Spamcop — список IP-адресов, которые пользователями были отмечены как отправители спама.
• Spamhaus — поддерживает несколько черных списков DNS (DNSBL), в связке с которыми он отслеживает и выявляет источники нежелательных рассылок, обеспечивает защиту от спама.
• SURBL — это списки сайтов, на которые вели ссылки в нежелательных письмах.

Необязательные GET параметры:

• ip — ip адрес для проверки (IPv4 или IPv6 в стандартном текстовом виде виде)

• email — email адрес для проверки (Результат выдается за последние 6 месяцев)

• date — дата в формате YYYY-MM-DD, используется при необходимости указания конкретного дня, за который требуется подсчитать статистику (только для IP адресов.)
• email_<SHA256> — хэш SHA256 адреса email
• ip4_<SHA256>- хэш SHA256 адреса IPv4
• ip6_<SHA256>- хэш SHA256 адреса IPv6

Пример запроса c IP:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=stop_email@example.com&ip=127.0.0.1

Пример запроса c date:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&ip=127.0.0.1&date=2017-01-31

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631

Пример с хэшем адреса IP v4:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=12345&ip=ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074

Чёрные списки доменов

Результаты проверки сайта с проблемами безопасности в сервисе VirusTotal

Репутацию доменов отслеживают поисковики, браузеры и антивирусы, чтобы предупреждать своих пользователей о переходе на подозрительный сайт. Информацию они черпают из чёрных списков — баз опасных доменов и IP-адресов. Логика такая: если сайт попал в блэклист, значит, он содержит угрозу. То есть у всех сайтов из чёрных списков были (есть) проблемы безопасности и, как следствие, плохая репутация.

Списки опасных сайтов ведут многие антивирусные сервисы и онлайн-сервисы. Они заносят туда ресурсы, которые распространяют вирусы или вредоносный код, размещают фишинговые страницы, перенаправляют посетителей на опасные страницы и пр. Ниже рассмотрим самые авторитетные источники для проверки доменов.

Сервисы безопасного поиска Яндекса и Google

Бот проверяет сайт на фишинг, скрытые перенаправления, загрузку вирусного кода или опасных файлов. Если обнаруживает угрозу, то домен попадает в чёрный список поисковой системы. После этого он может оказаться в чёрном списке одного или нескольких антивирусных сервисов.

Через безопасный поиск Яндекса репутацию сайта проверяют Opera и Firefox (русские редакции), а также Яндекс.Браузер. Через безопасный поиск от Google — Chrome, Firefox и Safari. Браузеры ограничивают серфинг по сайтам, которые «забанил» поисковик.

Агрегатор VirusTotal

Через VirusTotal удобно проверять статус домена в различных антивирусах. С его помощью можно быстро обнаружить блокировку сайта конкретным антивирусом, чтобы спасти репутацию домена.

База Роскомнадзора

Роскомнадзор добавляет в базу не только домены, но и IP-адреса. Поэтому заблокированным может оказаться самый безобидный сайт — если ему достался забаненный IP. Так бывает, когда сайт размещён на виртуальном хостинге с нарушающим закон ресурсом, или когда его серверу присвоен IP-адрес, который попал под блокировку раньше. Часто от блокировок Роскомнадзора страдают ни в чём не повинные пользователи бесплатных тарифов Cloudflare.

Готовим рассылку

Помимо подготовки домена, нужно позаботиться о качестве писем, которые будут читать пользователи и не блокировать почтовые сервисы.

Забудьте приемы написания из прошлого десятилетия: «Полу4ите 6есплатно ТоЛьКо СегОдня!!!!». Подобные письма сразу отправляются в спам. Поэтому пишите грамотно, без ошибок, заботьтесь о качестве прикрепляемых материалов.
Пишите с отключенным CapsLock. Сообщения из серии «ТОЛЬКО СЕГОДНЯ ГЛОБАЛЬНАЯ РАСПРОДАЖА В НАШИХ МАГАЗИНАХ» могут не дойти до подписчиков.
Не используйте спам-слова

Фильтры давно стали лучше, но тем не менее, на некоторые слова они продолжают обращать внимание. Не употребляйте без надобности:
коммерческие фразы: «пока вы спите», «без вложений», «купите», «закажите»;
медицинские термины: «лишний вес», «потенция»;
18+: «девушки онлайн», «анкета знакомств»;
Розыгрыши: «вы выиграли», «лотерея», «вас выбрали победителем» и т.д.
Яркие шрифты, режущие глаз, — верный признак спама

Привлекая внимание на каждой строчки, как не парадоксально, вы отталкиваете пользователя читать текст. Допустимо использовать цвета в заголовках, контактах, но не хаотично, а по делу.
Избегайте спамные темы. Типичные примеры всем известны: «Заработать 100500 долларов за 5 минут», «Получила айфон бесплатно», «80 кг уйдут, если…». Не нужно затрагивать темы 18+, финансовые пирамиды, секретные методики похудения, если вы не специалист в этой области, и ваши читатели не соглашались на такую рассылку.
Письмо должно отображаться всеми почтовыми сервисами, даже теми, которые не поддерживают HTML-технологии. Используйте Plain Text, письмо-текст, чтобы избежать блокировки фильтрами. Вы можете совмещать HTML и Plain Text, а что показать пользователю, уже решит сама программа.
Самая банальная рекомендация: делиться полезной информацией. Это значит, писать по той теме, на которую подписался пользователь. И делать контент интересным, чтобы его ждали и читали по почте.
Отключите Flash, JavaScript или ActiveX. Почтовые сервисы относятся к ним с подозрением, потому что в них можно скрыть вирус.
Желательно, чтобы новые ссылки открывались в новой вкладке браузера.
Используйте доменную почту, например, noreply@company.ru или info@company.ru. Рассылка с личных ящиков расцениваются как нежелательная почта. Покупайте хостинг VPS/VDS, предоставляющий индивидуальный IP, а не обычный, на котором могут зарегистрироваться до 500 других доменов. Тогда вам не потребуется делить свою репутацию.
Не верстайте посыл одной большой картинкой, на которой размещается вся информация. Фильтры быстро блокируют такие рассылки. Напишите хотя бы пару строк обычным текстом. Помните, что некоторые клиенты могут отображать только текстовые сообщения, и до пользователя не дойдет информация на изображении.
Фильтры блокируют рассылки с файлами больших размеров. Тут все просто: спамеры любят этот прием для передачи вирусов. Если вы предлагаете пользователю что-то скачать, воспользуйтесь ссылками на файлообменник.
Не забывайте оставлять ссылки на отписку. Даже если они будут сверху и снизу, это не будет призывом отписаться от вас. Другое дело, когда пользователь ищет ее, но не находит. Тогда он просто нажимает кнопку «Спам», а это хуже для репутации, чем просто отписка.
Приветствуется небольшой размер письма — до 100 Кб. Более тяжелое пропустят не все спам-фильтры.
Письма верстаются в стандартной кодировке UTF-8.
Прописывайте все цвета в шестнадцатеричном формате, с 6 цифрами после решетки #. Тогда программа для чтения писем не перепутает оттенки, а пользователь увидит задуманную гамму.
Большое количество подчеркиваний, жирных шрифтов, пустых строк, пробелов, переспам — фильтры принимают эти сообщения за спам и не доставляют их адресату.
Проверьте текст на укороченные ссылки (например, короткие адреса от известного bitly.com). Спамеры используют их для передачи зараженных сайтов или программ. Почты не одобряют эти приемы и требуют вставлять полные адреса, чтобы читатель видел, куда переходит. Рассылка заблокируется, если конечная целевая страница не совпадает с указанной в письме.
Ширина влияет на отображение. Если тело будет более 600 пикселей, то на экране пользователя оно может расползтись и неправильно отображаться.
Добавляйте картинкам alt-теги. Пользователь, у которого не отобразятся изображения, все равно уловит смысл письма, если они были соответственно подписаны. Фильтры не доверяют сообщения без alt-тегов. Их нужно добавлять ко всем изображениям без исключения.

Как удалить IP или домен из черного списка

Начните с улучшения рассылки. Ознакомьтесь с правилами почтовых сервисов и рекомендациями специалистов. Администраторы лояльнее относятся к людям, которые попали в список первый раз. А когда ситуация повторяется регулярно, доверие падает и укрепляется репутация нарушителя. Некоторые сервисы предоставляют небольшую инструкцию, что делать, чтобы не попадать в черный список.

Далее зайдите на сайт базы, в которую вас занесли. Напишите письмо в формате, который предлагает ресурс (форма или на почту), опишите ситуацию и изложите свою просьбу. Укажите, какие шаги вы сделали для того, чтобы избежать черный список в следующий раз. В течение определенного времени вам придет ответ. И возможно, вас удалят из черного списка.

Что такое черный список

Черный список (англ. black list) — это список IP-адресов и доменов, которые были заблокированы из-за подозрения в рассылке спама. Цель черных списков — снизить процент отправки нежелательных рассылок пользователям.

Выделяют два типа черных списков:

1. На основе домена отправителя.
2. На основе IP-адреса отправителя.

Если домен или IP-адрес находится в черном списке, рассылки не будут доставлены вообще или пройдут через дополнительные фильтры спама.

Черные списки используют разные алгоритмы идентификации спама. К примеру, если рассылка собирает много жалоб на спам, тогда процент доставки писем во входящие снижается к нулю.

Ограничения

Если вы превысите максимальное количество вызовов, API вернет ошибку, например,

Copy all

{"error_message":"Calls limit exceeded.","error_no":10}

Сейчас максимальное количество вызовов установлено в 100 вызовов за 60 секунд.

Если вы превысите максимальное количество элементов данных в методе spam_check вызовов, API вернет ошибку, например,

Copy all

{"error_message":"Recevied 1001 records to check, maximum 1000 records check perl call.","error_no":8}

Сейчас максимальное количество элементов данных установлено в 1000.

Рекомендуемый таймаут — не более 180 секунд.

Ошибки при анализе и обработке данных возвращаются индивидуально для каждой записи, например,

Copy all

{"data":{"10.0.0.3":{"error":"Database error"}}}

Copy all

{"data":{"10.0.0.266":{"error":"Can't check this record: Wrong format"}}}

Примечание: Если в запросе передается дата, то время выполнения этого запроса будет немного увеличено.

Почему отправитель попадает в спам лист

Почтовые провайдеры ориентируются на репутацию домена и на уловки, созданные для поимки спамеров.

• Ловушки. У каждого почтового клиента есть список адресов, владельцы которых давно уже забыли про них. Обычно они ждут полгода-год, как пользователь не заходит в свой ящик, а потом используют его. Алгоритм прост: считается, что сообщение, приходящее на такой ящик, является спамом, а отправитель, соответственно, спамером. И его заносят в черные списки доменов или IP, репутация падает, остальные письма до других адресатов не доходят. Поэтому нужно фильтровать базу клиентов, удалять известные ловушки и недействующие адреса.
• Отсутствие Double Opt-In, только Single Opt-In. Более подробно про них мы поговорим в следующем разделе. Single Opt-In дает возможность конкурентам черными способами испортить собранную базу, добавив туда ловушки, роботов и много еще «приятного».
• Жалобы пользователей. Они могут поступать по разным причинам: спамная тема, рассылка без их уведомления, вирусные файлы и многое другое.

Для решения некоторых задач помогут инструменты. Например, для поиска ловушек бесполезно фильтровать лист вручную, потому на глаз нельзя определить, как давно владелец проверял письма. Один из способов: проверить с помощью Bounceless или Mailvalidator. Периодически отправляйте сообщения с просьбой подтвердить рассылку, но не всем, а именно тем пользователям, которые не просматривают ее в течение нескольких месяцев.

Как IP получает плохую репутацию?

Это происходит тогда, как за вашим сервером фиксируется чрезмерная рассылка спама. В большинстве случаев, чтобы попасть в черные списки, нужно рассылать ОЧЕНЬ МНОГО спама. Если вы обнаружили свой IP-адрес в черных списках, то стоит изучить логи почтового ящика сервера. Возможно, что один из ваших аккаунтов был взломан, и теперь используется для рассылки спама. Если это так, то в первую очередь нужно обезопасить взломанный профиль.

Поиск черных списков, в которых находится IP-адрес

Черные списки IP-адресов легче всего анализировать при помощи инструмента Blacklist Checker от MXToolbox. Введите свой IP в поле поиска и запустите сканирование

Обращайте внимание на элементы, помеченные статусом ОК. Стоит отметить, что в MXToolbox представлены не все данные

Здесь можно найти лишь списки Microsoft Outlook/Live/Hotmail. Ниже мы поговорим подробнее о проверке IP в спам базах.

Запрос на удаление из черного списка

Большинство специализированных сервисов предлагает опцию, которая позволяет сделать запрос на удаление из списка. Но сначала нужно исправить проблемы, которые привели к внесению в черный список. Запрос может быть отклонен, если сервер продолжает рассылать большие объемы спама.

Основные черные списки и ссылки на форму запроса на удаление из них:

• Barracuda Central: http://www.barracudacentral.org/rbl/removal-request;
• Spamhaus: http://www.spamhaus.org/lookup/;
• LashBack: http://blacklist.lashback.com/;
• Invaluement: http://www.invaluement.com/removal/;
• DNSBL: http://www.dnsbl.manitu.net/.

Скорее всего, вам придется объяснить, почему вы создали запрос на удаление, и какие шаги предприняли, чтобы обезопасить свой сервер. Будьте честными и попытайтесь доказать, что это больше не повторится.

Разбираемся со «злобным» список Microsoft

У Microsoft имеется свой черный список для пользователей Outlook/Live/Hotmail. Самое сложное – это выйти из него.

Сначала нужно проверить IP на наличие в спам базах. Чтобы сделать это, зарегистрируйтесь в Smart Network Data Services. Сервис позволяет добавлять IP-адреса и отслеживать их состояние. Это позволит не только отследить попадание IP в черный список, но и воспользоваться специальными инструментами.

В завершение, зарегистрируйтесь на Sender Score. Sender Score – это индикатор доверия к IP-адресу отправителя письма. Он используется почтовыми сервисами и фильтрами для дополнительной защиты электронных ящиков.

После этого смело отправляйте Microsoft запрос на удаление из списка. На момент написания этой статьи, все известные URL-адреса формы подачи заявления на удаление были недоступны. Поэтому я рекомендую вам послать письмо на delist@messaging.microsoft.com. Если предварительно не зарегистрироваться во всех перечисленных сервисах, то ваш запрос могут проигнорировать.

Другие предостережения

После того, как проверите IP адрес на спам, не забудьте воспользоваться DomainKeys Identified Mail, который берет на себя ответственность за электронные письма, проходящие транзитом. Сервис проверяет их независимо от того, является ли он его отправителем или только посредником в цепочке перенаправлений. Технически, DKIM предлагает метод валидации доменного имени отправителя электронного письма.

Пожалуйста, опубликуйте ваши комментарии по текущей теме материала. Мы крайне благодарны вам за ваши комментарии, отклики, подписки, дизлайки, лайки!

«И ты попал в блэк лист» — как работают черные списки?

Для начала обозначим особенности работы черных списков. В эту базу данных попадают доменные имена и IP-адреса, занимающиеся рассылкой спама. Их перечень находится в постоянном доступе на серверах, к которым обращаются почтовые провайдеры. Представим, что какой-то абстрактный отправитель есть в одном из черных списков. Это гарантирует минус к карме его репутации, а, значит, есть большая вероятность, что отправления с этого адреса или даже его упоминания в контенте письма будут приводить к попаданию в спам или вовсе к блокировке отправки. 

Существует очень много таких black lists! Какие-то являются общепризнанными и крупными, поэтому на них ориентируются даже самые авторитетные и крупные провайдеры. Есть и локальные списки для маленьких организаций, платные и бесплатные. Наш сервис мониторит все доступные базы данных, чтобы исключить любые несостыковки. 

Как проверить, не угодил ли почтовый сервер в черные списки

У каждого блэклиста есть свой сайт с поиском по базе. Некоторые сервисы продают доступ. Но популярные черные списки — бесплатные. Проверьте свой IP-адрес или домен в Spamhaus и URIBL. Для начала этого будет достаточно. Введите свой адрес — блэклист сразу выдаст результаты проверки. Зеленый цвет означает отсутствие в блэклисте, а красный покажет, в каком списке находится ваш адрес и что нужно сделать для его удаления.

Если есть права администратора на домене, загляните в логи отправки. Это ответ сервера, который принял письмо. Если адрес в блэклисте, вы увидите это в логах. Там будет ссылка на черный список.

Если не хотите возиться с проверкой по каждому блэклисту, запускайте сервисы проверок — MxToolBox или Mail-tester. Они проверят ваш адрес по 100 чёрным спискам.

Краткая история проверки IP в DNSBL

Впервые черные списки спам-хостов появились в 1997 г. Создатель Пол Викси называл их тогда RBL (черные списки в реальном времени – realtime BL). Затем Eric Ziegast расширил концепцию, сделав проверку IP в DNSBL частью Системы Предупреждения Злоупотребления почтой – Mail Abuse Prevention System (MAPS).

Термин «Блэкхол» – черная дыра – описывает узел, который блокирует входящий трафик вместо того, чтобы пересылать его, как положено. Смысл блэкхолов был в отклонении всего трафика (не только почтового) с узлов, которые тем или иным образом рассылали спам. Перед тем как занести хост в RBL, волонтеры и персонал MAPS пытались связаться с лицами, ответственными за подозрительный сервер, чтобы попытаться исправить ситуацию. Все эти переговоры длились порой очень долго, что позволяло спамерам активно использовать сервер какое-то время.

Вскоре RBL трансформировался и дал возможность проверять наличие IP в DNSBL, блокируя только почтовый трафик на уровне mail-сервера.

Летом 2001 г. из-за многочисленных атак на сервер MAPS закрыло публичную службу DNSBL, что привело к новому витку технологии – вместо хранения черных списков на одиночном узле, был внедрен метод распределяемого формирования антиспам-баз. Он получил название DRBL (Distributed Realtime Blocking List). Подозрительный IP в DNSBL такого типа не только блокируется на почтовом сервере, но и публикуется в т.н. DRBL-зоне DNS провайдера. Таким образом неблагонадежная почтовая корреспонденция не пропускается на сервере, который опознал сообщения как спам, и дает возможность другим почтовым узлам, работающим с этой DRBL-зоной, сразу же отвергать «плохую» почту, не принимая и не обрабатывая ее, что существенно экономит ресурсы сервера. Интернет провайдеры обычно публикуют скомпрометированные IP в DNSBL на короткое время, в то время как частные держатели DRBL-узлов порой более жестоки – они блокируют целые подсетки, в бан попадают пулы адресов по географическому расположению (китайские, японские хосты), а блок-списки обновляются очень редко. В силу этих причин проверка IP в DNSBL отдельных лиц – хозяев DRBL-node – не распространена.

Каждая распределенная DRBL-зона имеет свой «вес», позволяющий оценивать степень доверия к информации, полученной от нее. Этот вес и эффективность конкретного DNSBL оценивается по скорости обновления списков подозрительных источников.

Повышаем репутацию домена, чтобы не попасть в спам лист

Перед рассылкой рекомендуется подготавливать домен, чтобы фильтры сразу не занесли его в черные списки. Для этого собирается и обрабатывается база для исключения ловушек, мертвых адресов, настраиваются технические параметры и регулярно отслеживается статистика для планирования дальнейших действий. Поговорим подробнее о каждом из пунктов.

Сбор базы подписчиков

1. Не собирайте базу ссылок с чужих источников, используйте формы на сайте, анкеты на мероприятиях. Так вы меньше рискуете потерять репутацию и нарваться на спам-фильтры.
2. Используйте на сайтах для сбора двойную проверку (Double Opt-In): сначала пользователь вводит свой адрес, а потом заходит на почту и переходит по ссылки для подтверждения согласия. Во-первых, вы сразу удалите несуществующие e-mail, потому что на них письмо просто не дойдет. Во-вторых, вы отправляете только тем подписчикам, которые действительно хотят получить ваши сообщения. Mail.RU пишет в общих положениях об обязательном использовании именно Double Opt-In, двойной проверке, то есть когда человек однозначно выразил согласие на получение. Некоторые сервисы считают рассылку без Double Opt-In спамной.
3. Single Opt-In — пользователи один раз вводят свой адрес и не подтверждают согласие никакими ссылками в письмах. Такой способ наиболее удобен и в разы увеличивает базу. Однако не факт, что она будет заинтересована в контенте, и вы рискуете оказаться в папке спам, а потом и в глобальных блэклистах. Этим способом могут воспользоваться ваши конкуренты. Им ничего не будет стоить добавить в вашу базу несуществующие адреса, роботов и прочего мусора. Рассылка по таким пользователям сразу выведет вас из строя, а очищение базы займет много сил и времени. Если в ней есть подписчики, адреса которых ввели без их согласия, они будут жаловаться. В итоге, Single Opt-In — это быстрый набор базы, а также хороший способ показать конкурентам слабое место в системе. С Double Opt-In часть этих проблем уходит.
4. Используйте капчу. Она предоставращает подписку роботов, которых могут отправить конкуренты.

Фильтрация базы

1. Фильтруйте базу, чтобы не рассылать контент на несуществующие адреса или давно оставленные пользователями. Отсеивайте дубликаты. Вспомогательные инструменты не очистят мусор полностью, но уберут ошибочных адресатов и ловушки. Статистика с преимущественно живой аудиторией более правдива и эффективна для будущих маркетинговых стратегий.

Начало рассылки

1. Если вы долго ничего не писали подписчикам, то они могли уже забыть о своей подписки. Начинайте рассылку с тех, кто отправил заявку в числе последних. Обязательно указывайте в первом сообщении кто вы и о чем пишите, максимально информируйте людей, чтобы развеять ложные ожидания. Отправляйте контент только тем людям, которые сами попросили об этом.
2. Собранные адреса разделите на группы: mail.ru (list.ru, inbox.ru, bk.ru), gmail.com и yandex.ru.
3. Рассылку начинайте медленно, но верно. Для Яндекса массовой рассылкой считается отправка от 100 писем, Gmail — 50. Отправляйте сначала по минимуму, увеличивая каждый день количество писем на 30%.

Статистика

1. Регулярно проверяйте аналитику по рассылкам. Будьте готовы уменьшать количество, например, если растет число жалоб. Иначе почтовый сервис будет доставлять письма в папке спама или не показывать их вообще.
2. Если в статистике есть графа «Репутация», следите за ее повышением.
3. Аналитика Яндекса на postoffice.yandex.ru подробна и дает понять, что нужно поменять. По ней можно узнать, сколько людей установило личный фильтр или пожаловались до открытия сообщения. Отдельно показывается сколько писем удалено до и после прочтения. Чем меньше непрочитанных — тем интереснее аудитории. Чем больше прочитанных остались в ящике — тем лучше.
4. У Google аналитика есть разделы по рейтингу спама, IP и домен репутации. В первом случае, вы получите отчет, как много людей отметили вашу рассылку спамом. Обычно это сигнал, что письма приходят без согласия пользователя или вы их утомили, а найти кнопку «Отписаться» — сложно.
5. В IP Reputation отслеживается репутация адреса. Нужно, чтобы все колонки были зелеными. Если они становятся желтыми, а все условия выполняются, необходимо обратится к провайдеру с просьбой поменять IP. Domain Reputation показывает репутацию домена.

Похожие записи:

Flight tickets, hotels, car rentals… city break’s season is here. don’t wait, book now! Delivery club доставка еды Service-online.su не работает сегодня? Решение учредителя о продлении полномочий директора Гипнофобия Нужно ли всегда регистрировать договор аренды нежилого помещения