Postfix: blacklist unix-experience

Hello,

Suite à l'augmentation du SPAM dans ma boîte mail, malgré un spamassassin correctement configuré et à jour, du DKIM, du SPF, des vérifications de domaine strictes, etc... le SPAM arrive régulièrement à passer mes filtres standard. J'ai donc commencé à constituer une blacklist des domaines venant polluer mes domaines.

Pourquoi consistuer ma propre blacklist et non utiliser une existante ? Effectivement il serait possible d'utiliser RBL ou une blacklist fournie par une ensemble d'utilisateurs "certifiés", le problème c'est que ce genre de blacklist contient parfois des faux-positifs, que ce soit parce que les domaines ont été émetteurs de SPAM à cause d'une erreur de configuration de la part de l'équipe système ou parce qu'il se sont fait pirater des postes. J'ai préféré repartir de zéro et monter ma propre blacklist, ne recevant pas non plus 500 mails de spam par jour sur mes MX mais plutôt une dizaine grand maximum, ce qui se traite assez facilement.

Je vous proposer donc ci-joint une blacklist non exhaustive de quelques émetteurs de SPAM un peu gênants, qui plus est, directement utilisable avec une postmap postfix

Postfix: supprimer les mails d’un utilisateur de la queue

Il se peut que dans certains cas vous soyez spammé par un utilisateur spécifique. Dans ce cas il peut être intéressant de supprimer tous les mails dans la queue provenant de cet utilisateur afin de prévenir une saturation de vos boîtes.

La commande suivante permet de supprimer tous les mails provenant d'un utilisateur et affiche le nombre de mails supprimés en fin de commande.

mailq | grep -v '^ *(' | awk 'BEGIN { RS = "" } { if ($7 == "spammer@gmail.com")print $1 }' | tr -d '*!' | postsuper -d -

L'utilisation du grep s'avère judicieuse plutôt qu'un tail, cela permet de gagner du temps en traîtant le mail à la lecture de la queue et non après une lecture complète de celle-ci.

[Serveur Dédié] Serveur Mail

Introduction

Dans cette article nous allons voir la mise en place d’un serveur mail utilisant OpenSMTPD comme service SMTP et Dovecot en tant que service IMAP ainsi que Roundcube comme webmail.

OpenSMTPD a été vu dans un précédent article.

Dovecot est un service permettant la mise en place de serveur imap ou pop3. Dovecot a été vu sur ce site sur ce lien.

Nous allons présenter la configuration de OpenSMTPD ainsi que celle de Dovecot puis nous détaillerons les modifications qui on été nécessaires au fonctionnement des deux services ainsi que son utilisation d’un point de vue utilisateur via le déploiement de Roundcube sur un serveur web Nginx hébergé  par FreeBSD 9.2. Continuer à lire

Postfix: support natif de SPF

La vérification SPF permet de s'assurer que le MTA distant a bien le droit d'émettre pour un nom de domaine donné.

SPF se base sur un enregistrement TXT à la racine du domaine émetteur définissant des autorisations d'émissions comme par exemple autoriser certaines IP à émettre et interdire les autres, autoriser les MX à émettre, refuser tous les serveurs, etc.. Vous trouverez plus d'informations sur SPF sur www.openspf.org

Mise en place avec Postfix

Dans beaucoup d'articles, comme ceux d'Ubuntu, de HowtoForge ou de quelques autres articles bien rankés sur Google vous verrez l'utilisation d'un appel PERL ou Python postfix-policyd-spf.

Si vous êtes utilisateur de FreeBSD ou que vous compilez vous-même vos programmes, vous n'avez plus besoin d'utiliser ces appels PERL qui peuvent s'avérer assez lourds sur une machine sollicitée. Il existe un patch pour Postfix, inclus dans le port FreeBSD, et peut être dans d'autres systèmes packagés, permettant d'activer une fonctionnalité native permettant de faire les vérifications SPF, évitant donc l'appel à un programme externe, qui plus est en PERL ou en Python et offrant donc un gain non négligeable de ressources processeur et mémoire.

Ce patch est fourni par libspf2.org, vous le trouverez ici.

Si vous effectuez une compilation via les ports FreeBSD ou Poudrière, il suffit de cocher l'option suivante:

Postfix SPF optionUne fois cette option activée, il suffira d'ajouter l'option reject_spf_invalid_sender dans l'option smtpd_recipient_restrictions de Postfix afin de vérifier l'enregistrement SPF associé à un domaine. Postfix s'occupera de faire les vérifications et de rejeter le mail si la politique SPF du domaine le demande.

Liens utiles

http://www.openspf.org/SPF_Record_Syntax

Postfix & OpenDKIM: authentification du domaine émetteur de mails

Le protocole DKIM permet d'authentifier le serveur d'envoi SMTP auprès de différents pairs externes, ainsi que la provenance d'un mail.

Il s'appuie sur un enregistrement DNS de type TXT et deux en-têtes mail:

  • L'enregistrement DNS contient un ensemble d'options DKIM, dont la clef publique du serveur SMTP.
  • L'en-tête DKIM-signature authentifie le mail en lui attribuant une signature et un timestamp
  • L'en-tête DKIM Authentication-Result contient le résultat de la vérification DKIM

OpenDKIM est un démon écrit en C qui s'interface avec les MTAs courants (Postfix, sendmail...). Il offre la possibilité de signer les mails relayés mais également de s'assurer de l'authentification des domaines distants, si ceux-ci l'offrent.

Installation

Nous installerons OpenDKIM sur un serveur FreeBSD 9.3.

Pour les utilisateurs de Linux/Debian voici les paquets à installer:

apt-get install opendkim opendkim-tools

Voici les options que nous avons mis sur notre Poudriere (port mail/opendkim)

opendkim-optionsIl y a ici quelques options intéressantes:

  • query_cache: cela permet d'optimiser le temps de réponse si votre serveur reçoit beaucoup de mail en mettant en cache les réponses DNS des enregistrement TXT consultés pour l'authentification
  • stock_resolver: cela permet d'utiliser le résolveur DNS système au lieux d'utiliser la librairie unbound.

Préparation d'OpenDKIM

Afin de configurer proprement OpenDKIM nous allons créer un répertoire qui permettra de sécuriser une partie des configurations et lui indiquer des droits

mkdir /usr/local/etc/mail/opendkim.d
chmod 700 /usr/local/etc/mail/opendkim.d
touch /usr/local/etc/mail/opendkim.d/InternalHosts
touch /usr/local/etc/mail/opendkim.d/KeyTable
touch /usr/local/etc/mail/opendkim.d/SigningTable
touch /usr/local/etc/mail/opendkim.d/ExternalIgnoreList
chmod 600 /usr/local/etc/mail/opendkim.d/{InternalHosts,KeyTable,SigningTable,ExternalIgnoreList}
chown -R mailnull /usr/local/etc/mail/opendkim.d/

Configuration d'OpenDKIM

Dans un premier temps nous allons modifier la configuration globale d'OpenDKIM afin d'offrir de la scalabilité au démon. Ouvrez le fichier /usr/local/etc/mail/opendkim.conf (/etc/opendkim.conf pour Debian) Dans un premier temps nous allons modifier les options système d'OpenDKIM.

AutoRestart Yes
DNSTimeout 5
Syslog Yes
Socket inet:10025@127.0.0.1
QueryCache Yes
Selector default
  • AutoRestart: OpenDKIM redémarrera les filtres qui planteraient
  • DNSTimeout: modifiez cette valeur si votre DNS répond très rapidement afin qu'une requête DNS en attente ne pénalise pas le temps de traitement du démon
  • Syslog: activez les logs dans le syslog
  • Socket: on demande ici au milter OpenDKIM d'écouter sur le port 10025 de l'interface de loopack afin que Postfix puisse l'interroger
  • QueryCache: active le cache des enregistrements DNS DKIM, évitant d'interroger plusieurs fois les DNS pour le même nom de domaine si le TTL n'a pas expiré
  • Selector: le sélecteur a utiliser par défaut pour signer les mails. Il ne sera pas utilisé dans notre configuration mais il faut quand même décommenter la ligne

Configuration des signatures et clefs

Toujours dans le fichier opendkim.conf, modifiez les lignes suivantes:

ExternalIgnoreList     refile:/usr/local/etc/mail/opendkim.d/ExternalIgnoreList
InternalHosts           refile:/usr/local/etc/mail/opendkim.d/InternalHosts
KeyTable                 refile:/usr/local/etc/mail/opendkim.d/KeyTable
SigningTable            refile:/usr/local/etc/mail/opendkim.d/SigningTable

Chaque fichier a un rôle bien précis:

  • ExternalIgnoreList: il s'agit des noms de domaine que vous ne souhaitez pas vérifier
  • InternalHosts: Les hôtes qui seront signés par OpenDKIM
  • KeyTable: La définition des associations domaine/sélecteur DKIM/clef privée
  • SigningTable: La définition des adresses mails et leurs clefs de signatures associées

Dans un premier temps nous allons créer une clef privée pour notre domaine

opendkim-genkey -b 1024 -d unix-experience.fr -s unixselector

Les options présentées ici sont les suivantes:

  • -b: longueur de la clef privée
  • -d: nom de domaine à signer
  • -s: nom du sélecteur que l'on souhaite créer (par défaut, default)

Cette commande a généré une clef de 1024 bits pour le domaine unix-experience.fr et le sélecteur unixselector. Vous trouverez la clef privée au même endroit dans unixselector.private et l'enregistrement DNS au format named dans le fichier unixselector.txt. Note: si vous souhaitez dire aux vérificateurs DKIM que vous êtes en période de tests et qu'il ne faut pas réagir tout de suite aux négatifs, rajoutez t=y; dans l'enregistrement TXT. Configurez la liste des hôtes qui devront être signés en indiquant des hôtes, réseaux, noms de domaine dans le fichier InternalHosts (un par ligne), puis la définition de notre clef de signature en éditant le fichier KeyTable.

unixkey unix-experience.fr:unixselector:/usr/local/etc/mail/opendkim.d/unixselector.private

Le premier champ est un champ administratif donnant un nom à notre association domaine/sélecteur/clef. Les suivants sont le nom de domaine, le nom du sélecteur et enfin le chemin vers la clef privée. Pour finir ouvrez le fichier SigningTable et ajoutez l'entrée suivante:

*@unix-experience.fr unixkey

Cette dernière définition dira a OpenDKIM d'utiliser les données de la clef d'identifiant unixkey pour signer toutes les adresses en @unix-experience.fr. La configuration est désormais terminée, vous pouvez lancer le service

service milter-opendkim start

Intégration Postfix

Il faut maintenant intégrer le milter avec Postfix. Nous utiliserons donc un milter. Dans le fichier main.cf de Postfix, ajoutez les lignes suivantes:

milter_default_action = accept
milter_protocol = 6
smtpd_milters = inet:127.0.0.1:10025
non_smtpd_milters = inet:127.0.0.1:10025

Si vous avez déjà déclaré des milters, il suffira d'ajouter OpenDKIM à la liste:

smtpd_milters = inet:127.0.0.1:9999, inet:127.0.0.1:10025
non_smtpd_milters = inet:127.0.0.1:9999, inet:127.0.0.1:10025

Redémarrez ensuite Postfix

Test du fonctionnement du mode vérification

Pour tester le fonctionnement du mode vérification, il suffit de recevoir un mail depuis un domaine qui utilise DKIM, comme twitter ou gmail (depuis l'interface web). Regardez ensuite les logs de votre serveur mail (maillog) et l'en-tête du mail reçu:

Authentication-results: smtp.unix-experience.fr; dkim=pass reason="2048-bit key" header.d=twitter.com header.i=@twitter.com header.b=olq1OOXA; dkim-adsp=pass

En ce qui concerne la signature, envoyez simplement un mail vers l'extérieur, OpenDKIM dira dans les logs qu'il l'a signé. Sur le récepteur vérifier que l'en-tête DKIM-signature est présent.

Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=twitter.com; s=dkim-201406; t=1207824973; bh=EUbu+JkDns2Bi4JPLANga1BmZxXRVX4W9RvqRWa1Dss=; h=Date:From:To:Subject:MIME-Version:Content-Type:List-Unsubscribe: Feedback-ID:Message-ID; b=ZMpJ9qh/SYhUzQ9wOovUugK56y1vJ0af/ZbMc4zm/IJrPKiMjqPmbTZ0RqT5aN9PN b98bnb8VI1NjL5ry6uJBAMEzWyLud0Fj6KFV1KPkwxqPrwioJsv/4BDE5o8lGRu//+ 9sSlIcHdHKYxX1cDH1rvnqUKjtCzxFgBFj+ySrNHFxUM0yaoTmGK2fU/uuYTQS1Q8s akZ8MxMmlcOXOM4D96aMH6I50+I8qlaAmGeK3frT0VR4o3vnpmRlVi5UGxiPAPx5jS n8MY5nVYQJHbOUDAgpceguEFPd7AqAqOw5QfkM+aIbfkOR8Di/y8SGi8BYbd3KJaz6 7ag/YEAatKmrQ==

Sources

Script: import de mails d’une boîte à une autre

Suite à un besoin particulier consistant à importer certains mails depuis ma boîte GMail, qui est plus une boîte à réception de SPAMs qu'autre chose, j'ai conçu un script python qui permet de déplacer des mails d'un compte, suivant un filtre IMAP, vers un autre compte IMAP. Ce script utilise la librairie native imaplib. Celui-ci prend en paramètres un ensemble de stratégies nommées. Chaque stratégie est définie par un compte IMAP source, un compte IMAP destination et un ensemble de filtres ayant pour paramètres:

  • Un filtre IMAP pour la source
  • Un répertoire de destination
  • Un booléen définissant si vous souhaitez détruire les messages sources Note: si vous utilisez ce script dans un cron il convient alors de les détruire de la source auquel cas les mails seront dupliqués dans la destination

Le script est sous licence BSD, vous pouvez donc en faire ce que vous voulez, du moment que vous respectez la licence. Vous le trouverez à jour sur Github. Et la copie locale du script ici même:

# -*- coding: utf-8 -*-

"""
Copyright (c) 2014, Ner'zhul
All rights reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions are met:

* Redistributions of source code must retain the above copyright notice, this
  list of conditions and the following disclaimer.

* Redistributions in binary form must reproduce the above copyright notice,
  this list of conditions and the following disclaimer in the documentation
  and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
"""

import imaplib, email, time

moveRules = {
    "GMAIL-TO-EXAMPLE": {
        "server": "imap.gmail.com",
        "port": 993,
        "login": "sourcelogin",
        "password": "sourcepwd",
        "dest_server": "imap.example.org",
        "dest_port": 993,
        "dest_login": "destlogin",
        "dest_password": "destpwd",
        "filters": [
            { "imap_filter": 'HEADER FROM @plus.google.com', "dest": "Informatique.Sites Internet.Google Plus", "mark_deleted": True },
        ]
    }
}

for importRule in moveRules:
    print "Executing rule %s" % importRule

    print "Connect to %s" % importRule["server"]
    conn = imaplib.IMAP4_SSL(importRule["server"],importRule["port"])

    try:
        print "Login to %s" % importRule["server"]
        conn.login("%s" % importRule["login"],"%s" % importRule["password"])
    except:
        print "Failed to login to %s !!!" % importRule["server"]
        exit()

    print "Connect to %s" % importRule["dest_server"]
    conn2 = imaplib.IMAP4_SSL("%s" % importRule["dest_server"],"%s" % importRule["dest_port"])

    try:
        print "Login to %s" % importRule["dest_server"]
        conn2.login("%s" % importRule["dest_login"], "%s" %importRule["dest_password"])
    except:
        print "Failed to login to %s !!!" % importRule["dest_server"]
        conn.logout()
        exit()

    conn.select()
    conn2.select()

    for importFilter in importRule["filters"]:
        mbExists = conn2.select("%s" % importFilter["dest"])
        if mbExists[0] != "OK":
            print "Mailbox %s doesn't exists, cannot apply this filter !" % importFilter["dest"]
            continue
        typ, data = conn.search(None, '(%s)' % importFilter["imap_filter"])
        msgList = data[0].split()

        print "Copying %s messages. Please wait..." % len(msgList)
        for msgId in msgList:
            typ, data = conn.fetch(msgId, '(RFC822)')
            print "Copying message from %s" % email.message_from_string(data[0][1])["From"]
            conn2.append("%s" % importFilter["dest"],
                '',
                imaplib.Time2Internaldate(time.time()),
                str(email.message_from_string(data[0][1]))
            )

            if importFilter["mark_deleted"] == True:
                # Mark mail as deleted
                conn.store(msgId,'+FLAGS','\\Deleted')

        print "%s messages imported." % len(msgList)

    # Clear all the DELETED flagged mails
    conn.expunge()

    # And now close the connection
    conn.close()
    conn.logout()
    conn2.select()
    conn2.close()
    conn2.logout()