Имеем FreeBSD 10.1 RELEASE-p5. В логе следующая ошибка:

# tail -3 /var/log/maillog
Jan 30 10:36:34 server sm-mta[35469]: STARTTLS=client, error: connect failed=-1, reason=sslv3 alert unexpected message, SSL_error=1, errno=0, retry=-1
Jan 30 10:36:34 server sm-mta[35469]: ruleset=tls_server, arg1=SOFTWARE, relay=relay.domain.net, reject=403 4.7.0 TLS handshake failed.
Jan 30 10:36:34 server sm-mta[35469]: t0U7KXsS092332: to=, delay=00:16:01, xdelay=00:00:01, mailer=relay, pri=120694, relay=relay.domain.net. [10.0.0.1], dsn=4.0.0, stat=Deferred: 403 4.7.0 TLS handshake failed.

В файл /et/mail/access добавляем:

Try_TLS:domain.net<---TAB--->NO

Между именем домена и NO обязательно должен быть символ табуляции, а не пробел. Затем:

cd /etc/mail/
make maps
make stop
make start

Убеждаемся что все работает как нужно:

Jan 30 14:52:25 r00zabbix sm-mta[77900]: ruleset=try_tls, arg1=relay.domain.net, relay=relay.domain.net, reject=550 5.7.1 ... do not try TLS with relay.domain.net [10.0.0.1]
Jan 30 14:52:25 server sm-mta[77900]: t0U7KXsS092332: to=, delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30699, relay=relay.domain.net. [10.0.0.1], dsn=2.0.0, stat=Sent (38309900 message accepted for delivery)