Mail flow Issue Stuck in queue : LED=451 4.4.395 Target host responded with error 421 4.4.1 Connection timed out

Hello All

Hope you are doing great, Today i would like to share one of the issue which i faced during the email flow in exchange 2016 hybrid environment 

Issue : 

Exchange onprem mailbox  users are unable to send email to Exchange online users 

Upon checking  the queue status was RETRY towards Microsoft

=========================================================================

[PS] C:\Windows\system32>Get-Queue

Identity          DeliveryType         Status MessageCount Velocity RiskLevel OutboundIPPool NextHopDomain

--------          ------------         ------ ------------ -------- --------- -------------- -------------

cmex01\8          DnsConnectorDelivery Retry  3            0        Normal    0              cloudfield.mail.onmicro...

cmex01\Submission Undefined            Ready  0            0        Normal    0              Submission

=========================================================================

 [{LED=451 4.4.395 Target host responded with error. -> 421 4.4.1 Connection timed out};{MSG=};{FQDN=cloudfield-mail-onmicrosoft-com.mail.protection.outlook.com};{IP=104.47.74.202};{LRT=12/26/2023 1:14:07 PM}]

=========================================================================

[PS] C:\Windows\system32>Get-Queue -Identity 8 | fl

RunspaceId                       : 9a69c9e7-9df9-405d-952b-7f0346041063

DeliveryType                     : DnsConnectorDelivery

NextHopDomain                    : cloudfield.mail.onmicrosoft.com

TlsDomain                        :

NextHopConnector                 : d8393015-ff2a-425f-a169-f06db5778052

Status                           : Retry

MessageCount                     : 3

LastError                        : [{LED=451 4.4.395 Target host responded with error. -> 421 4.4.1 Connection timed out};{MSG=};{FQDN=cloudfield-mail-onmicrosoft-com.mail.protection.outlook.com};{IP=104.47.74.202};{LRT=12/26/2023 1:14:07 PM}]

RetryCount                       : 2

LastRetryTime                    : 12/26/2023 1:14:07 PM

NextRetryTime                    : 12/26/2023 1:15:07 PM

FirstRetryTime                   : 12/26/2023 1:12:06 PM

DeferredMessageCount             : 0

LockedMessageCount               : 0

LockedScopes                     :

MessageCountsPerPriority         : {0, 3, 0, 0}

IncludeInSlaCount                : 0

DeferredMessageCountsPerPriority : {0, 3, 0, 0}

RiskLevel                        : Normal

OutboundIPPool                   : 0

NextHopCategory                  : External

IncomingRate                     : 0.02

OutgoingRate                     : 0.02

Velocity                         : 0

OverrideSource                   :

QueueIdentity                    : cmex01\8

PriorityDescriptions             : {High, Normal, Low, None}

Identity                         : cmex01\8

IsValid                          : True

ObjectState                      : New

=========================================================================

Resolution

Found the SMTP service was disabled in my exchange hybrid certificate . i suspect, this issue could be happened after i changed my public IP , but no clue, how my SMTP service disabled in my cert.

After enable the SMTP service, email flow started between Exchange server users and Exchange online.

Enable-ExchangeCertificate -ThumbPrint "thumbprint of the  my hybrid certificate" -services SMTP

I believe, this DNS error code must be helpful for messaging admins during the troubleshoot. Happy Learning 😃