Mal ein bißchen Theorie:
Von entscheidener Bedeutung ist mit welcher Absenderadresse eine EMail über welchen Mailserver versendet wird.
Der sendene Mailserver muss über den SPF-Record als erlaubter Mailserver für die Absenderdomain eingestellt sein.
Gmail und andere lehnen Emails ab, wo diese Prüfung scheitert!
Wie man einen SPF-Entrag richtig konfiguriert kann man ein einfachsten hier lernen:
Beispiel: Eine Email mit einer gmail-Adresse wird via phpmail() über den Hostingserver versendet. Gmail erkennt, das der Hostingserver kein für Gmail-Adressen erlaubter Mailserver ist und lehnt den Empfang ab. Das kann man eigentlich leicht verstehen.
Komplizierter wird es wenn es Weiterleitungen gibt. Also z.B. sendet ein User eine Email an eine Emailadresse und diese leitet weiter an ein Gmail-Postfach.
Der Gmail-Mailserver "sieht" dann folgendes: Da kommt eine Email von einem Nicht-Gmail-Server (dem Weiterleitungsserver) und - ja, lehnt den Empfang ab.
Diese Problematik kann man mit SRS (Sender Rewriting Scheme) umgehen. Das haben jedoch längst nicht alle Provider auf ihren Mailservern implementiert. Dabei wird die Absenderadresse so "umcodiert" das der Empfänger eine andere Absenderdomain "sieht" - und zwar eine erlaubte Domain des Weiterleitungsservers. Im Zielpostfach selbst sieht der Empfänger jedoch die richtige Absender-Domain und kann auch direkt darauf antworten.
Zur Einstellung im Joomla:
Man sollte immer SMTP benutzen und dabei den SMTP einstellen, der für die eigene Absenderdomain gültig ist. Sendet man also mit einer Gmail-Adresse, muss man den Gmail-SMTP benutzen, bei einer T-Online-Adresse den T-Online SMTP usw.
phpmail() sollte man gar nicht benutzen und sendmail auch nicht (es Serverkonfigurationen geben, wo man das allerdings nutzen muss).
Zusätzlich zum SPF-Record ist auch ein DMARC und DKIM-Record sinnvoll. Letzteres (DKIM) ist muss inder DNS und auf dem Mailserver eingerichtet werden. Alles zusammen verbessert die Reputation einer Domain.
Die ganze Mailproblematik ist nicht so trivial wie man oft denkt. Und es gibt Abhängigkeiten aufgrund der Serverkonfiguration, weshalb man keine 100% allgemeingültige Einstellung vorgeben kann. Normalerweise sollte der eigene Provider hier der Ansprechpartner sein.