Die index.php des Templates ist in aller Regel schon die richtige Stelle. Manchmal kann man das auch irgendwo im Backend im entsprechenden Template/Framework direkt eintragen. Bietet aber nicht jedes Template. Egal!
Dein Tag-Script ist bereits auf der Webseite vorhanden.
Von GA kann ich noch nichts erkennen. Da ich diesen Google-Tag-Manager noch nie verwendet habe, weiß ich nicht, wie er genau funktioniert. Vermutlich musst du den noch einstellen/anpassen, oder aber das GA-Script ist noch einzubinden?!?
Allerdings: Du nutzt sehr viel von Google. Aus datenschutzrechtlicher Sicht musst du da einiges beachten. Ich würde da eher "abspecken". Matomo (früher PIWIK) wurde ja beispielsweise auch schon als Alternative zu GA genannt.
Googe Recaptcha könnte man durch HCaptcha ersetzen oder nimm ECC+.
EDIT: Joomla am besten auch gleich aktualisieren, also auf die aktuelle 3.10.8 (nach Erstellung eines funktionstüchtigen Backups)!