Heureusement pour moi, et pour vous j'ai réussi à trouver une solution.
Celle-ci n'a rien de méchant. En réalité, avec Apache on peut préciser un certificat intermédiaire grâce à SSLCACertificateFile qui permet de vérifier la validité du certificat à un serveur tiers.

Mais dans le cas de Nginx, il faut l'ajouter à la suite du certificat qu'ils vous ont délivré.

Pour télécharger le certificat intermédiaire, veuillez suivre les instructions sur cette page du wiki de Gandi. Si vous êtes directement en ligne de commande, pas besoin d'ouvrir les fichiers avec vim. Lancez la commande suivante :

cat GandiStandardSSLCA.pem >> domain.tld.crt

Pour finir, voici ma config dans mes vhost pour intégrer le certificat SSL à Nginx :

ssl on;
ssl_certificate         /etc/nginx/ssl/domain.tld.crt;
ssl_certificate_key     /etc/nginx/ssl/domain.tld.key;
ssl_verify_client       off;
ssl_session_timeout     5m;

Bien sûr, n'oubliez pas de redémarrer Nginx.

Source : http://wiki.gandi.net/fr/hosting/using-linux/tutorials/ubuntu/ssl