Le deuxième congrès de l'Internationale Communiste se tint du 19 juillet au 7 août 1920, à Moscou, comme de fait tous les futurs congrès. Après le congrès du lancement l'année précédente, ce congrès devait être celui de l'organisation.

L'Internationale Communiste était en effet formellement constitué, mais le premier congrès avait repoussé les tâches d'organisation, pour des raisons pratiques : la Russie révolutionnaire subissait encore le blocus, restant des mois entiers sans recevoir la presse extérieure, et sans bien entendu que les responsables communistes des autres pays puissent se déplacer à Moscou.

De plus, il était évident effectivement qu'il existait des erreurs d'interprétation quant aux conceptions de Lénine, et il fallait les rectifier. Le danger était à la fois une déviation « gauchiste », en mode « ultra », et de l'autre côté une rupture inconséquente avec le légalisme, le parlementarisme, le réformisme.

Aussi, Lénine donna le ton : il s'agissait pour lui de réfuter le « centrisme » et de rejeter tous ceux qui n'assument pas la rupture avec le réformisme. Il est impossible de rejoindre l'Internationale Communiste sans un processus de rupture complète, et ce à court terme.

Chaque Parti, pour adhérer à la IIIe Internationale, devait au plus tard 4 mois après le IIe Congrès, organiser un congrès extraordinaire et exclure du Parti tous ceux de leurs membres qui repoussent les exigences pour cette adhésion.

Ces exigences furent par la suite connues sous le nom de « 21 conditions » ; c'est ce processus qui amena au congrès de Tours et à la naissance du Parti Communiste – Section Française de l'Internationale Communiste, issu de la majorité de la Section Française de l'Internationale Ouvrière.

Le même processus se déroula avec le Parti social-démocrate de Tchécoslovaquie, où une majorité écrasante adopta les 21 conditions et se constitua en Parti Communiste ; en Allemagne, au Congrès de Halle, la majorité du Parti social-démocrate indépendant d'Allemagne se prononça pour l'adhésion à l'Internationale Communiste et fusionna avec le K.P.D. (Union spartakiste).

Les restes de la seconde Internationale finirent définitivement par se décomposer, et apparut alors une « Union Internationale des Partis Socialistes », communément appelée « l'Internationale 2 ½ », parce que, dans toutes les questions, elle oscillait entre la IIe et la IIIe Internationales.

L'Internationale Communiste amena ainsi une unification politique et idéologique, un développement sur le plan de l'organisation. Le Parti devait être sévèrement centralisé et prendre le nom de « Parti Communiste de [le nom du pays] (section de l'Internationale Communiste) ».

Le Parti Communiste rejoignant le « komintern » (abréviation de l'Internationale Communiste en russe) existe, de fait, en tant que « section » locale de l'organisme supérieur qu'est l'Internationale Communiste. Celle-ci se charge de superviser directement les Partis Communistes dans chaque pays. Cela signifie qu'en pratique l'Internationale Communiste devient l'état-major de la révolution mondiale.

Cela a comme conséquence la formation d'un immense appareil d'organisation, avec pour chaque pays un responsable chargé de superviser le Parti Communiste en question. Toutes les décisions de chaque Parti Communiste sont évaluées, contrôlées, le tout étant supervisé par des départements d'organisation, d'agitation et de propagande, d'information.

Cela signifie tout un appareil de cadres, d'équipe de traduction et de dactylographie, de publication, de courrier, etc.

Tous les cadres des Partis Communistes de chaque pays voient également leurs données enregistrées et vérifiées ; chaque Parti Communiste doit se soumettre à l'Internationale Communiste concernant les directives et les exclusions prononcées.

A cela s'ajoute l'exigence faite par l'Internationale Communiste que chaque Parti Communiste établisse une organisation clandestine, parallèlement au travail légal mené. L'Internationale Communiste elle-même dispose d'un tel appareil, en plus de gérer des rencontres régulières entre responsables des Partis Communistes et l'Internationale Communiste, en particulier bien sûr pour l'Europe.