En los años siguientes ocupó puestos diplomáticos en Frankfurt, San Petersburgo y París, conociendo de primera mano los asuntos internacionales. De esa época data la maduración de su ideario político nacionalista, a medio camino entre el constitucionalismo y las tradiciones germánicas; y su convicción de que el proyecto de unificación que albergaba para Alemania no debía basarse en la apelación a las masas, sino en el empleo inteligente de la diplomacia y de la fuerza militar. Tales ideas le convirtieron en modelo del político realista apartado de todo idealismo, sensibilidad o prejuicios morales.
Desde que el rey Guillermo I le nombró canciller (primer ministro) en 1862, puso en marcha su plan para imponer la hegemonía de Prusia sobre el conjunto de Alemania, como paso previo para una eventual unificación nacional. Empezó por reorganizar y reforzar el ejército prusiano, al que lanzaría a continuación a tres enfrentamientos bélicos, probablemente premeditados, en todos los cuales resultó vencedor: la Guerra de los Ducados (1864), una acción concertada con Austria para arrebatar a Dinamarca los territorios de habla alemana de Schleswig y Holstein; la Guerra Austro-Prusiana (1866), un artificioso conflicto provocado a raíz de los problemas de la administración conjunta de los ducados daneses y dirigida, en realidad, a eliminar la influencia de Austria sobre los asuntos alemanes; y la Guerra Franco-Prusiana (1870), provocada por un malentendido diplomático con la Francia de Napoleón III a propósito de la sucesión al vacante Trono de España, pero encaminada de hecho a anular a Francia en la política europea, a fin de que dejara de alentar el particularismo de los Estados alemanes del sur.
En política exterior, se mostró prudente para consolidar la unidad alemana recién conquistada: por un lado, forjó un entramado de alianzas diplomáticas (con Austria, Rusia e Italia) destinado a aislar a Francia en previsión de su posible revancha; por otro, mantuvo a Alemania apartada de la vorágine imperialista que por entonces arrastraba al resto de las potencias europeas. Fue precisamente esta precaución frente a la carrera colonial la que le enfrentó con el nuevo emperador, Guillermo II (1888), partidario de prolongar la ascensión de Alemania con la adquisición de un imperio ultramarino, asunto que provocó la caída de Bismarck en 1890.