В 1965 году Арнольд достиг призывного возраста и был вынужден пойти служить в армию. С помощью связей своего отца ему удалось попасть в танковую часть и проходить службу в качестве механика/водителя танка. Хотя это и казалось невозможным – Арни был достаточно высоким и был младше 21 года (возраст танкиста был определён уставом военной службы). Как вспоминает сам Арнольд: служба в армии ему не была «противна» и его особенно радовал солдатский рацион, который включал в себя мясо, но он хотел продолжать заниматься бодибилдингом и соорудил подобие штанги, которую хранил в танке во время тактических учений. Армия и спорт слились для Арнольда воедино, и даже когда на полтора месяца их отделение заслали на границу для проведения манёвров, где Арнольду приходилось водить танк целыми днями, принимать участие в починке, заправке, переносе тяжелых бочек с топливом, он хранил в танке штангу и обязательно занимался до подъёма и после отбоя. «Я не могу представить более тяжёлых условий для тренировок и поэтому утверждаю, что найти время и силы для занятий — это вопрос мотивации и заинтересованности. Настоящий атлет всегда, в любой ситуации найдет время и место для тренировок».
Главным итогом службы в армии Арнольд считает существенное наращивание мышечной массы. Механика-водителя из него не получилось, по откровенным признаниям Арни даже однажды умудрился утопить свой танк. Да и вообще военного дисциплинированного человека из него также не вышло: во время прохождения службы он принял решение уйти в самоволку, чтобы принять участие в бодибилдинг-конкурсе «Мистер Европа-65» и не смотря на то, что он вернулся с кубком и почётным званием «Мистера Европы» за это он всё равно попал под военный трибунал и получил соизмеримое проступку наказанию, по одним данным это было два месяца тюрьмы, по другим – две недели гауптвахты.