Строительство города и замка началось во второй половине 13-го века, около брода через Влтаву, через который пролегал важный торговый путь в Богемии. Впоследствии, поменял несколько владельцев, в числе которых, были род Розенбергов, императоры Рудольф II, Фердинанд II, род Еггенбергов и, наконец, род Шварценбергов, который владел замком до 1945 года. Город стал частью Австрийской Империи в 1806 году и Австро-Венгрии в 1866. В 1910 году в городе проживали 8662 человека, включая 7367 немцев и 1265 чехов. В 1918 году чешские войска заняли город и он оставался частью Чехословакии до 1938 года. В период с 1938 по 1945, был аннексирован нацистской Германией, как часть Судетской области. После Второй мировой войны немецкоговорящее население было выселено и город снова стал частью Чехословакии. Во время коммунистического режима, Крумлов обветшал и пришел в упадок, но после Бархатной революции был в большей степени восстановлен и сейчас является одним из самых популярных туристических центров в Чехии.