1861 жылы Азамат соғысы басталғанда Смит Иллинойс штатының губернаторы Ричард Йейтс лагерінде көмекші болып қызмет етті. 1861 жылдың 26 желтоқсанында ол 45-ші Иллинойс ерікті жаяу әскер полкының полковнигі болып тағайындалды, бұл дәреже 1861 жылдың 23 шілдесіне артка қайтарылды. Ол өзінің полкін Форт-Генри, Форт-Донельсон және Шило шайқастарында басқарды. 1862 жылы 29 қарашада ол АҚШ еріктілерінің бригадир генерал дәрежесіне көтерілді. 8-ші дивизияның 16-шы корпусының қолбасшылығын алғанға дейін ол бригадаға қысқа уақыт бойы басшылық етті. Улисс С. Грант Виксбургке қарсы соңғы жорығын бастаған кезде Смит 1-бригада, 3-дивизия, XVII корпустың қолбасшылығына тағайындалды. Порт Гибсон шайқасында соғысқан.
Реймонд, Чемпион Хилл және Виксбургке шабуыл жасады. 1863 жылдың маусым айында Виксбург қоршауының ортасында Смит генерал Исаак Ф. Куинбидің орнына 7-ші дивизияның XVII корпусының қолбасшылығына тағайындалды. 1863 жылдың қыркүйегінде Смит 2-ші дивизия, XVII корпус командалығына ауыстырылды және оның дивизиясы Уильям Т. Шерманмен бірге Чаттануганың жеңілісіне көмекке жіберілді. Миссионер Ридж шайқасы кезінде Смит Туннель-Хиллде Конфедерацияның оң жақ флангіне қарсы шабуылдарға қатысты.