Рассказ был задуман автором в Экибастузском особом лагере зимой 1950/51. Написан в 1959 в Рязани, где А.И. Солженицын был тогда учителем физики и астрономии в школе. В 1961 послан в «Новый мир». Решение о публикации было принято на Политбюро в октябре 1962 под личным давлением Хрущёва. Напечатан в «Новом мире», 1962, № 11; затем вышел отдельными книжками в «Советском писателе» и в «Роман-газете». Но с 1971 года все три издания рассказа изымались из библиотек и уничтожались по тайной инструкции ЦК партии. С 1990 года рассказ снова издаётся на родине.
Образ Ивана Денисовича сложился из облика и повадок солдата Шухова, воевавшего в батарее А.И. Солженицына в советско-германскую войну (но никогда не сидевшего), из общего опыта послевоенного потока «пленников» и личного опыта автора в Особом лагере каменщиком. Остальные герои рассказа – все взяты из лагерной жизни, с их подлинными биографиями.