Анатолию было 9 лет, когда умер отец. Мать, Екатерина Харитоновна, работала швеей-мотористкой. Был старшим мужчиной в доме, воспитывал младшего брата Юрия. Тарасовы жили недалеко от строящегося спортивного комплекса «Динамо», и братья записались в спортивную хоккейную школу «Юный динамовец». Обладая честолюбивым характером, Анатолий быстро стал лидером и капитаном юношеской команды «Динамо» по хоккею с мячом, затем сборной Москвы. В 1937 году Анатолий Тарасов поступил учиться в Высшую школу тренеров при Московском институте физкультуры. При этом пытался сразу же претворить в жизнь полученные знания. До войны играл в футбол, был игроком атаки. В 1939 году занял последнее место в группе «А» в составе одесского «Динамо», в 1940 году — 6-е место с ЦДКА, чемпионат 1941 года, где он играл за ККА, доигран не был. Во время Великой Отечественной войны — капитан, затем майор, по выходе в запас в 1945 — старший майор внутренних войск. В 1945 году был рекомендован армейским футбольным тренером Б. Аркадьевым в наставники в спортивный клуб Военно-воздушных сил Московского военного округа ВВС МВО. Так Анатолий Тарасов стал тренером армейских команд одновременно и по хоккею с шайбой, и по футболу. При этом одновременно был и игроком команды. В 1947 году Тарасов как тренер на несколько месяцев возглавил московский ФК ВВС, уже без него команда заняла последнее место в первой группе чемпионата СССР. Также в 1947 назначен играющим тренером ЦДКА. Был также и игроком команды до 1953 года. Вместе с клубом стал чемпионом СССР по хоккею с шайбой в 1948—1950 гг. Провел 100 матчей, забросил 106 шайб. В 1950 году в семье случилась трагедия — родной брат Юрий погиб в авиакатастрофе в Свердловске. Закончив играть, продолжал оставаться старшим тренером ЦДКА, ЦДСА, ЦСК МО, ЦСКА (вплоть по 1974 год с небольшими перерывами в январе-ноябре 1961 года и июне-ноябре 1970 года). На этом посту выиграл звания: чемпиона СССР 1948—1950, 1955—1956, 1958—1960, 1963—1966, 1968, 1970—1973; Второго призёра чемпионатов СССР 1952—1954, 1957, 1967, 1969 и 1974, Третьего призёра чемпионата СССР 1962. Обладателя Кубка СССР 1954—1956, 1966—1969, 1973; Финалиста розыгрыша Кубка СССР 1953. В 1958—1960 — старший тренер сборной СССР по хоккею с шайбой. В 1961—1972 — тренер сборной СССР (старший тренер — Аркадий Иванович Чернышёв). Под руководством Тарасова, как старшего тренера, сборная СССР становилась: третьим призером ЗОИ(ЧМ) 1960 вторым призером ЧМ 1958,1959 чемпионом Европы 1958-60 В качестве тренера сборной СССР А. В. Тарасов привел сборную команду СССР по хоккею с шайбой к званию чемпиона: Зимних Олимпийских игр 1964,1968,1972 Чемпионатов мира по хоккею с шайбой 1963—1971 Чемпионатов Европы по хоккею 1963—1970 В 1975 году, уже будучи прославленным хоккейным специалистом, принял футбольный ЦСКА, с которым занял 13-е место в Высшей лиге, после чего был уволен. Анатолий Тарасов основал юношеский турнир «Золотая шайба». В 1974 году введен в Зал хоккейной славы в Торонто. В 1997 году в числе первых введен в Зал хоккейной славы Международной федерации хоккея (IIHF). Лауреат международной премии Уэйна Гретцки, вручаемой Залом хоккейной славы НХЛ людям, которые внесли выдающийся вклад в развитие хоккея. Именем Тарасова назван один из дивизионов Континентальной хоккейной лиги. Кавалер орденов Трудового Красного Знамени (1957, 1972), орденов «Знак Почета» (1965, 1968). Похоронен на Ваганьковском кладбище.