Анатолий Сердюков родился 8 января 1962 года в Краснодарском крае. Окончил Ленинградский институт советской торговли в 1984 году и юридический факультет Санкт-Петербургского госуниверситета в 2001 году. С 1984 по 1985 год служил в Советской Армии. С 1985 по 1991 - заместитель заведующего секцией, заведующий секцией магазина N 3 Ленмебельторга. С 1991 по 1993 - заместитель директора по коммерческой работе Ленмебельторга. С 1993 по 1993 - заместитель директора АО "Мебель-Маркет", Санкт-Петербург. С 1993 по 1995 - директор по маркетингу АО "Мебель-Маркет". С 1995 по 2000 - генеральный директор АО "Мебель-Маркет".
С октября 2000 года Анатолий Сердюков работал в налоговых органах. В июне 2001 года был назначен заместителем руководителя управления министерства по налогам и сборам России по Санкт-Петербургу, в ноябре 2003 года возглавил управление МНС по Санкт-Петербургу. С марта 2004 года исполнял обязанности министра РФ по налогам и сборам, а 27 июля 2004 года года был назначен руководителем Федеральной налоговой службы.