Происходил из потомственных дворян Симбирской губернии; родители: Борис Андреевич Шидловский (1884-1942) и Александра Всеволодовна, урождённая Скороходова (1887-1976).
В 1930 году окончил 7 классов средней школы в Ульяновске. После переезда семьи в Москву и окончания ФЗУ несколько лет работал токарем на заводе.
В 1934 году по комсомольской мобилизации был направлен на строительство первой очереди Московского метрополитена, где работал проходчиком и изолировщиком.
После службы в Красной Армии (1936-1937) и окончания вечерней школы поступил в 1939 году на механико-математический факультет Московского университета.
26 июня 1941 года добровольцем ушёл в армию: службу начал младшим топографом на Брянском фронте, а закончил - командиром батареи самоходных артиллерийских установок в Китае.
После демобилизации в 1946 году продолжил учёбу на механико-математическом факультете МГУ, который окончил в 1950 году. В 1953 году окончил аспирантуру, а в 1954 году защитил кандидатскую диссертацию: «О трансцендентности и алгебраической независимости значений целых функций некоторых классов». Его научным руководителем был А. О. Гельфонд.
В годы учёбы в университете и в аспирантуре работал старшим преподавателем в Московском педагогическом институте им. В. И. Ленина, а затем там же - доцентом и профессором по совместительству.
В 1954 году по инициативе А. Я. Хинчина был приглашён на механико-математический факультет МГУ. В 1955 году стал доцентом кафедры математического анализа. Защитил в 1959 году докторскую диссертацию: «Об одном классе трансцендентных чисел».
С 1960 года - профессор кафедры теории чисел. В 1968 - 2001 годах - заведующий кафедрой теории чисел.
За годы работы на механико-математическом факультете МГУ А. Б. Шидловский много лет читал основные курсы математического анализа и теории чисел, специальные курсы по теории чисел: «Арифметические свойства значений аналитических функций», «Диофантовы приближения и трансцендентные числа», «Основы теории чисел», «Алгебраические и трансцендентные числа»; руководил научными семинарами.
Им были подготовлены 15 кандидатов наук, трое из которых защитили докторские диссертации, в их числе Ю. В. Нестеренко.
Научные результаты Андрея Борисовича Шидловского относятся к теории трансцендентных чисел, основные задачи которой состоят в исследовании иррациональности и трансцендентности различных чисел, и в более общей постановке - в доказательстве отсутствия между ними алгебраических соотношений над полем рациональных чисел.
Ряд лет работал заместителем декана механико-математического факультета по учебной работе (1956-1964), был членом Учёного Совета механико-математического факультета, членом экспертной комиссии ВАК СССР.
Похоронен на Введенском кладбище вместе с матерью