В 70-х - 80-х годах прошлого века Балджер руководил ирландской преступной группировкой в Бостоне, которая носила название "Зимний холм". С 1975 года был информатором ФБР, которого спецслужбы использовали для нейтрализации главарей итальянской мафии.
В 1994 году от работавшего с ним агента ФБР, он узнал о готовящемся аресте и пустился в бега. В течение 12 лет Джеймс "Уайти" Балджер числился в списке самых разыскиваемых преступников США. В итоге он был арестован, и ему было предъявлено обвинение в 19 убийствах. Городской фольклор Бостона приписывал Балджеру статус своего рода "Робина Гуда", который защищал местных жителей и зачастую помогал им финансово. Считается, что именно Балджер стал прототипом Фрэнка Костело из фильма "Отступники" Мартина Скорсезе.