Gia đình Anh hùng Lực lượng vũ trang nhân dân, Thiếu tướng Phan Văn Lai có truyền thống yêu nước và cách mạng. Cha và anh trai ông tham gia hoạt động cách mạng từ sớm. Mẹ ông được truy tặng danh hiệu Bà mẹ Việt Nam Anh hùng. Tiếp nối truyền thống gia đình, Thiếu tướng Phan Văn Lai và con trai ông, Thiếu tướng Phan Quốc Thái, đều là những tướng lĩnh của Công an nhân dân.