古人建书院讲究山川形势，张之洞也不例外。从1886年底开始，张之洞就为书院选址而四处奔波，足迹踏遍了广州东南西北各个角落。

　　他重点考察了七个地方：（一）西关外的广田园，因水过于浅浊、气势不畅，放弃了；（二）西关的海山仙馆，当时海山仙馆的主人、曾富甲一方的广州商人潘氏家族已衰败。张之洞认为此地水道不佳，有水无地，可做园林不可做书院；（三）漱珠岗（现新滘镇五凤乡内），这里地势有些低洼，也不适宜；（四）小蓬莱仙馆（现芳村区新隆沙街一带）交通不便，又离河南岸税关、监关、厘局、海珠缉捕等官衙太近，喧闹吵杂。对于河南，张认为地势不厚，又兼背水，皆不适合做书院；（五）东园（现东山八旗二马路附近）一户人家的废园，因无山水，又离城太近，放弃；（六）大北门外山麓旷地，正南对着城内花塔之尖，放弃；（七）泮塘北的南岸村（现南岸路），地势低洼，常发水灾，不合用。

　　经反复考虑，张最后在“省城西北五里源溪乡地方”选择了一处“云山迤逦，河山环抱，风土清旷，交通便利”的地方。整个书院绿水环抱，外建护校围墙，学子闲时可乘船逆水而上，直至荔枝湾，在成片的荔枝林中读书小憩。后几经变迁，荔枝湾虽不复存在，但广雅校区旧迹古树依然，基本保持着书院原有的布局及规模。