繇少有大志，曾对亲戚张说：“宋氏的门户衰落，重担落在了宋繇身上。不胆自厉，何以继承先业！”乃随张到酒泉，从师受业，闭门读书，昼夜不倦，博通经史，诸子百家无所不览。