گویند ابوسعید ابوالخیر درهمى چند اندوخته بود تا به زیارت کعبه رود در زمان با کاروانی همراه شد و چون توانائی پرداخت مزد برای مرکبی نداشت پیاده سفر کرده ودرکاروان خدمت دیگران میکرد تا اجرى بستاند .
وقتى در منزلی فرود آمدند و شیخ برای جمع اوری هیزم به اطراف رفت در زیر درختی مرد ژنده پوشی را با حالی پریشان دید ، از احوال وی جویا شد و دریافت که از خجلت اهل و عیال در عدم کسب معاش به اینجا پناه آورده است وروزى چنداست که خود و خانواده اش در گرسنگی بسر برده اند.
آن چند درهم اندوخته براى حج را بدو داد و گفت برخیز وبراى اهلت معاش فراهم کن . مرد بینوا گفت مرا رضایت نیست تو در سفر حج در حرج باشی تا من برای فرزندانم توشه ای ببرم. شیخ گفت حج من، تو بودی و اگر هفت بار گرد تو طواف کنم به زانکه هفتاد بار زیارت آن بناى سنگى کنم.