楊廣在江都設(shè)置的四道場與楊堅在長安設(shè)立的大興善寺、玄都觀交相暉映，成為全國性的宗教思想控制的中心。楊廣曾寫詩夸耀自己在江都設(shè)立的四道場，對自己能延攬到眾多高僧頗為得意。

    然而，也有一些高僧堅決拒絕楊廣的延攬，不愿前往江都四道場任職。如《續(xù)高僧傳》卷一《彭城崇圣道場靖嵩傳》記曰：隋煬昔鎮(zhèn)揚越，立四道場，教旨載馳，嵩終謝遣。及登紫極，又有敕征，固辭乃止。門人問其故，答曰：‘王城有限，動止嚴(yán)難，雖內(nèi)道場，不如物外’。蘇州虎丘山名僧智琰因道盛名高，被楊廣召進慧日道場，后亦以辭疾，得返舊山。江南第一高僧的智覬雖被楊廣延屈至江都。但智覬卻也堅決拒絕進入慧日道場。

    智覬來江都時，慧日己明，楊廣意讓智覬為慧日主持，利用智覬的德望擴大其對江南佛教界的影響。智覬堅辭不受，反倒當(dāng)面提出要回荊湘，于當(dāng)陽縣玉泉山建立自己的精舍。不愿意加人有大隋官方背景的慧日道場，要遠離江都到荊州建立自己自由傳教的天地，這是對楊廣盛情邀請明確表示不予合作。智覬在江都城外住了幾個月，但始終未入慧日道場。其間楊廣仍百般延請，多次派柳顧言往智居處奉送禮物，再作挽留。楊廣稱：弟子一曰恭親，猶以陋薄，不稱宿心。開皇十二年（592年）二月十八日，楊廣致書一封請留，但智覬則反而提出要先回廬山東林寺，并轉(zhuǎn)而請楊廣為東林峰頂兩寺檀越（施主）。楊廣無奈，只得再派柳顧言轉(zhuǎn)達口信：弟子意不欲相去遼遠，脫能旋回，不敢留停，鎮(zhèn)下近山隋樂住止。但智覬仍執(zhí)意離去。三月一日，楊廣又修《重留書》，欲留智覬過完夏天后再發(fā)遣，冀不半途飄露，請就攝山安居度夏，但師不許，嚴(yán)辭謝絕。楊廣對這位固執(zhí)的長者不敢違忤，謹(jǐn)尊宿愿，即命所司發(fā)遣，最后具裝發(fā)遣送智覬覬上廬山。

    智覬入江都僅四個月就遠走荊湘，對楊廣表現(xiàn)出的不合作甚至對立，楊廣都表現(xiàn)出了極大的耐心與智慧。

    然而智覬雖極力疏遠楊廣，卻也沒有忘記利用王者之力來興辦佛事。他離江都時即給楊廣寫信，稱近年寇賊交橫，寺塔燒燼，仰乘大力建立將危。遂使佛法安全，道俗蒙賴，收拾經(jīng)像處處流通，誦德盈衢恩滿路，希望楊廣營造治葺廟宇。楊廣立即回信表示同意，稱廢寺同于火宅，持缽略成空返，僧從無依，實可傷嘆。智覬登上廬山，又述東林寺羨玩忘勞，然山下伽藍偏近驛道，行人歸去頗成混雜，請求楊廣下令寺邊永禁公私停泊。楊廣知道后立即交代有關(guān)方面勒彼州令去公私使命，不得停止。就這樣，師徒二人各有圖謀，互相利用，書信往來不絕，表面看來似乎已成莫逆之交。

    楊廣也一刻沒有放松對智覬大師的拉攏。開皇十二年（592年）三月二十一日，楊廣連修書三封，存問大師道體如何。七月一日，楊廣遣主簿王灌往廬山參省問候，并送鹽米，希望智覬回心轉(zhuǎn)意。但智覬卻于八月八日西去南岳衡山，營建功德參拜恩師慧思之墓。楊廣得知智覬遠云，急忙于十月十日參書一封，云：弟子渡江還，去月初移新住，多有造次，未善安立，來旨勖以法事，實用慚悚，始于所居外援建立慧日道場，安置照禪師以下，江陵論法師亦已遠至于內(nèi)援。建立法云道場，安置潭州覺禪師已下。再次表示要請智到江都道場主持佛法，并催促說：已別遣使迎延，愿預(yù)整歸計。十一月十五日，楊廣再遣親信伏達往潭州奉迎。但智覬未加理會，于十二月回到闊別二十多年的家鄉(xiāng)荊州。一時泮宮道俗延頸侯望，扶老攜幼相趨戒場，垂里戴白云屯講座，聽眾五千余人，旋鄉(xiāng)答地荊襄未聞。智覬即于當(dāng)陽縣玉泉山建立精舍，并重修十住寺，打算在此長住久居。

    智覬大師我行我素，傲慢地拒絕晉王楊廣的累書延屈，當(dāng)然使晉王大丟面子，但楊廣也并未激怒，表現(xiàn)出極高的政治素養(yǎng)和極大的耐心。智覬遠離江都而入荊湘意在擺脫晉王的控制，但終不能擺脫大隋政權(quán)的監(jiān)視，遠離晉王卻也使智覬難以得到晉王的政治庇護。時楊堅在舊陳荊州等地設(shè)置的總管府，雖說總歸晉王節(jié)制，但實際上是直接聽命于朝廷，總管刺史加使持節(jié)，擁有很大的權(quán)力。如令狐熙為桂州總管十七州諸軍事，即有便宜從事之權(quán)，可以朝廷名義任命刺史以下官吏，楊廣號令所達地區(qū)實際上僅限于揚越一隅。

    智覬進入荊湘弘法，果然遇到了麻煩。智覬臨終時給楊廣的遺書中透露了自己在荊州集眾說法時，遭到地方當(dāng)局粗暴干涉的情況：

    于荊州法集，聽眾一千余僧，學(xué)禪三百，州司惶虛，謂乖國式，豈可集眾，用惱官人。胡朝同云合，暮如雨散，設(shè)有善萌，不獲增長，此乃世調(diào)無堪，不能諧和所得。

    法會竟被地方官勒令解散，足見其事之嚴(yán)重。時江南平叛不到兩年，隋對舊陳遺民心存警戒，曾多次下令收繳武器，直到開皇十八年（598年），還下令禁止私造大船，因相聚結(jié)，致有侵害，其江南諸州，人間有船長三丈以上，悉括入關(guān)。智覬因相聚結(jié)了一千余僧，外加學(xué)僧三百，而未經(jīng)官方同意，自然有乖國式。特別是智覬先前與南陳君臣關(guān)系密切而不附隋朝，隋地方官員生怕他以宗教聲望聚眾謀反，他的自由傳教又怎能不使州司惶虛?？梢钥隙ǎ采⒅怯J的法令是地方官依法行事，而決不是秉承晉王的命令。為了尋求政治庇護，智覬寫信請楊廣做玉泉的大檀越，楊廣再次表示同意。楊廣后又寫信給荊州總管達奚儒，請他對智者及所修玉泉寺多加關(guān)照。

    開皇十三年（593年）二月二十二日，楊廣入朝，行至陜州，又遣使送去親筆信往荊州奉迎智，稱自己馳仰之誠與時而積。五月，智覬派弟子奉書報晉王，送上新建玉泉伽藍圖，獻上相傳是外國奉獻給梁武帝的珍貴萬春樹皮袈裟。楊廣收到禮物后即修書一封表示感謝，并附一份豐厚的禮單以示還報。楊廣還在朝見父皇時奏告了自己為安定江南政局而拉攏利用智覬的意圖，楊堅十分重視，于開皇十三年（593年）七月二十三日敕書匾額，賜智覬創(chuàng)辦的精舍名曰玉泉寺，并敬問道體?；实塾P親題金字，對于正遭到麻煩的智覬大師來說，的確是巨大的恩惠，這也正是大師求之不得的。荊州總管王世積隨即到山禮拜，智覬的境況無疑大為改觀了。弟子為大師幫了大忙，因各有所求，已漸疏遠的師徒關(guān)系似乎又熱起來。

    施之以李，報之以桃。楊廣施此恩惠，自然要圖還報，于是更加緊了對智覬的延攬。九月十日，楊廣致書智覬，稱弟子還鎮(zhèn)非久，便愿沿流仰合江都再次邀請智覬往江都。九月二十四日，楊廣又由京師寫信給智覬，稱仰違已久，弛系實深，獻歲非遙，傾遲虔禮，暮春屆節(jié)當(dāng)遣奉侯。不日，又遣統(tǒng)軍魯子譽送信，書稱：秋仲歸蕃，請夏訖沿下，在于拜覲。開皇十四年（594年）九月，楊廣從駕東巡于路又兩次修書存問道體康悆。開皇十五年（595年）正月，楊廣隨楊堅祠泰山后還鎮(zhèn)，即于二十日遣使奉書往迎智覬，稱余春未盡，必希拜覲。楊廣的恩惠和致書累請使智覬再也不好推辭，隨即順流東下，重履江淮。