杨素不是绍兴人，但他与绍兴的渊源颇深。史载他字处道，弘农华阴（今陕西华阴市）人，少落拓，有大志，不拘小节。善属文，工草隶，颇留意风角。美须髯，有英杰之表。北周时，拜车骑大将军，封县公。助隋文帝禅位，累迁上柱国、尚书左仆射、仁寿宫大监，越国公。

隋开皇八年（588）冬，晋王杨广统率50万兵马，分五路向南朝陈发动总攻，杨素率新建的长江水师直趋建康。第二年就消灭陈朝，统一了南方。隋王朝在江南推行均田制，很大程度上抑制了江南士族、地方豪强对土地和人口等的占有；推行郡县制，又几乎全部罢黜了陈代的旧官吏，江南官吏普遍被北方人所取代。当时江南民间纷纷谣传，隋王朝将把江南人民迁徙到北方去……于是，江南大乱。

史籍记载，开皇十年（590），江南豪族接连起兵反隋。吴州（今绍兴市）的高智慧、苏州（今江苏省苏州市）的沈玄侩、婺州（今金华市）的汪文进等先后起兵反叛并自称天子。江南叛军非常凶残，据《资治通鉴》卷一七七“隋纪一”中记载，战火迅速燃遍了“陈之故境”，叛军一旦擒获县令官长，“或抽其肠，或脔其肉食之，曰：更能使侬诵《五教》耶！”无论是凶残程度，抑或是军事实力，吴州高智慧更胜一筹。史籍记载其占据钱塘江东岸建立营寨，周围百余里；另有水军，战船遮江蔽日……。高智慧自立为王，置建百官，并与其他叛军互通声气，气焰非常嚣张。

面对群起的叛军，隋文帝派杨素为行军总管率军讨伐。杨素这个人，在历史上争议不少：他的身上笼罩着显赫的文化光环——隋朝著名诗人，其《山斋独坐赠薛内史》诗曰：“岩壑澄清景，景清岩壑深。白云飞暮色，绿水激清音”，意境超俗悠远；但他更是一位杰出的军事家、一代名将，他甚至被后人誉为“中国历史上最冷血的名将”。

当时，杨素率部在扬子津渡江，三下五除二就平灭了江苏境内的叛乱。他采纳了部将来护儿的建议，先遣其率轻舸数百悄然渡江，突袭高智慧营寨，纵火焚烧，烟焰满天，把“偷袭、火攻、强攻”等战术全部用上，高智慧大败，逃往海上。之后，杨素迅速平定婺州、温州、高州等地的叛乱。犹如惊弓之鸟的高智慧，率残部投奔泉州叛将王国庆，但最后还是被当成见面礼送给了杨素，被斩首于泉州。杨素因功封越国公，镇守越州，是第一位隋王朝驻越州的官员。

史载，越国公杨素镇越时，曾修小城为子城，周5千米许；增筑罗城，周12千米余。据推测，杨素进驻越州在开皇十年（590），修筑城池该在此年或以后数年内。

子城西北两面以卧龙山为城，不设壕堑。东南两面建城垣，东面高2丈2 尺，厚4丈1尺；南面高2丈5尺，厚3丈9尺。设城门五，其中陆门四，为镇东军门、秦望门、常喜子城门和酒务桥门；水门一，为酒务桥北水门。罗城是在越国大城的基础上扩建的。城不为壕，四面筑有城垣。东面高2丈4尺，厚3丈；西面高2丈6尺，厚1丈8尺；南面高2丈1尺，厚1丈8尺；北面高2丈2尺，厚2丈6尺。

设城门九；东曰都赐门（有都赐埭）、曰五云门；东南曰东郭门（有东郭埭）、曰稽山门；正南曰殖利门（有南埭）；西南曰西偏门（有陶家埭）、曰常喜门（州城至此与子城会，门在其上）、正西曰西郭门；北曰三江门。罗城是子城的屏障，供军事守备之用。这是越国筑城之后第一次有记载的城垣修建，基本确定了绍兴古城的轮廓。

《隋书》评杨素“积恶余殃，信非徒语。多行无礼必自及，其斯之谓欤”，但其在绍兴修小城，筑罗城，的确是做了一件功不可灭的大事，在绍兴城建史上地位重要，意义深远。