楊素能娶到白氏都是因為一個偶然。
他原不是長安人，而是偏僻鄉野的窮小子。偶然間經富親戚的資助才進到長安得了個生員的名額。那富親戚正是自己的族兄，也就是安夫人的夫婿，他的官說大不大，說小不小，卻能讓他從老遠的荒原來到繁花似錦長安。
楊素在途中遇上的白氏。
他來長安的路上，某天夜裡寄宿在街頭，被白氏撿到了。當時他身上破破爛爛的又沒個大子兒，被白氏當作叫花子領回自己家了。“喂，你是叫花子嗎？”
寒冬臘月裡，她凍得畏畏縮縮地還是遞給他點吃的。
楊素本餓得不行了，但還是說：“我不是，只是過路的罷了。”
“這裡冬天冷的很，不如跟我家去吧。”
楊素耳根發燒，但為了活著還是跟她走了。
白氏住的地方很簡陋，一張灶臺，兩間屋子，還有個破桌子。
“你就睡這吧，我哥去城裡了，他不住這的。”
“你叫什麼名字？將來我若發達了，定會好好報答。”
“我在白家做個針線使女，他們都叫我蠻子。這就是我的姓名了。”
白氏是個俊俏姑娘，給老白家當了丫頭，才有了姓。名呢，東家沒給她取，所以為了省事就管她叫蠻子了。聽說她一家都是打從百越之地來的，百越那裡還未開化，全是些蠻人，因此老白家就叫她蠻子了。
“下大雪了，在這留幾天吧。”
外面積了厚厚的雪，把道隱去了，“看來我也沒法趕路了。”
蠻子好心說：“不如見見我家主人吧，他們正缺人手，你在那打幾天零工，很快就攢齊了路費。”
楊素點點頭，當天就跟了她去白家見人。
白家主人擺著款，“你叫什麼名？家是哪的人啊？”
“楊素，常山人。我是個過路的，沒錢當路費，只好來您這幫幫工了。”
他故意拉著長音，“你想幹什麼活計啊？”
“我是個讀過書的，就讓我寫點帖子之類的吧。”