Se afirma que fue alrededor del año 403, a la edad de 16 años, que cayó prisionero de piratas junto con otros jóvenes para ser vendido como esclavo a un pagano del norte de Irlanda llamado Milcho. Lo sirvió cuidando ovejas. Trató de huir varias veces sin éxito.
La Divina Providencia aprovechó este tiempo de esclavitud, de rudo trabajo y sufrimiento, para espiritualizarlo, preparándolo para el futuro, ya que el mismo dijo que hasta entonces "aún no conocía al verdadero Dios", queriendo decir que había vivido indiferente a los consejos y advertencias de la Iglesia.
Se cree que el lugar de su cautiverio fue en las costas de Mayo, al borde del bosque de Fochlad (o Foclut). De ser así, el monte de Crochan Aigli, que fue escenario del famoso ayuno de San Patricio, también fue el lugar donde vivió los tristes años de su juventud.