他生于备中国高梁（冈山县高梁市），是经营理发铺的吉田家次子，不久成为附近经营米店的留冈金助的养子。他作为町人之子长大，据说因身份差异而受到歧视、深感痛心的经历，是他日后走上帮助弱势者道路的原因之一。
十几岁时，他住在一位信仰基督教的医生家中帮忙配药，受到医生人品的感化。他在高梁的教会受洗，成为基督教徒。这一信仰成为支撑他此后一生活动的基础。
他为见新岛襄离家前往京都同志社，但未能见到，被养父带回关在家中。即便如此，他在养女夏子的帮助下再次离家，投奔今治教会的牧师横井时雄。夏子后来成为他的妻子。这一时期他还结识了德富芦花。
他进入同志社英学校的神学课程，接受新岛襄的教导，深受新岛重视每一个人的思想影响。毕业后他在京都府福知山的教会担任牧师，传播基督教约三年。
他在北海道空知的集治监担任向囚犯说教的教诲师。在与犯罪者接触的过程中，他了解到许多人是因为童年时的贫困或家庭问题而误入歧途。他逐渐认为，要预防犯罪，就必须在孩子小时候帮助他们重新振作。
他远赴美国，在马萨诸塞州和纽约州的感化监狱等处实习，学习让犯罪青少年重新做人的方法。他走访各地设施，认为像家庭一样温暖的环境和通过劳动进行的教育十分重要。约三年后他回到日本。
他一边在东京巢鸭监狱担任教诲师，一边购地开办了民间感化院"家庭学校"。孩子们分住在小房子里，与夫妻职员像家人一样生活。不是惩罚，而是通过爱和生活重新培育孩子，这种理念在当时非常新颖。
妻子夏子去世后，他受内务省之命考察欧美慈善事业，再次出国。他想把在各国看到的福利措施运用到日本的感化事业和社会事业中，还坚持出版杂志，广泛宣传社会事业的重要性。
他以"流汗锻炼"（流汗磨炼身心）为信条，获得北海道远轻的国有土地，开设了家庭学校分校。孩子们在大自然中从事农活等劳动，在劳动中成长。这是一所不用围墙围起来的开放学校，他还与开拓地的居民一起致力于地方建设。
这些活动受到表彰，他获得蓝绶褒章。留冈往返于东京本校和北海道分校之间，继续指导两所学校。他与石井十次、山室军平等人一起，被列为与冈山有渊源的社会福利先驱"冈山四圣人"之一。
在家庭学校庆祝他信仰五十年的聚会上，他因病倒下，之后成为名誉校长，退出一线。不久他在东京去世。家庭学校至今仍在东京和北海道帮助孩子们，北海道远轻町还留有"留冈"这一地名。
尾崎行雄加藤高明加藤友三郎牧野富太郎长冈半太郎南方熊楠西田几多郎本多光太郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。