備中国の高梁（岡山県高梁市）で、髪結い床を営む吉田家の次男として生まれた。まもなく近くで米屋を営む留岡金助の養子となった。町人の子として育ち、のちに身分の違いによる差別に心を痛めた経験が、弱い立場の人を助ける道へ進むきっかけの一つになったといわれる。
十代のころ、キリスト教を信じる医師の家に住みこんで薬の調合を手伝ううちに、その人がらに感化された。そして高梁の教会で洗礼を受け、キリスト教の信者となった。この信仰が、その後の生涯を通して留岡の活動を支える土台となった。
新島襄に会おうと家を出て京都の同志社を訪ねたが会えず、養父に連れ戻されて家に閉じこめられた。それでも養女の夏子の助けで再び家を出て、今治の教会の牧師・横井時雄のもとに身を寄せた。夏子はのちに留岡の妻となる。このころ徳冨蘆花とも出会った。
同志社英学校の神学を学ぶ課程に入り、新島襄の教えを受けた。新島の、一人ひとりの人を大切にする考え方に強い影響を受けた。卒業後は京都府の福知山の教会で牧師となり、三年ほど人々にキリスト教を伝える活動を行った。
北海道の空知にあった集治監で、囚人に教えを説く教誨師となった。罪を犯した人々と向き合ううちに、多くの人が子どものころの貧しさや家庭の問題から道を外れていたことを知った。罪を防ぐには、子どものうちに立ち直る手助けをすることが大切だと考えるようになった。
アメリカへ渡り、マサチューセッツ州やニューヨーク州の感化監獄などで実習しながら、罪を犯した若者を立ち直らせる方法を学んだ。各地の施設を見て回り、家庭のような温かい環境と、働くことを通じた教育が大切だと考えた。約三年後に帰国した。
東京の巣鴨で監獄の教誨師をつとめながら土地を買い、民間の感化院「家庭学校」を開いた。子どもたちは小さな家に分かれて、夫婦の職員と家族のように暮らした。罰するのではなく、愛情と生活を通して育て直すという考え方は、当時としてはとても新しいものだった。
妻の夏子を亡くしたのち、内務省から欧米の慈善事業を調べるよう命じられ、ふたたび海外へ渡った。各国の福祉の取り組みを見て学んだことを、日本の感化事業や社会事業に生かそうとした。雑誌を出して社会事業の大切さを広く訴える活動も続けた。
「流汗鍛錬」（汗を流して心身をきたえる）を信条に、北海道の遠軽の国の土地の払い下げを受けて家庭学校の分校を開いた。大自然の中で農作業などに取り組みながら子どもを育てた。施設を塀で囲まない開かれた学校で、開拓地の人々とともに地域づくりにも力を注いだ。
こうした活動がたたえられ、藍綬褒章を受けた。留岡は東京の本校と北海道の分校を行き来しながら、二つの学校を指導し続けた。石井十次や山室軍平らとともに、岡山ゆかりの社会福祉の先駆者として「岡山四聖人」の一人に数えられている。
家庭学校で信仰の五十年を祝う会の最中に病で倒れ、その後、名誉校長となって現場を退いた。まもなく東京で亡くなった。家庭学校は今も東京と北海道で子どもたちを支え続けており、北海道遠軽町には「留岡」という地名も残っている。
尾崎行雄加藤高明加藤友三郎牧野富太郎長岡半太郎南方熊楠西田幾多郎本多光太郎
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。