生于香川县丸龟，是陆军军人大杉东的长子。随着父亲调任，他幼年迁居新潟县新发田并在那里长大。在军人之城长大的少年，也立志成为军人。
他进入名古屋陆军幼年学校。但他无法适应规矩繁多的生活，据说因态度叛逆屡受处罚。在为当军人而进入的学校里，他反而滋生了对权力与命令的强烈反感。
部分因与同学斗殴受了重伤等原因，他被幼年学校勒令退学。从军之路断绝后，大杉来到东京开始学习语言。这成为他人生方向发生巨变的转折点。
他进入东京外国语学校法语科。这时期他出入幸德秋水、堺利彦等人的平民社，接触到社会主义思想。他认同他们反对日俄战争的主张，走上了社会运动的道路。
他参加反对东京电车票价上涨的运动而被捕，首次入狱。此后他多次入狱，据传他决定每次在狱中学会一门外语，自称“一犯一语”，由此掌握了多门语言。
他在社会主义者集会上举着红旗上街与警察发生冲突而被捕（赤旗事件），被判约两年半徒刑。因此1910年大逆事件时他正在狱中，在众多同伴被问罪时幸免于难。
大逆事件后，在社会运动遭严厉镇压的“寒冬时代”中，他与荒畑寒村一起创办杂志《近代思想》。他以谈论文学和思想的形式，倡导个人自由和独立思考的重要性，影响了年轻读者。
他有妻室却与神近市子、伊藤野枝存在恋爱关系，在叶山日荫茶屋被神近用刀刺成重伤。这一事件震惊社会，许多同伴离他而去。此后他与伊藤野枝共同生活。
他将法国博物学家法布尔《昆虫记》第一卷译成日文出版。据说他深受这本细致观察小生物生活之书的吸引。这一年年底，他为出席国际会议秘密前往法国。
他在巴黎附近圣但尼举行的五一集会上发表演说，被法国警察逮捕。由于被查出无护照入境，他被驱逐出境回到日本。追求自由的行动，即使在国外也未曾改变。
在关东大地震后的混乱中，他与伊藤野枝及年幼的外甥一同被宪兵队带走，三人均被夺去生命，他时年38岁。这一甘粕事件作为军队权力不当剥夺个人生命的事件，至今仍在历史中受到追问。
志贺直哉竹久梦二北原白秋武者小路实笃平冢雷鸟松井须磨子山田耕筰萩原朔太郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。