フォークが全盛だった1967 年頃、アマチュアグループ【ジローズ】を結成。ＭＢＳヤングタウン今月の歌に取り上げられた『あなただけに』が当時の学生の間で大ヒットし、1968 年４月５日に東芝よりデビューする。
同年10 月、“はしだのりひこ”、“井上博”、“おちゆうじ”と共に【はしだのりひことシューベルツ】を結成し、『風』(‘69 年1 月)、『さすらい人の子守唄』(‘69 年6 月)などを大ヒットさせる。
1970 年に森下次郎と【ジローズ】を結成。大阪万博の時に北山修と共作した『戦争を知らない子供たち』(‘71 年2 月)が1971 年に大ヒットする。
〝世界中から戦争をなくして、子供たちが戦争を知らずに生きられる世界を〟というメッセージを込めて作られた。当時の〝ラブ・アンド・ピース〟のキーワードとして『戦争を知らない子供たち』が若者の間での合い言葉になるが、この歌をめぐって賛否両論の意見が対立した。この年の日本レコード大賞作詞賞（作詞 北山修）を受賞する。
1972 年ソロアーティストとなった後も、『男どうし』(‘75 年9 月) 『八ヶ岳』(‘78 年2 月)をヒットさせ、1978年9 月にはフィリピンのフレディ・アギラの大ヒット曲『ＡＮＡＫ（息子）』を発売しスマッシュヒットを飛ばす。
シンガーソングライターとしてコンサートを中心に活動を続ける中、1986 年から87 年にかけて、『再会』（なかにし礼／宇崎竜童 ‘86 年5 月）が超ロングセラーを記録して、その年の日本有線大賞協会選奨を受賞する。
1989 年にはＣＭタイアップ曲『サマーソング for you』(‘89 年4 月)をヒットさせる。1991 年、吉田正氏と出会い、アルバム『Love Letter ～杉田二郎 吉田正を歌う～』をリリース。2000 曲以上の吉田メロディの中から10 曲を厳選したアルバムで、『東京カチート』『ラブ・レター』『おまえに』『公園の手品師』などが収録されている。
時代やジャンルやポジションなどに関係なく、男としての大きさ、力強さ、温かさに溢れた作品と評判を得、1992年日本レコード大賞企画賞を受賞する。
2006 年還暦を迎え、2007 年5 月に行われた還暦コンサートでは、総勢20 数名のフォークシンガーがお祝いに駆けつけた。
現在もライブ活動を中心に、団塊世代の代表として、フォーク界の兄貴的な存在として、全国で活躍中である。
2012 年レコードデビュー４５周年を迎え、4 月8 日に日本青年館にて、デビュー当初からの付き合いである北山修氏と共に、45 周年記念コンサート「杉田二郎 きたやまおさむに唄わされる ～戦争を知らない子供たちへ～」を開催予定。
更に、4 月11 日には北山氏との楽曲を中心に全曲再録音を行った、45 周年記念アルバムを発売予定。