そんな数々の伝説を残した渡瀬さんだが、語りぐさとなっているのが“芸能界ケンカ最強伝説”だろう。「本人はケンカの強さを吹聴するようなことはありませんでした。ただ、渡瀬を知る多くの関係者や俳優仲間は“渡瀬さんが一番”と口を揃え、その伝説を活劇のヒーローのごとく語り継いでいるんです。昔の映画の撮影所はケンカ自慢の集まりで、“強いヤツが入ってくるらしい”と聞けば、まずはシメるところから始まるような場所でした。そんな中で、長く“最強”と恐れられていたのが渡瀬だったそうです」（映画関係者）
空手の有段者でもある渡瀬さんだけに弱いはずはないが、その伝説はケタ外れ。「身長１８７センチで元キックボクサーの安岡力也さん（故人）が唯一恐れたのが、渡瀬だったといいます。安岡さんがイケイケで売り出し中の頃、東映会館の駐車場に呼び出されて半殺しの目にあったとか」（前同）
また、不良がウリで芸能界に乗り込んできた、岩城滉一や舘ひろしが在籍したロックバンド『クールス』にも、その鉄拳が火を噴いたことがあるという。「礼儀を知らず、調子に乗っていたメンバーをボコボコにして川に放り込んだというから、豪快すぎます。また、血気盛んだった松田優作（故人）も一瞬で倒したといいますし、あの若山富三郎さん（故人）も、渡瀬さんの睨みにビビって、何も言えなかったそうですから」（芸能記者）
さらに、あの梅宮辰夫をして、「小林旭もパワーがあったが、渡瀬に比べたら」と言わしめ、元ボクシング世界王者のガッツ石松も、「恒さんに比べたら大したことない」と負けを認めているというエピソードも。「元プロボクサーで、こちらも芸能界最強の一人に数えられる、歌手で俳優のジョー山中さん（故人）は、渡瀬の目つきを見ただけで縮み上がり、“あの人、怖いけど誰ですか？”と、内田裕也に泣きついたという話もありますね」（前同）
他にも、「屈強な黒人の米兵３人を相手に大暴れ」「反社会的組織にさらわれた国士舘の知人学生たちを助けるべく、一人で事務所へ突入した」などなど、映画以上の逸話も数多い。
今回、そんな渡瀬さんの伝説のケンカを、その目で目撃したという貴重な証言を得ることができた。
