施工当時、重労働と栄養不足による脚気から労働者は次々と倒れ、倒れた労働者は治療されることもなく体罰を受け、遺体は隧道や現場近くの山林に埋められたといわれる。 

これについては、山菜取りに来た近隣の住民が、人間の手や足の骨を拾ったという話もある。 

監督の指示に従わなかったために、スコップなどで撲殺されたタコ労働者が、見せしめのためにトンネル内に人柱として立てられたという話が言い伝えられていたが、 1968年（昭和43年）の十勝沖地震での壁面損傷に伴う改修工事を行ったところ、1970年（昭和45年）9月、常紋駅口から3つ目の待避所の拡張工事中に、レンガ壁から60センチメートルほど奥の玉砂利の中から、頭蓋骨に損傷のある人骨が発見され、人柱の伝説は事実であったことが明らかとなった。

 
ある保線区員は「みんなが『人柱』だといってました」「ほかにも埋まってる可能性があると思います」と語っている。