是的，手扶电梯的上下两端都应该设置有紧急按钮。根据相关规定，电梯的上下两端均应设置停止装置和紧急报警装置。其中，停止装置是指当电梯某个部件出现故障、运行超过规定速度或电梯超载等情况时，立即将电梯制动停止的装置；紧急报警装置是指紧急救援、遇险求救和防止暴力行为的报警装置。

通常情况下，手扶电梯的紧急报警装置一般设置在电梯旁边的墙壁上或者电梯顶部，以供乘客在紧急情况下使用。一些新型的电梯还配备了视频监控系统，方便运营人员及时发现并处理电梯故障或紧急情况。所有这些设施都是为了保障乘客乘坐电梯时的安全。