試想一下：

• 一位年邁又健忘的用戶讓他/她專門照顧老年人的機器人把剛剛洗好的衣服再丟到洗衣機里去

• 一個幼兒園的小朋友命令機器人把球扔到窗外

• 一名學生讓機器人幫她完成所有的家庭作業

• 一個處于忙亂之中的主人，指示料理家務機器人運行垃圾處理器，即使勺子和小刀還卡在里面

像這樣，對機器人進行不恰當指令，但并未造成實質性損害的例子還有許多。但并不是所有案例都是良性的，即使機器人的主人在下達命令是出于好意。

想象一下，一個機器人汽車根據指令在車道上倒車，但它后面卻有一只小狗在香噴噴地睡覺，或者主人讓廚房助手機器人拿起刀子往前走，然而它卻站在一個人類廚師身后......命令很簡單，后果卻慘不忍睹。

那么，怎么樣才能使機器人既聽人類的命令，又不會造成不利后果？如果不讓機器人在狗狗周圍行駛的話，它可能會一點也不動了；如果要它避免拿刀刺到廚師，它可能會站住不動，或一開始就不去拿刀了。

使自主運行的機器在行動時探測到潛在威脅，并試圖去避免威脅，或拒絕執行指令，任何情況下都很必要。因此，我們到底該如何教機器人在恰當的情形下說“不”呢？

| 如何使機器人預知下一步

位于波士頓的塔夫茨大學正在研發一種控制技術：機器人可基于人類指令作出簡單的推斷。這將決定機器人是會按指令行事，還是會因為指令違反了預先設定的道德準則，而拒絕行動。 

要讓機器人知道什么時候、為什么、如何去拒絕執行指令，執行起來比口頭說說要難得多。搞清楚一個行動會造成什么危害或問題，光看問題的直接結果是不夠的——一個從窗口扔出去的球，可能會掉進院子里，這不會造成任何傷害；但若掉到了繁忙的街道，這球可能就再也找不到了，甚至可能會導致司機為了躲避而突然一個急轉彎，接著導致車禍。情景不同，結果不同。

以現有的機器人技術，在和孩子玩丟球游戲與把球扔出窗外或扔進垃圾桶之間，決定何時可以扔球，何時不可以還很困難。要是小孩子和機器人惡作劇，假裝接球卻躲過去，讓球飛出開著的窗戶的話，它就更不知道該怎么辦了。

|  向機器人解釋道德和法律

理解為何某些行為具有危險性，涉及到大量背景知識（包括在窗前玩球，球可能會飛出窗戶）。這需要機器人不僅能自主考慮到行為后果，還能思考出人類發出指令的真正意圖。
      不管人類指令是出于好意還是惡意，機器人要能通過預知行為結果，弄清楚人類復雜指令的原因是什么，并能把行為結果與社會規定的、希望或合法的社會準則、道德準則相比較。如上所示，現有機器人遵循的一般規則是：“如果機器人的行為會造成有害后果，那么他們可拒絕行動。”明確義務和權限之間的關系，能讓機器人通過可能結果，推理是否要執行指令。

總的來說，機器人不該執行違法或不被希望的行為。因此，他們需要了解法律、道德準則，甚至是禮節，以決定行為結果，或行為本身是否違反這些準則。

目前，想讓機器人處理上述情境，還有很長的道路要走。但有一點早已證實：要讓機器人去服從命令，它們得首先先學會拒絕。