进入注册表如下位置

HKEY_CURRENT_USER\Software\Microsoft\Terminal Server Client\Default

右边就是远程桌面连接的历史记录了，想要清除哪个删除即可。