В Debian Stretch в KDE5, он же Plasma, уже давно используется SDDM вместо KDM в качестве дисплейного менеджера. x11vnc не умеет автоматически распознавать SDDM и подхватывать его файлы при создании сервера. Следующий набор команд делает это автоматически:
x11vnc -nevershared -noxdamage -modtweak -xkb -forever -auth `find /var/run/sddm/ -type f` -rfbauth /home/alexey/.vnc/passwd
В файле /home/alexey/.vnc/passwd у меня лежит пароль для подключения к VNC серверу.