データシートのAbsolute Maximum Ratings（絶対最大定格）で、ポートの入力電圧の範囲が規定されています。

D+/D-（USBピン）の入力電圧は、VDD+0.3VがMax値です。

未給電時をVDD=0Vと考えると、D+/D-が許容するMax値は0.3Vとなり、例えば3.3Vの信号が入ってくるとデバイス故障の原因となります。

また、UARTピン（TX, RX, フロー制御）、GPIO、VBUS、RSTb、サスペンドピンなどの非USBピンの入力電圧は、VIO>3.3V時には5.8VがMax値で、VIO<3.3V時にはVIO+2.5VがMax値となります。VIOがないパッケージは、VIO=VDDとしてお考えください。
未給電時をVIO=0Vと考えると、これらのピンが許容するMax値は2.5Vとなり、例えば1.8Vの信号が入ってくれば問題ありませんが、3.3Vの信号が入ってくるとデバイス故障の原因となります。