Важный вопрос, на мой взгляд: Сможет ли машина безошибочно отделять данные о реальном мире от моделей, описывающих этот мир, вернее – некоторые свойства этого мира. Ведь и то и другое в машине – нули и единички, импульсы бегущие по проводам, и структуры, образующиеся в результате этих импульсов в устройствах машинной памяти.
Да, согласен, у человека – полная аналогия. И человеку бывает трудно отделить модели от данных.

Но у человека есть ещё его физические и физиологические ощущения, которые не дают ему окончательно попутать реальность и то, что он об этой реальности возомнил. А у машины-то этого нет. Если мы протираем корпус машины от пыли, или, если мы прикоснулись к нему вращающимся диском болгарки, программы в процессоре будут идти по-прежнему. Если корпус будет прорезан той же самой болгаркой и искры попадут на электронику, то работа программ будет нарушена. Но машина сама не догадается, что у неё нарушен корпус. Чтобы она была способна это сделать, я вижу только один путь – утыкать корпус датчиками-«рецепторами»… …

Нельзя выразить Невыразимое!