PCA/MDS : 계산상 효율적이고, 선형적이다. global optimality, asymptotic convergence gurantees.

단점 : 기하학적으로 원래 데이터가 선형적이지 않다면 그 데이터의 특성을 보호하기 힘들다.

ISOMAP (Isometric Feature Mapping)

SwissRoll의 데이터를 쭉 펼쳤을때, 해당 manifold에서 이웃노드를 거쳐 도달할 수 있는 거리이다.

PCA/MDS같은 linear transform을 적용하면, 최단거리를 적용하므로 올바르지 않다.

가까이 존재하는 이웃을찾는 graph구조로 변경된다. 이웃에 이웃을 걸쳐 최단거리를 구할 수 있다.

SwissRoll

Untitled

MDS(linear) ISOMAP(non-linear)

최종적으로 MDS를 사용하기 위해,, 차원을 낮추는 방법이다.

몇가지 절차가 필요하다.

  1. Construct neighborhood graph
  2. Compute the shortest path
  3. construct embedding by traditional MDS

LLE ( Locally Linear Embedding)