본문 바로가기

PR113

[3줄 Recsys] UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation(CIKM'21)

 

 

Paper: https://arxiv.org/abs/2110.15114

PR113 Facebook group: https://www.facebook.com/groups/565858127904979

 

1. LightGCN이라는 efficient GCN for CF 구조도 있지만 이거도 복잡하다!

  - i-th layer에서 user-user, user-item, item-item 간 weight이 다름

    - 다양한 type의 relationship 학습이 달라짐

  - Layer 많이 쌓을수록 higher-order signal을 잡아야 하는데 LightGCN은 2-3 layer 이상부터 성능 하락

  - Message passing이 필요할까?

 

2. CF를 위해 explicit message passing을 버릴 수 있을까?
  - User-Item relationship은 기존 GCN에서의 convergence state를 바로 학습시킴(eq.9 ~ eq.10)

    - Convergence state가 BCE loss에 weight로 반영

 

  - User-User, Item-Item 관계도 중요한데 이게 user-item과 같은 방식으로 학습해도 될까?

    - Unreasonable edge weight assignment(2.2)

    - User-Item과는 다른 방식으로 학습시켜야 하는데, explicit message passing 안 쓰니까 좀 더 쉽게 분리 가능

    - 논문에서는 우선 Item-Item 관계만 사용

      - Item-Item co-occurence graph G 생성

      - G의 weight 기반 item i에 대해 co-occurence 높은 top-k items set S(i) sampling

      - Item i와 positive pair인 user u에 대해, S(i)에 속하는 item도 같이 학습(BCE with weight from G)

 

3. SOTA(LightGCN, DGCF, etc.)보다 성능이 더 좋은데, LightGCN 대비 10x 빠르다!