Isaac Gym & Isaac Lab 강화학습 관련 Survey (진행중)

사족보행 로봇이 계단을 오르기 위해, 강화학습을 사용한 논문 Survey 진행 

• 현재, Isaac Sim + Lab 기반, 강화학습을 통해 Go2 로봇이 계단을 오르는 것을 목표
• 다른 연구들은 어떻게 하고 있는 지 비교하여, 적용하면 좋을 내용을 정리 (코드가 나와있는 것들이 좋음)

 

Isaac Gym 기반

• 논문 :
  • 방법론 : 
  • 적용 방안 :
  • URL : 

 

Isaac Lab 기반

• 논문 : Interactive Navigation of Quadruped Robots in Challenging Environments using Large Language Models
  • 방법론 : 
    1. High-level 에서는 LLM(gpt-4)를 이용한, Primitive Tree 설계
    2. Low-level에서는 강화학습을 통한 Skill Library 구성
    3. 로봇이 환경에 빠르게 적응할 수 있는, interactive navigation 프레임워크 제안
    4. connition-based-replanning을 도입항, 로봇이 자기중심적 관측 정보를 반영해 실시간 의사결정을 내림
    5. traversability뿐만 아니라, 경로 자체가 존재하지 않는 경우도 판단
  • 적용 방안 : 
    1. LLM 기반 Task Planning 
    - Primitive Tree 구성
    - Node Evaluation
    - Skeleton  Selection
    2. Reinforce 기반 Motion Planning
    - 다양한 지형에서 학습 진행 : 보행 정책
        - velocity-tracking 방식으로 훈련 절차 구성
        - linear & angular velocity 명령을 따르도록 유도하면서, 지형에 적응
        - curriculum learning 기법 사용 (점진적으로 지형의 난이도를 높임)
    - 학습된 보행 정책을 기반으로 Pushing Policy나 Walking Policy 등을 훈련
    - IsaacLAb + PPO (Proxiaml Policy Optimization) 알고리즘 사용
        - PPO : OpenAI가 만든, policy를 업데이트할 때, 너무 크게 변화하지 않도록 제한하면서 수렴 속도와 성능을 높임
    3. Cognition Based Replanning
    - LLM 기반 advisor와 arborist로 구성 
    - advisor : 새로훈 환경 정보와 현재 계획을 분석하여 replanning이 필요한지 판단 
    - arborist : 재계획이 필요하다고 판단되면, Primitive Tree 구조를 수정 (노드 추가 or 삭제)
  • 적용 방향 :
    
    • 제한된 감지 범위 내에서, 사전에 정의된 물체 정보를 얻음 
    • 로봇 감지 범위 밖에 있으면 시뮬레이터가 로봇에게 해당 물체 정보 제공 
    • 실제 로봇 플랫폼에는 그대로 사용은 불가할 듯
  • URL : https://openreview.net/forum?id=SaE71ABk3G

 

• 논문 : Learning Quadrupedal Locomotion over Challenging Terrain
  • 방법론 : 
  • 적용 방안 : 
  • URL : https://arxiv.org/pdf/2010.11251