MJ's Blog

모든게 블랙박스?현재 산업계에서 99%+ 의 실무 AI 시스템이 블랙박스로 사용되며 OpenAI GPT, Google Gemini, Meta Llama 등 모두 내부 작동 원리 불명한 상황 (기업들도 자신들의 모델이 정확히 어떻게 작동하는지 모름)그래서 Mechanistic Interpretability와 같이 모델 내부를 파악하려는 노력도 많이 생기고 있는것 같지만 아직 이분야는 비주류인 상황블랙박스라서..많은 icml의 주제들이 모델 내부 자체를 이해하지 못하기 때문에, input으로 이런걸 넣어봤더니 output으로 이런게 나오더라 와 같은 내용이 많았음 ex) Training a Generally Curious Agent : 좁은 파인튜닝이 광범위한 정렬 실패를 야기할 수 있다는 논문 ex) tu..

인사이트 정리1. 효율적인 에이전트 개발 기존 LangChain 기반 시스템에서 도구 구성과 연결에 많은 시간을 들였다면, ADK는 개발자가 직접 Python 코드로 오케스트레이션 및 동작 정의가 가능해져 더 정밀한 제어와 테스트 가능해 에이전트 개발의 부담을 줄이고 핵심 로직에 집중할 수 있는 구조라고 판단됨 2. 작업 모듈화 root agent ↔ sub agent 구조를 통해 모듈화된 작업 분담이 가능하여 이를 잘 활용하면 사내 검색 시스템 내에서도 task별 분리된 에이전트 설계를 적용 가능할것으로 보임 (예: 문서 요약 ↔ 검색 ↔ 인사이트 추출 분리). 3. 세션 및 상태 관리 State, memorybank, artifact 개념을 활용하면 사용자별 대화 기록이나 작업 맥락을 효과적으로 관리..

일반화(generalization)일반화는 모델이 학습한 데이터 이외의 새로운 데이터에도 잘 작동하도록 하는 것.즉 말그대로 특수한 데이터에만 성능이 잘 나오는게 아니라 일반적으로(general하게) 모든 데이터에 성능이 잘 나오도록 하는 것을 의미함. 정규화(regularization)정규화는 과적합을 방지하는 기법들기법들은 보통 모델의 복잡도를 제한하는 방식으로 만들어져있는데, 이는 모델이 너무 복잡해지면 훈련데이터만 외우게 되기 때문임. (모델이 더 복잡해질수록 과적합 가능성이 커짐) 전통적으로 무작위 라벨링, 즉 패턴이 없는 데이터에 대해선 학습이 매우 어려울 것으로 예상했었다. 왜냐하면,모델이 복잡하고 매개변수가 많을수록 특정 정답에 과적합하기 쉬울것으라고 생각했기 때문이다. 논문의 발견은 아래..

1. 개요 1.1 Abstract : 인풋 이미지를 NeRF(Neural Radiance Field) 로 전이시킬 수 있는, 비지도 & single-shot 프레임워크 : 주요한 아이디어는, generative한 NeRF 모델을 사용해서 없는 geometry 정보를 보간하는 것 : 이미지를 latent space 와 generative NeRF model 으로 매핑 시키는 인코더 (latent space와 NeRF model은 dependent 한 관계) 1.2 기존 NeRF의 한계점 : 주어진 이미지에 오버피팅 되거나, 이미지가 많이 필요하다는 점 : train 시간이 과하게 많이 걸림 : general 한 NeRF 모델을 만들기 위한 시도도 있었으나, 이는 multi-view 이미지에만 잘 작동하는 ..

1. ABSTRACT & INTRODUCTION 1.1 Inverse graphics 소개 및 현 문제점 'Inverse graphics'는 한장의 2D 이미지로 3D 형상을 예측하는 기술을 의미한다. * inverse graphics 한장의 사진에서 해당 물질의 생김새, 질감, 물성, 채도 등의 특성을 알아내어 물질의 3D 형상을 예측하는 것. inverse graphics는 현재 AR/VR, 로보틱스, 컴퓨터 비전등 다양한 분야에서 사용되고 있음. Inverse graphics를 구현하기 위해 많은 노력이 있었고, 현재까지 구현된 기술에는 아래 2가지 문제점이 존재해 왔음 : synthetic 데이터의 낮은 성능 보통 inverse graphics를 구현하기 위해선, 3D 라벨을 사용해 신경망을 훈련..

Tensorflow와 Keras에서 모델을 생성할때, 기본적으로 난수(random_seed)를 기반으로 계산이 이루어 진다. 그러므로 같은 코드라도 재 실행을 하면 결과값이 다르게 나올 수 밖에 없는데, 이렇게 되면 모델이 변경되었을 때 얼마나 개선되었는지에 대한 판단이 어려울 수 밖에 없다. 위 예시처럼 학습된 모델의 결과를 동일하게 Reproduction 하는 것은 여러가지 상황에서 필요한데, ex) 수상자가 되어 코드의 정합성을 검증 받게 될 경우 ex) 경진대회 참가 도중 팀을 이루어 결과를 공유해야 되는 경우 ex) 논문을 작성하여 그 결과를 Reproduction 해야하는 경우 등이 있다. 이러한 문제는 기본적으로 'Seed를 고정'시킴으로 해결할 수 있다. Seed 고정은 아래와 같이 구현할..