화니의 세상

Local Deep Research는 강력한 AI 기반 연구 도우미로, 여러 LLM(대규모 언어 모델)과 웹 검색을 활용한 심층 분석을 수행합니다. 로컬에서 실행할 수 있어 개인정보 보호가 가능하며, 클라우드 기반 LLM을 사용할 수도 있습니다.

주요 기능

• 자동화된 심층 연구: 지능형 후속 질문, 출처 추적 및 검증

• 유연한 LLM 지원: Ollama, Claude, GPT 등 다양한 모델과 연동 가능

• 강력한 검색 기능: Wikipedia, arXiv, PubMed, DuckDuckGo, Google 검색 API 등과 연동

• 로컬 문서 검색(RAG): 벡터 임베딩을 활용한 개인 문서 검색 지원

• 개인정보 보호: 로컬에서 실행되며, 검색 설정을 자유롭게 조정 가능

https://github.com/LearningCircuit/local-deep-research

KTransformers는 최신 대형 언어 모델(LLM) 추론 최적화를 쉽게 경험할 수 있도록 설계된 유연한 Python 기반 프레임워크입니다.

단 한 줄의 코드로 최적화된 모듈을 적용할 수 있으며, Transformers 호환 인터페이스, OpenAI 및 Ollama와 호환되는 RESTful API, 간단한 ChatGPT 스타일 웹 UI도 제공합니다.

최근 업데이트에서는 FP8 GPU 커널 지원, 139K 긴 컨텍스트 지원, 24GB VRAM에서 DeepSeek-V3 및 R1 모델 최적화 등이 포함되었습니다.

특히, 멀티 GPU 및 대용량 DRAM 환경에서 최대 28배의 속도 향상을 제공하며, LLM 추론 성능을 극대화할 수 있습니다.

https://github.com/kvcache-ai/ktransformers

RLAMA는 로컬 Ollama 모델을 활용한 강력한 문서 기반 질의응답(Q&A) 도구입니다. PDF, DOCX, 코드 파일 등 다양한 문서 형식을 지원하며, 모든 처리가 로컬에서 이루어져 데이터 유출 걱정 없이 사용할 수 있습니다.

• 주요 기능

• 문서 폴더를 색인화하여 RAG 시스템 생성

• 인터랙티브 질의응답 세션 지원

• 간편한 RAG 시스템 관리 (생성, 목록 조회, 삭제)

• macOS, Linux, Windows 지원

개발자를 위한 CLI 기반 인터페이스를 제공하며, 연구, 학습, 내부 문서 관리 등 다양한 활용이 가능합니다. RLAMA로 개인 또는 기업의 문서 활용을 최적화해 보세요!

https://rlama.dev/