인공지능 개발자를 꿈꾸는 더기

Prefix-Tuning: Optimizing Continuous Prompts for Generation

이번 논문은 2021년 Stanford의 Li et al.이 발표한 "Prefix-Tuning: Optimizing Continuous Prompts for Generation"입니다. 대형 언어 모델(예: GPT-2, BART)을 다양한 자연어 생성 작업에 활용하려면 일반적으로 Fine-tuning을 수행해야 합니다. 하지만 모델 크기가 수억~수백억 파라미터에 달하면서, 작업마다 전체 모델을 복사해 학습하는 것은 비용과 저장 측면에서 매우 비효율적입니다. 이 논문에서는 이러한 문제를 해결하기 위해 Prefix-Tuning이라는 새로운 접근 방식을 제안합니다Paper: https://arxiv.org/abs/2101.00190 Prefix-Tuning: Optimizing Continuous Prompt..

이번 논문은 2017년 ICML에서 발표된 "Soft-DTW: a Differentiable Loss Function for Time-Series" 입니다. 이 논문은 시계열 데이터 간의 유사도를 측정할 때 가장 널리 쓰이는 기법 중 하나인 Dynamic Time Warping(DTW)이 미분 불가능하다는 단점을 극복하기 위해 기존의 DTW를 부드럽게(smoothly) 바꿔서 미분 가능하게 만든 Soft-DTW를 제안합니다. Soft-DTW는 시계열 간 유사도 측정을 딥러닝에 적용 가능하게 만들어, 다양한 응용 가능성을 열어주었습니다.Paper: https://arxiv.org/abs/1703.01541 Soft-DTW: a Differentiable Loss Function for Time-Series..

이번 논문은 2019년 Google Brain에서 발표한 "Parameter-Efficient Transfer Learning for NLP"입니다. 이 논문은 대형 언어 모델을 위한 파라미터 효율적인 전이 학습 방법으로 Adapter라는 간단하면서도 강력한 구조를 제안하였으며, 최근까지 다양한 형태로 변형되어 활용중입니다.Paper: https://arxiv.org/abs/1902.00751 Parameter-Efficient Transfer Learning for NLPFine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, ..

이번 논문은 2023년 Ye et al.에서 제안한 "IP-Adapter: Text Compatible Image Prompt Adapter forText-to-mage Diffusion Models" 입니다. 이 논문은 Stable Diffusion 기반 모델에서 이미지 프롬프트를 효과적으로 활용하기 위한 가볍고 효율적인 어댑터 구조를 제안하며, 텍스트와 이미지를 모두 활용한 멀티모달 생성 능력을 지원합니다.Paper: https://arxiv.org/abs/2308.06721 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion ModelsRecent years have witnessed the strong power..

오늘 소개할 논문은 2021년 Microsoft의 연구진이 발표한 "LoRA: Low-Rank Adaptation of Large Language Models"입니다. 이 논문은 대형 언어 모델의 파라미터를 효과적으로 업데이트 하는 방법에 관한 논문으로 많은 분야에서 널리 사용되는 의미있는 기법입니다.Paper: https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language ModelsAn important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particul..

이번 논문은 2024년 NeurIPS에 발표된 "FactorizePhys: Matrix Factorization forMultidimensional Attention in Remote PhysiologicalSensing"입니다. 이 논문은 심박 신호 추정을 위한 다차원 Attention 계산을 Nonnegative Matrix Factorization (NMF) 기반으로 해결한 획기적인 구조인 FSAM을 제안합니다.Paper: https://proceedings.neurips.cc/paper_files/paper/2024/hash/af1c61e4dd59596f033d826419870602-Abstract-Conference.html FactorizePhys: Matrix Factorization for..

이번 논문 리뷰는 2023년 ICCV에 발표된 "Adding Conditional Control to Text-to-Image Diffusion Models"논문 입니다. 이 모델은 Stable Diffusion에 직접적인 제어 능력(control)을 추가해주는 혁신적인 구조로, 사용자 입력에 따라 훨씬 더 정밀한 이미지 생성을 가능하게 합니다.Paper: https://openaccess.thecvf.com/content/ICCV2023/papers/Zhang_Adding_Conditional_Control_to_Text-to-Image_Diffusion_Models_ICCV_2023_paper.pdfCode: https://github.com/lllyasviel/ControlNet GitHub - l..

이번 논문은 Robin Rombach et al.의 2022년 연구인 "High-Resolution Image Synthesis with Latent Diffusion Models" 입니다. 이 논문은 유명한 Stable Diffusion의 기반이 되는 논문으로, 기존의 픽셀 기반 Diffusion 모델의 한계를 극복하기 위해 Latent 공간에서 학습하는 혁신적인 접근을 제시합니다.Paper: https://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdfCode: https://github.com/CompVis/..

이번 글에서는 애드센스 광고 승인 심사 완료 후, 실제 티스토리에 광고를 삽입하는 방법에 관해 알아 보려고 한다. 1. 사전 준비 사항애드센스 계정이 승인 완료된 상태여야 합니다.아직이라면 아래 게시글 참고https://hyunduk00.tistory.com/15 티스토리와 구글 애드센스 연동하는 방법 A to Z티스토리를 운영하는 사람이라면 누구나 애드센스를 통해 수익을 창출하려고 할 것입니다. 본 글에서는 티스토리에서 수익을 창출하기 위해 애드센스에 가입하고 적용하는 방법에 관해 알아보hyunduk00.tistory.com 2. 애드센스 광고 단위 생성하기애드센스 사이트 접속https://adsense.google.com/intl/ko_kr/start/ Google 애드센스 - 웹사이트에서 수익 창출..

이번 논문에서는 생성형 모델의 시초라고 할 수 있는 Ho. et al.의 2020년 연구인 "Denoising Diffusion Probabilistic Models"을 소개 하려고 합니다. 이 논문은 오늘날 매우 주목받고 있는 Diffusion 모델의 출발점 중 하나입니다. 기존의 GAN, VAE와는 다른 방식으로 이미지를 생성하며, 놀라운 이미지 품질을 보여줍니다. Stable Diffusion, DALL·E 2 같은 모델들의 기반이 되는 개념이 바로 이 논문에서 시작되었습니다.Paper: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdfCode: https://github.com/lucid..