Kylin Page

A fool who dreams.

Coding on 单调栈

单调栈及题单

[TOC] 单调栈 适用范围：题目涉及到下（上）一个更大（小）元素 (e.g. Leetcode739) 给定一个整数数组 temperatures ，表示每天的温度，返回一个数组 answer ，其中 answer[i] 是指对于第 i 天，下一个更高温度出现在几天后。如果气温在这之后都不会升高，请在该位置用 0 来代替。 可以从左看和从右看。 从左边看，需要一个单调递...

Posted by Kylin on December 12, 2023

Introduction to the A* Algorithm

A* 算法解析

[TOC] A* Algorithm A*权衡从初始结点到任意结点n的代价g(n)、从结点n到目标点的启发式评估代价（heuristic estimated cost）h(n)。每次进行主循环时，它检查f(n)最小的结点n，其中f(n) = g(n) + h(n)。 启发式函数h(n)告诉A*从任意结点n到目标结点的最小代价评估值。选择一个好的启发式函数是重要的。 一...

Posted by Kylin on December 10, 2023

Real Bottlenck of Transformer

Transformer真正的优化瓶颈在哪里？

[TOC] ***关键瓶颈 这个问题主要是看你从什么方面看 1）从roofline model角度上看： 如果是对于transformer，优化瓶颈在于att (flash & flat) 的两个matmuls。为什么呢？因为这部分是memory-bound的： 这部分是activation-activation计算，存在内存(...

Posted by Kylin on December 10, 2023

Gemini Technic Report

Gemini技术报告解析

[TOC] Model Architecture 若干技术细节： decoder-only 结构 multi-query attention interleaved multi-modal input data text and image output data visual encoder：Flamingo，CoCa，PaLI（with the impor...

Posted by Kylin on December 8, 2023

FlashLLM

Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

[TOC] Abs Challenge: Unstructured model pruning 和 highly-structured tensor core 1 hardware不适配 Observation：bottleneck of generative model inference is the several skinny matrix multiplications （d...

Posted by Kylin on December 8, 2023

How texts generates images?

自回归文生图研究脉络考古

[TOC] VQGAN (2020) & VQVAE (2017) Framework VQGAN1 和上古时代的 VQVAE2都是两阶段的图像生成方法，并且出现时间早于diffusion models。 训练阶段：训练一个图像压缩模型（包括编码器和解码器两个子模型），再训练一个生成压缩图像的模型。 生成阶段：先用第二个模型生成出一个压缩图像，再用第一个模型复原成真...

Posted by Kylin on December 7, 2023

A Survey on Unified Multi-Modal Models

统一多模态模型研究调研

[TOC] Comprehensive 参考1 的图，介绍一下MLLM的发展主要有几个阶段： 输入端多模态：Resampler2（Flamingo）、linear projection3（Llava）、Q-former4（Blip-2）这类模型还没有考虑到只能图生文，搞出来的visual embedding部分仅仅作为prompt不给予监督，训练目标是集中在根据visual ...

Posted by Kylin on December 5, 2023

Mainstream architecture of LLMs

LLMs主流架构

[TOC] 为什么现在的LLM都是Decoder-only的架构？ Harnessing the Power of LLMs in Practice- A Survey on ChatGPT and Beyond Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially wi...

Posted by Kylin on December 4, 2023

MacOS制作Ubuntu系统盘

MacOS制作Ubuntu系统盘

转换镜像 hdiutil convert -format UDRW -o ubuntu-20.04-desktop-amd64.dmg ubuntu-20.04-desktop-amd64.iso 查看u盘序号 diskutil list 卸载u盘 diskutil unmountDisk /dev/diskN # N换成u盘序号 写入镜像 ...

Posted by Kylin on December 4, 2023

Basics of Diffusion Models

Learning Notes for Diffusion Models

Lil’Log What are Diffusion Models? [TOC] limitations GAN：unstable training and less diversity in generation due to their adversarial training nature. VAE：relies on a surrogate loss. F...

Posted by Kylin on December 3, 2023

FEATURED TAGS
From Bohemia Linux Git Cloud Computer Architecture Database machine learning paper software coding quant Object Detection job programming Competition lecture nlp competition llmsys
ABOUT ME

Master degree candidate in THU, interested in mobile computing and wireless sensors.

✉️ qilin_chan@icloud.com

FRIENDS