2024.4 記錄一下。。。

magicyang發表於2024-04-23

研究院三年了。
地方政府沒錢咯,改簽孵化公司咯。

老婆問我,你們轉孵化算合同繼續麼?
我跟她說,煩不了,至少這個 3 年週期要走也一定是我自己跑路。

花了 1 個星期想到底幹啥。
摸了一下 vllm,triton,結果發現臥槽,隨便一個模型訓練就得 4,50G 的視訊記憶體。只有單卡的我不配玩。
考慮玩小型化,看了 MLC 的量化,看了 AWQ 的開源。
然後 B 呼有人告訴我,你這落伍了,現在都是 XXX 的實現。
你妹的,去年一年卷出天際了。。。

最近再看某運算元實現,發現指令完全看不懂。記得自己 2 年前,B 呼問過一個問題,CUDA PTX 到底在哪有用,根本就沒人鳥我。好吧,這下暫時面前有目標了。
其實吧,最近我很摸魚,沉迷小丑牌。上班 50% 的時間在到處扯皮,所以找點新玩意看看,萬一出啥么蛾子,只能靠技術吃飯,不能荒廢的太狠。。。

相關文章