Ashon

Ordinary Software Engineer

[Ashon @ashon_lee]

그래도 한달 밥값이 수천만원 하지는 않는다.

[Vincent @Vincent_AINotes]

我发现，人类其实就是一种本地小模型，参数量非常小，大概只有 2B。

虽然我们拥有 860 亿个神经元，但日常真正调用的只是其中很少一部分。算力峰值忽高忽低，非常不稳定。

可以瞬间分析出今天谁想害你，但让你计算 12345 × 54321，哈哈哈，直接就卡机了。

预训练通常无法收敛。今天相信科学，明天求神拜佛；早上说要自律，晚上却躺平刷剧，永远在收敛和发散之间反复横跳。

多任务并行？人类应该是真正意义上的单核单线程吧。

嘴上说能一边听歌、一边做事、一边回消息，实际上只是注意力在疯狂进行上下文切换，切换的时候还经常丢包。

联网搜索？哦，没有这个能力。属于纯本地、离线推理模型，主要依赖静态知识库。

不过，语言、书籍和互联网可以算是我们的外挂，只是延迟通常比较高，很多时候还需要通过问别人来完成路由。

至于思维链，通常又长又容易跑偏。经常通过发散性思维进行路径探索，同时还夹杂着大量噪声分支。

微调成本高得离谱，而且特别容易失败。食物、睡眠和情绪价值都可能影响微调效果。有时还会过拟合某一句鸡汤，然后在很长一段时间里，把它当成人生哲理。

知识截止日期？没有明确的截止日期，而且每天都在接收新的垃圾信息。

比如刷到的无脑短视频、和朋友聊的八卦，以及论坛里的各种帖子。每天接收到的信息中，有效内容可能连 1% 都不到。

能耗管理采用的是极端省电模式，代价是每天必须强制关机 4～8 个小时来清理缓存，否则很可能直接黑屏。

这样说起来，人类似乎确实不太好用啊。

[Ashon @ashon_lee]

@darjeelingt 지금은 딱 그정도가 맞는 것 같습니다 ㅋㅋ...

[Ashon @ashon_lee]

나는 AI Ops에 대해서는 아직까진 회의적이긴 한데...

인프라, 서비스 운영 맥락에서는 같은 문제라도 해결 방식이 매우 다양할 수 있다고 생각하기 때문이다.

실시간으로 변하는 비즈니스 상황과 인프라 컨텍스트를 가지고 문제를 어떻게 처리할 지는 결국 사람들이 모여서 해야하지 않을까?

[Ashon @ashon_lee]

지구가 아라키스 행성이 되어가고 있네;;
스틸슈트 시급하다..

[Ashon @ashon_lee]

@nacyotKim 작은 서버 캐비넷 하나 사서 거기다 넣어놓으면 소음걱정 덜하실거에요~ 꼭 밖에다 둘 필요는 없...

[Ashon @ashon_lee]

dgx spark 한대 더 사고 싶다...

[Ashon @ashon_lee]

@nacyotKim https://t.co/IR6C4wZFAQ
저는 요걸로 셋업 해 보려고요~ 😁

[Ashon @ashon_lee]

@nacyotKim dgx spark 2대에 minipc 3대 있으면 가정용으로 딱인 것 같습니다.. 허허

[Ashon @ashon_lee]

이젠 make 말고 task 해야겠다. 쓰기편하네~
https://t.co/G61IJhcbi5

[Ashon @ashon_lee]

@lqez ~에이전트들 말풍선으로 채팅하는거도 하나...~

[Ashon @ashon_lee]

@raccoonyy 저는... 너굴팀장님께 더 많이 배워야하는데.. ㅠㅜ

[Ashon @ashon_lee]

요샌 회사에서 랙 시스템을 계속 정의 해 나가고 있는데 SRE 로서 여러 지표들을 수립하고 모니터링 시스템을 만들고 있다. IDC 전력/냉각부터 스위치/호스트/장치 토폴로지를 넘어 LLM 에 대한 관측가능성까지 아주 E2E로 모니터링 만들고 있는데 재밌다. 거기에 eBPF도 섞이는 중인데...

[Ashon @ashon_lee]

@choi_yany 저도 여기서 새롭게 배우는게 많네요~ 😁

[Ashon @ashon_lee]

함께 헤딩하실 분. 페이지에 적인 스펙보다... 그냥 함께 일할 때 즐겁고, 잘 맞는 분이 좋은 것 같습니다. https://t.co/tkBHVaXqJE

[Ashon @ashon_lee]

텔레캐스터 바디에 험험 조합에 트레몰로암까지 달려있으면서 스트랫 소리도 낼 수 있는 기타가 가지고 싶다..

[Ashon @ashon_lee]

@asbubam llm-d 도 한번 알아보시죠~!

[Ashon @ashon_lee]

@asbubam 사람이랑 LLM이 대화하면서 쌓는 지식을 공유하고 같이 쌓아가게 만들수는 없을까... 하여 몬가 끄적끄적 거리고 있는 중이에요. 😅

옵시디언의 문서 그래프랑도 살짝 비슷하긴 한데..

[Ashon @ashon_lee]

에이전트가 기존 문서들 가지고 학습하더니 새로운 지식 가지를 뻗어냈다.