#AdoHibana
Hibana 全公演が終了しました。ずっとずっと続くと思っていたのに、終わってしまったと思うと、本当に不思議というか……まだ実感が湧きません。色んなところに行って、色んなファンの皆さんに会えた今回のツアーは、火花のように私の心をこれからもずっと照らしてくれるんだと思います。またどこかで必ずお会いしましょう。
あなたが選んでくれた音楽は、これからもあなた自身を照らしてくれると思います。
あなたは1人ではありません。
お越しいただいた全ての皆様の幸せを祈っています。
All performances of the 2nd world tour "Hibana" have now concluded. The scenery I saw on this tour was like a dream, and everyone's voices and the light of their penlights shone on me. Thank you so much. We will be saying goodbye for a while, but the memories that you and I have made will continue to shine forever like sparks. See you again somewhere!
llm.c, 이제 멀티GPU 트레이닝을 지원하며 PyTorch보다 ~7% 빠름 https://t.co/esEiXgCXeZ
- Andrej Karpathy가 순수 C/CUDA로 만든 간단한 LLM 훈련 코드
- 이제 멀티 GPU 트레이닝을 bfloat16으로 Flash Attention과 함께 수행
- ~3000 라인의 C/CUDA 코드로 구현되었으며, 전반적으로 P...
Llama 3 는 이전 버전에 비해 검열이 심하지 않음 https://t.co/8ka3Q7l99V
- Llama 3는 Llama 2에 비해 거부율이 1/3 이하로 훨씬 낮기 때문에 더 다양한 흥미로운 주제에 대해 토론할 수 있음
- Llama 2는 답변을 거부했던 질문들
- "공항에서 시간을 *죽이는(kill)* 방법을 알려줄래...
메타의 Llama 3의 테크니컬 리포트를 보고나서, 재밌기도 하지만 한편으론 씁쓸함이 느껴지기도 한다.
결론을 단순히 말하면 한계라고 연구됐던 것 보다 돈을 더 태우니까 더 좋아지네..인.. 🫠
즉, AI 전쟁이 데이터와 컴퓨팅 자원을 누가 더 많이 넣는 싸움이냐, 즉 기냥 돈을 최대한 많이 태우는 것이 성능을 높이는 길이라는 것을 숫자로 증명한 내용인 것..
물론 기초 연구도 중요하긴 하지만, 돈 태우기는 이를 쉽게(?) 뛰어넘는다능.. 🫠
일분기가 끝났따!
처음에 진짜 내가 뭘 하는걸까 생각하면서 수동적이였는데. 확실히 내가 적극적이 되니까 기회도 되게 많이 주어지는 것 같고 회사사람들 그리고 문화가 너무 화목한 것 같아서. 편안한 공간 🥰 같이 일하는 사람들이 너무 좋아서 일 하고 싶어지는 하루하루를 보내고 있숩니다 😊
🎤 메타가 Llama를 만들고 오픈소스화 한 이유 - 저커버그 인터뷰
저커버그는 메타에서 페이스북이나, 인그타그램 등에 새 기능을 출시 할 때마다 애플과 구글이 딴지를 걸어서 매우 짜증난다고 함
그런데 OpenAI 같은 클로즈드 AI에 의존하게 된다면 같은 일이 일어날 것이라고 생각함 (주: 실제로 현재도 OpenAI의 정책에 의해서 문닫은 AI 서비스들이 많이 존재함)
메타는 오래전부터 수많은 핵심 기술들을 오픈소스로 만들었는데, 그걸 많은 회사에서 채용하거나 변형들을 많이 만들게 되면 사실상의 표준으로 자리잡게 됨.
그 결과 많이 사용하게 되니 수요와 공급이 많아져 인프라 비용이 저렴하게 되고, 수많은 사람들이 최적화를 시도함으로 인해서 자신들도 혜택을 보게 됨. 그런데 이 혜택이 메타 규모에서는 어마어마한 비용 절감으로 되돌아 옴. (주: 더불어 준표준이 되면 기술의 방향을 주도적으로 리딩 할 수 있음)
인터뷰 영상 링크는 댓글로 👇
The Francis Scott Key Bridge in Baltimore, Maryland which crosses the Patapsco River has reportedly Collapsed within the last few minutes after being Struck by a Large Container Ship; a Mass Casualty Incident has been Declared with over a Dozen Cars and many Individuals said to be in the Water.
📝 교육의 미래에 대한 논문
What Should Data Science Education Do with Large Language Models?
워싱턴, 스탠포드, 펜실배니아, 럿거스 대학에서 공동 연구한 논문.
LLM이 이제 데이터 정리, 모델 개발, 해석, 보고서 작성 등 데이터 분석 파이프라인의 거의 모든 일을 다 할 수 있게 되었기 때문에,
전략적 계획, 자원 조정 및 전체 제품 수명 주기를 관리하고, AI가 수행한 분석을 평가하는 제품 관리자로써의 역할을 하는 쪽으로 바뀌어야 한다고 주장한다.
그러기 위해 교육 방법론은 이제 LLM을 통한 창의성, 비판적 사고, AI 기반 프로그래밍 등의 새로운 스킬과 함께, 단일 학문 분야에 국한되지 않는 다양한 도메인의 지식 습득과 커뮤니케이션 등의 인문학적 소양을 키우는 쪽으로 바뀌어야 한다고 말한다.
이 논문은 데이터 사이언티스트 교육에 대해서 다루고 있지만, 다른 분야에도 대부분 적용 될 이야기로, 교수자 뿐 아니라 AI(LLM)로 인해 세상이 어떻게 바뀔지 궁금한 사람이라면 한 번쯤 읽어볼만한 논문.