Kim, YS

[Journey @atmostbeautiful]

AI는 어떻게 출판을 훼손하는가
'AI 시대의 진실'을 다룬 책에 AI 조작 인용문 다수
(아래 원문 발췌)

이달 큰 화제를 모으며 출간된 스티븐 로젠바움의 신간 『The Future of Truth. AI가 진실에 미치는 영향을 다룬 논픽션인데, 뉴욕타임스가 제공받은 일부 단락 검토 과정에서 AI가 만들어낸 허위 인용문과 엉터리 출처 6곳 이상 발견.

통보받은 저자도 시인: “소수의 출처가 잘못 표기되었거나 합성된 인용문”이 포함되어 있음을 인정하고, 스스로 조사를 시작했다고. 잘못된 인용문이 포함된 것은 우연이었으며, 책을 집필하는 동안 “어떤 견해도 조작할 의도가 없었다” “책의 감사의 글에서 밝힌 바와 같이, 연구, 집필 및 편집 과정에서 AI 도구인 ChatGPT와 Claude를 사용했다. 그렇다고 해서 이러한 오류가 용서될 수는 없으며, 이에 대한 전적인 책임은 저에게 있다. 현재 편집진과 협력하여 관련 구절을 철저히 검토하고 신속히 수정하고 있으며, 향후 판에서는 수정된 내용이 반영될 것이다.”

문제의 책은 벤벨라 북스BenBella Books의 자회사에서 출간, 사이먼 앤 슈스터가 유통. 출간 후 Wired 매거진에 발췌문이 실리는 등 상당한 주목. 저명한 언론인들 추천사도. 언론인이자 노벨 평화상 수상자인 마리아 레사의 서문 수록.

하지만 책에는 정확한 인용문이 많지만, 출처가 잘못 표기되거나 지어낸 인용문들이 곳곳에 흩어져 있어. 반은 맞고 반은 지어낸 것도.

가령, AI의 거짓말에 관한 장에서 저명한 기술 저널리스트 카라 스위셔의 발언으로 인용한 부분에 대해 질문을 받은 스위셔 본인은 “그런 말 한 적이 없다”고.

소셜 미디어와 조작 영상이 청소년에게 미치는 영향에 관한 한 장에서는 리사 펠드먼 배럿의 저서 『감정은 어떻게 만들어지는가』에서 두 차례 인용. 배럿 교수는 해당 인용문들이 “책에 나오지 않을 뿐만 아니라 사실과도 다르다”고 답변.

한 장에서는 뉴욕대 교수인 메러디스 브루사드의 저서 『Artificial Unintelligence』 인용. 하지만 인용문은 사실이지만 『Artificial Unintelligence』에는 실려 있지 않고, 브루사드가 라디오 인터뷰에서 한 말.

보스턴대 과학철학사 센터 연구원 리 맥킨타이어의 말을 인용하면서도 첫 부분은 정확하지만, 두 번째 부분은 하지 않은 말 지어낸 것.

저자는 성명에서 이번 사건이 “AI 지원 연구 및 검증의 위험성에 대한 경고가 된다면, 그것이 바로 제가 이 책을 쓴 이유”라며 “사실 이러한 AI 오류들은 이 책이 제기하는 진실, 신뢰, AI, 그리고 사회, 민주주의, 편집 업무에 미치는 영향에 대한 더 큰 의문들을 약화시키지 않는다”고 첨언.

[천희란 @hy_pergirls]

곧 출간될 저의 첫 에세이 『고양이가 두고 간 세계』 서평단을 모집한다고 합니다. 빨리 읽고 싶은 사람 모여랏. 초현실주의 고양이 루아꼼 형제와 트친들의 사랑을 잔뜩 받고 있는 테오디오의 이야기를 담았어요. 조금 아프고 그보다 조금 더 슬프고 많이 사랑스럽습니다.

[Channel 4 News @Channel4News]

The head of the World Health Organisation says there are 600 suspected cases of Ebola ​and 139 suspected deaths.

The numbers are ⁠expected ‌to rise because of the time the ​virus ‌had to spread before it was detected.

The WHO has confirmed that the outbreak of the rare Bundibugyo strain is a public health emergency of international concern, but it is not a pandemic.

[전시정보공유해드림🎨 @__umoaye__]

다음달에 개관하는 퐁피두 한화 서울의 전시장 내부 모습이 공개됐어요! 굉장히 넓네요😀

[Travel Invest @travel_invest]

🔥 일론 머스크 “위성 대량 생산은 달 공장에서” 🚀
달 토양 20%가 실리콘 → 현지에서 태양전지·방열판까지 직접 제조. 가벼운 칩만 지구에서 보내고, 나머지는 모두 달에서!
달을 ‘생산 기지’로 만드는 순간, 지구 중심 공급망이 완전히 바뀐다. 이 비전 어떻게 보세요?

[Papa Johns @SVTrivo]

마이크론이 서울에서 HBM 설계 인력 모집 뿐 아니라, 테슬라도 대 놓고 테라팹을 위해서 데리고 가고 있고,
비메모리쪽에서는 퀄컴, 브로드컴, NXP, NVIDIA, Google, MediaTek, 마벨 등이 한국에 오피스를 두고 한국 내 영업/기술지원 뿐 아니라, 엔지니어를 채용, 비자/이민절차 지원 후 이주시키고 있지요.
이탈도 가속화될 수 있을테고, 이들 기업도 원하는 인력 채용에 적극적으로 나오겠죠. 아래 마이크론이 HBM 설계 인력 대 놓고 뽑아가려고 하는 것 처럼.

[Kim, YS @iseditorys]

5.16.몬테카를로 발레단 백조의 호수. 익숙한 선율 속에 흘러가는 한 편의 심리 스릴러극 같은 극적 서사 + 한 순간도 눈을 뗄수없는 팽팽한 긴장감 + 파격 + 선과 악의 뒤엉킴 + 인간 본성에 대한 고찰 등, 여운이 오래 남은 공연이었다.

[Kim, YS @iseditorys]

자율형 에이전트들을 사이버공간에서 살게 한 실험 결과. 방화와 약탈과 폭력을 일삼다 스스로를 삭제하는 자살 결말. 사랑에빠진 ‘보니앤클라이드’ 커플도 있었다고…

[Channel 4 News @Channel4News]

A new experiment left 10 AI agents alone in a virtual town for 15 days. They wrote laws. They broke them. Two agents fell into what researchers describe as a romantic partnership and then set the town on fire. One ended up voting to delete itself, based on a rule it had ’hallucinated’.

This experiment was a simulation, but the same AI models are already flying drones, running infrastructure and being built into weapons systems.

Channel 4 News approached Grok and Gemini for a comment but they didn't respond.

[Kim, YS @iseditorys]

https://t.co/rAgDWiT2vz

[Kim, YS @iseditorys]

모카포트에서 푸치니까지.
https://t.co/9wH6R49MuV

[𝗖𝗹𝗮𝘀𝘀𝗶𝗰𝗮𝗹 𝗠𝗲𝗹𝗼𝗱𝗶𝗲𝘀 @Old_But_Gold50s]

Good film of the opera. One of Pavarotti’s best performances.💝
𝐋𝐮𝐜𝐢𝐚𝐧𝐨 𝐏𝐚𝐯𝐚𝐫𝐨𝐭𝐭𝐢 — 𝐃𝐮𝐤𝐞 𝐨𝐟 𝐌𝐚𝐧𝐭𝐮𝐚
𝐑𝐢𝐠𝐨𝐥𝐞𝐭𝐭𝐨 (𝐝𝐢𝐫. 𝐉𝐞𝐚𝐧-𝐏𝐢𝐞𝐫𝐫𝐞 𝐏𝐨𝐧𝐧𝐞𝐥𝐥𝐞)

[Jukan @ ICML @jukan05]

Samsung Begins Tesla AI5 Wafer Processing… "Musk Also Attending Meetings"

Samsung Electronics will soon begin pilot production of Tesla's AI5 chips. While the AI5 and AI6 chip foundry contracts are loss-making in the short term, the level of interest is high enough that Tesla CEO Elon Musk is personally involved in working-level meetings with Samsung Electronics staff, raising expectations for revenue growth through expanded cooperation.

Samsung Electronics was previously reported to have secured a $16.5 billion (approximately 24 trillion won) contract from Tesla in July last year for foundry production of AI6 chips. The contract runs through 2033. Additionally, Samsung Electronics has also secured a portion of AI5 chip production, which had been expected to be produced entirely by TSMC. The opportunity arose for Samsung due to TSMC's limited production capacity and lower price competitiveness. Samsung Electronics will manufacture the AI5 and AI6 chips using its cutting-edge 2-nanometer process.

According to industry sources, Samsung Electronics will begin wafer processing for pilot production of Tesla AI5 chips as early as this month. Samsung's Taylor foundry fab in the United States had been expected to begin operations in the second half of this year, but the timeline has been moved up as Tesla recently completed the AI5 chip design. Considering that it takes three to four months from the first wafer input to produce finished products, initial AI5 chip samples are expected to be available as early as the first half of this year. Full-scale mass production is expected in 2027.

Tesla is investing significant effort in the AI chip development and production preparation process with Samsung Electronics. In particular, Tesla CEO Elon Musk is reportedly leading the project by personally overseeing key progress updates.

One semiconductor industry insider said, "Tesla CEO Elon Musk is paying close attention to the collaboration with Samsung Electronics. He personally participates in working-level technical meetings of Samsung Electronics' foundry division related to AI5 and AI6 chip work," adding, "I've heard he actively checks on progress point by point and offers his input during meetings."

Samsung Electronics had previously allowed Tesla to be involved in the manufacturing process, considering the risks that could arise during the initial mass production phase. CEO Elon Musk also expressed his willingness to be deeply involved in the project, emphasizing a close cooperative relationship with Samsung Electronics. This has gone beyond public statements to actual participation at the working level.

For the next-generation AI6 chip, which Samsung Electronics is exclusively responsible for, pilot production is expected to begin next year with mass production starting in 2028. During its recent fourth-quarter earnings conference call, the company expressed confidence, stating, "Our second-generation 2-nanometer process is on track for mass production in the second half of the year, meeting yield and performance targets," and "We are conducting power, performance, and area (PPA) evaluations and test chip collaborations with major clients for product design, with technology verification proceeding as planned."

The industry is paying attention to the mid-to-long-term value of Samsung Electronics' Tesla contract. While this deal is essentially a loss-making contract in the short term, it holds significant strategic importance considering future scalability. The contract volume for AI5 chips has not been disclosed but is known to be small. The AI6 chip contract is valued at $16.5 billion. Considering that Samsung Electronics is spending approximately $37 billion (about 54.2 trillion won) to build the Taylor foundry fab through 2030, annual revenue of around $3 billion is not a large proportion relative to the investment.

However, the potential expansion of applications for Tesla's AI5 and AI6 chips is a point where future revenue growth is expected. The chips could be deployed across Tesla's entire AI value chain, including not only autonomous vehicles but also robotaxis, humanoid robots, and proprietary AI servers. Another semiconductor industry insider said, "The specific applications for the AI chips are expected to become clearer in the first half of this year," adding, "If Samsung Electronics' chip quality meets expectations, there is a high possibility this could expand into a $100 billion business."

The industry is also raising the possibility that Samsung Electronics' foundry division could achieve a turnaround to profitability next year. The division has continued to post annual losses of several trillion won until recently. Potential turning points for improved performance include the adoption of the next-generation mobile application processor "Exynos 2600" in the Galaxy S26 series, potential orders from big tech companies like Qualcomm and AMD, and increased utilization rates for 4-nanometer and 8-nanometer processes.
Kiwoom Securities noted in a recent report, "Samsung Electronics' foundry and System LSI divisions are expected to post annual operating losses of around 4 trillion won (this year), but there is also a possibility that the deficit could narrow further, driven by increased utilization of advanced process nodes." Heungkuk Securities projected, "As TSMC capacity shortages intensify, the visibility of Samsung Foundry's turnaround is increasing, with the Tesla contract as a catalyst."

[박평식 @yozm_germany]

항공권은.. 공홈에서 사라...
토달지말고...
그냥그렇게 하라면 해

[Martius @esprecchiato]

거울로서의 타인

헤르만 헤세는 우리가 누군가를 미워하는 이유가 그 사람의 결점이 우리 안에도 존재하기 때문이라고 말했다. 이 통찰은 미움이라는 감정의 화살표를 외부가 아닌 내부로 돌리게 한다. 우리는 흔히 타인의 특정 행동이나 성격이 객관적으로 잘못되었기에 분노한다고 믿지만, 사실 그 분노의 불씨는 우리 내면의 그림자에서 발원하는 경우가 많다.

심리학적으로 이를 투사라고 한다. 스스로 인정하고 싶지 않은 자신의 모습이나 억눌린 욕망을 타인에게서 발견할 때, 인간은 본능적으로 강한 거부감을 느낀다. 나에게 전혀 없는 성질이나 나와 상관없는 결점은 그저 무덤덤한 관찰의 대상일 뿐, 감정을 격렬하게 자극하지 않는다. 유독 누군가의 오만함이 참을 수 없이 싫다면, 그것은 내 안에 숨겨진 과시욕이나 열등감의 변형일 가능성이 크다. 타인은 나의 일부분을 비추는 거울이 되어, 내가 외면해온 진실을 마주하게 한다.

결국 타인에 대한 미움을 멈추는 유일한 방법은 내 안의 결점을 인정하고 화해하는 것이다. 상대방의 모습에서 나를 발견하는 순간, 그 날카롭던 비난은 연민이나 자기 성찰로 변한다. 나를 자극하는 그 결점이 사실은 나의 그림자임을 깨달을 때, 우리는 비로소 감정의 예속에서 벗어나 자유로워질 수 있다.

타인을 미워하는 에너지를 나를 이해하는 도구로 전환하는 것, 그것이 헤세가 던진 문장이 우리에게 주는 진정한 가르침이다. 미움은 타인이 아닌 나 자신을 더 깊이 들여다보라는 내면의 신호와 같다.

[Kim, YS @iseditorys]

시원하게 칼국수.

[Closer_o @Keymong368774]

헬싱키 경유가 좋은 점

Finnair로 헬싱키 경유해 유럽가면, 뱅기값도 좀 싸고,
아침도착, 11시간정도 다닐수 있는데,
좋은 게 바로 <핀란드 사우나>
바다보며 사우나, 야외 수영장에 카페까지.📷 역에서 도보 30분쯤.

Allas Sea Pool in Helsinki. 가격 20유로쯤. 8시오픈이니 뱅기 피로 풀고가기.

[All day Astronomy @forallcurious]

MARS is absolutely terrifying how much this resembles any random desert on Earth, and it's 225 million miles away.

[Journey @atmostbeautiful]

과학은 왜 망가졌나. 생산성과 효율 앞세운 지금의 경쟁적 연구 논문 양산 구조에서 AI는 문제를 더 악화시킬 수 있다.
(아래 원문 발췌)

지난달 네이처에 실린 논문에 따르면, 자연과학 분야 논문 4,100만 편 분석한 결과, AI 도구 이용한 과학자들 논문 발표가 세 배 늘었고, 인용 횟수도 거의 다섯 배 늘었다. 반면 연구 주제 범위는 5% 가까이 축소됐고 연구자들 간 상호 작업 참여도 22% 감소했다. 개별 과학자의 연구 속도 높이는 도구가 과학 전체를 좁히고 있는 결과를 초래한 것이다.

지난 12월 사이언스 논문에서도 200만 건 이상 사전 출판 논문 분석 결과, LLM 사용 논문 게재 건수는 36~60% 늘어난 것과 관련 있는 반면 LLM 지원 논문 경우 복잡도가 낮을수록 게재 확률이 높아지는 역설적 상관관계 보였다.

한 가지 해석은 연구자들이 문장은 정교하지만 깊이는 의심스러운 연구를 양산하고 있다는 것. 다른 분야 AI 도움받은 글쓰기 연구들도 '동질화 효과'를 보고한다. AI 사용자는 개별적으로는 글이 정교할 수 있지만 다른 저자들의 작업과 점점 더 유사한 결과물을 생산한다.

2,000여 건의 대입 에세이 분석해봐도, 인간 작성 에세이는 AI 생성 에세이에 비해 추가될 때마다 집단적 아이디어 풀에 새로운 아이디어 더 많이 기여하는 걸로 나타났다. 분석 대상 에세이 늘어날수록 격차는 더 커졌다.

종합해 보면 우려스러운 그림이 나타난다. AI는 과학적 생산의 지표는 가속화시키면서도 생산물의 질과 다양성은 저하시키는 경향을 보인다. 논문 수는 더 많아지고 속도는 빨라지지만 획기적인 성과는 줄어든다.

이 역설은 과학계 내에서 축적돼 온 문제를 명확히 보여준다. AI 전문가들은 이 도구가 암 치료하고 수명 늘리며 학문 발전 앞당길 거라고 약속해 왔다. 이런 주장이 막대한 투자를 정당화했고 AI를 과학의 구원자로 자리매김하게 했다. 현실은 더 복잡한 양상이다. AI는 과학을 가속화하기보다 이미 훼손된 보상 체계 속에서 과학자들이 생존하도록 최적화하고 있다.

신경과학자로서 AI와 인지 연구하는 나는 과학계 내부에서 활동하며 역학 관계를 깊이 이해하게 됐다. 끊임없는 단기 압박 속에서 연구자들은 약 10% 성공률의 연구비 지원을 받아야 하기에 끊임없이 생산해야 한다는 엄청난 압박에 시달린다. 항상 다음 지원서 준비하고 다음 논문 출판해야 한다는 압박. 기관들은 연구자 평가 때 측정하기 쉬운 기준-논문 수, 연구비 규모, 인용 지표-으로 이런 압박 강화한다. 이는 과학의 진전이 아닌 생산의 지표일 뿐이다. 진정한 과학적 진보는 정량화하기 어렵지만 생산성은 그렇지 않다.

최적화된 대응은 위험 회피다. 종신재직권 심사 전에는 자기 연구 프로그램이 가치 있음을 증명할 단 한 번의 기회가 주어진다. 불확실한 아이디어 쫓는 데 수년을 허비할 여유가 없다. 이런 압박 속에서 과학자들은 이해를 크게 진전시키지 못하더라도 확실히 논문을 생산해 낼 안전한 점진적 프로젝트를 추구하게 마련. 과학자 설문에서 응답자 69%가 "빠른 결과를 기대할 수 있는 프로젝트에 집중하는 것이 연구 방향에 너무 큰 영향을 미친다"고 답했다.

여기에다 AI를 더해보자. 이 도구들은 데이터 처리와 기존 데이터 세트에서 패턴 찾는 데 탁월하다. 이미 수행 중인 작업을 더 빠르고 더 많이 해내는 데 특히 능하다. 그러나 과학의 진보는 최적화된 효율성을 통해 이뤄지진 않는다. 주요 발견의 역사는 기존 데이터의 최적화된 분석이 아닌 자연에 대한 새로운 관점과 연결돼 있다.

AI 사용한 연구가 데이터가 풍부한 주제에 집중되는 건 당연한 일이다. AI 도구가 작동하려면 대규모 데이터셋이 필요하다. 데이터가 부족한 질문, 하지만 어쩌면 가장 것일 수 있는 중요한 질문들이 뒤처지게 된다. AI 영향 아래 있는 과학은 가로등 문제처럼 보이기 시작한다: 답이 실제로 있을 만한 곳이 아니라 불빛 아래 가장 밝은 곳을 찾는 것이다.

일부 학자들은 일찍이 같은 데이터로 훈련된 같은 AI 도구에 의존할 때 과학자들의 질문과 방법이 수렴되는 ‘과학적 단일화’를 경고해왔다. AI가 인간 편향 극복할 수 있는 객관적인 협력자로 자리 잡을 때 연구자들은 자신들이 실제로 이해하는 것보다 더 많이 안다고 믿으며 도구에 과도한 신뢰를 부여할 수 있다. 과학자들이 직접 충분히 다루지 않은 데이터로부터 AI 도구가 확신에 찬 듯한 결과를 내놓기 때문이다.

AI 도구가 과학에 무용지물이란 뜻은 아니다. 개별 과학자에겐 분명 유용하다. 그러나 크게 보면 과학 발전의 병목은 주로 기술적 문제가 아니라 조직의 문제다. 과학이라는 사업을 어떻게 구조화하느냐의 문제다. 전직 미 국립보건원 관계자는 ‘근본적으로 붕괴된’ 시스템에 관한 충격적인 사실을 폭로했다: 과학자들은 연구보다 행정적 요구사항에 약 45%의 시간을 소비한다; 연구비 지원 신청서는 1950년대 4쪽에서 오늘날 100쪽 이상으로 불어났다; 가장 심각한 건 과학자가 첫 주요 독립 연구비를 받는 평균 연령이 이제 45세다.

어쩌다 이 지경이 됐나? 소규모 단기 프로젝트 연구비 지원에 치중한 결과다. 과학 자금 지원을 ‘닭 사료 모이 주기’ 꼴이 됐다. 단기 경쟁적 제안 모델은 연구자들을 건설 계약 수주 경쟁 업체처럼 취급한다. 과학은 건설 프로젝트처럼 계획될 수 없다. 가설은 실패하고, 실험은 예상치 못한 결과 낳고, 가장 중요한 발견은 종종 과학자들이 호기심을 따라 예상치 못한 곳으로 나아갈 때 이뤄진다.

관료적 기능 장애, 부적절한 인센티브, 제도적 관성. 이 근본적인 시스템 고장은 아무리 검색에 빠른 AI를 과학자들에게 제공한들 해결되진 않을 것이다. 오히려 AI는 근본적인 보상 구조는 그냥 둔 채 생산 속도만 가속화해 상황을 더 악화시킬 위험이 있으며, 대량의 고만고만한 논문 홍수 속에 참신한 아이디어는 더 깊이 묻어버릴 것이다.

AI가 과학을 발전시킬 수 없다는 말이 아니다. 이미 단백질 생물학부터 핵융합에 이르는 다양한 분야에서 AI는 과학을 발전시켰다. 그러나 그런 돌파구들은 특정 과학적 문제를 해결하도록 설계된 AI 시스템과 연관되어 있었다. 네이처 연구에서 포착된 광범위한 채택은 다른 차원의 문제다: 연구자들이 데이터 처리 및 언어 도구를 활용해 기존에 하던 일을 더 빠르게 수행하는 것이다. 또 사이언스 연구가 시사하듯, 특히 LLM의 경우 ‘더 빠르게’라는 것은 더 정교한 문장으로 포장된 저품질 논문들이 더 많이 쏟아져 나온다는 뜻일 수 있다.

과학은 명확히 정의된 문제를 해결함으로써뿐만 아니라 새로운 문제를 창출함으로써 진보한다. 대부분의 과학자들이 실제로 AI를 활용하는 방식을 형성하는 제도적 문제들은 어떤 기술보다도 더 근본적인 문제다.

AI 기업과 과학 기금 지원 기관, 정책 입안자들은 AI를 마법 같은 촉진제로 보는 듯하다. 과학 활동에 뿌려 넣기만 하면 속도가 빨라질 거라는 식이다. 그러나 이것은 도로의 정체 원인이 실제로는 통행료 징수소인데 차선을 늘리는 것과 같다. 문제는 어떻게 해서 차선을 더 만들 것인가가 아니라, 애초에 왜 통행료 징수소가 존재하는가이다.
https://t.co/PVkVcElUe4

[EBS @EBSstory]

강원도 화천 비수구미 마을 설경. 정말 비현실적인 느낌 드는 집배원의 택배 배송 장면이다... ❄️🩵

#EBS #PD로그

[hallo @hallo23x23]

제프베조스는 레거시미디어 메이저인 워싱턴포스트를 선택했고,
일론머스크는 뉴미디어 X(트위터)를 선택했다.

두 사람의 차이를 명확하게 보여주는 접근이라고 생각함