<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="757472682310778880">
                                    <div>

                                        

                                        <div><p>지난 번 클로드의 마인드 맵핑 연구에 이어 이번에 인터뷰 영상이 공개됐네요.</p><figure></figure><p>여기서 “It’s almost like doing biology of a new kind of organism."라는 표현이 인상적입니다. 새로운 종류의 유기체에 대한 생물학적 연구라는 거죠. 어쨌든 이들이 하는 연구는 mechanistic interpretability이고 very small unit에 대한 understanding이 larger mechanism의 understanding으로 이어질 수 있다는 믿음에 근거합니다.</p><p>하지만 예전에도 아인슈타인의 두뇌를 쪼개봤더니 아무것도 얻을게 없었고, 제가 얼마전에 읽었던 매튜 코브의 &lt;뇌 과학의 모든 역사&gt; 마지막 장에서도 "우리는 100년간 두뇌를 연구했지만 알아낸건 아무것도 없다"라는 결론으로 매듭짓습니다. 마이크로소프트의 크리스 비숍도 "뉴런의 동작원리를 연구한다 해도 왜 그렇게 판단했는지 인간이 이해하는 것은 이제 불가능하다"고 얘기했죠. 그래서 저도 이런 해석 연구가 이제는 ‘인간이 이해할 수 있는 범위를 넘어섰을 것이다'라고 믿는 쪽인데, 어쨌든 이 연구를 주도 하는 사람이 소싯적에 LSTM 공부하면서 큰 도움을 받았던 chris olah이기도 하고 사실 얼마전에 잠깐 공개됐던 클로드의 금문교 데모가 매우 인상적이긴 했습니다. 그런데 오늘은 오픈AI에서도 비슷한 연구 논문을 공개했네요.</p><p>거의 1주일 차이로 앤스로픽과 오픈AI가 나란히 논문을 공개했다는 점은 이미 오래전부터 관련 연구를 꾸준히 진행했다는 얘기이기도 하고요. 오픈AI는 고맙게도 sparse auto encoder 코드도 모두 공개해줘서 직접 실험도 할 수 있겠네요. 나중에 한번 직접 실험 해보고 싶고요. 어쨌든 Explainable AI (XAI), interpretability, 이런 해석 가능성 연구가 어디까지 이어질지 비판적이지만 또 아이러니하게 상당히 흥미가 가는 것도 사실이긴 합니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                                <section>
                                    <p>See more posts like this on Tumblr</p>
                                    
                                        <a href="https://tumblr.com/tagged/Youtube" target="_blank">#Youtube</a>
                                    
                                </section>
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

지난 번 클로드의 마인드 맵핑 연구에 이어 이번에 인터뷰 영상이 공개됐네요.여기서 “It’s almost like doing biology of a new...

지난 번 클로드의 마인드 맵핑 연구에 이어 이번에 인터뷰 영상이 공개됐네요.

댓글