Posts

[Data management]#3 GAS: 24시간 멈추지 않는 공장(GAS:The 24/7 Unmanned Factory)

The Physical Limit: Breaking free from the local desktop constraint—why your automation scripts shouldn't depend on your laptop being kept turned on. Serverless Cloud Power: How Google Apps Script (GAS) processes your datasets 24/7 inside monolithic global data centers with exactly 0% local CPU usage. Autonomous Time Triggers: Utilizing built-in time-driven scheduling to execute critical workflows automatically, even when your machine is completely dead silent. Ready to decouple your workflows from hardware? Let's build a fully autonomous data pipeline in the cloud. 1. 파이썬 로컬 자동화가 마주한 '물리적 한계' 앞선 포스팅에서 우리는 파이썬과 Pandas를 활용해 수백 개의 엑셀 파일을 1초 만에 제어하는 강력한 로컬 데이터 파이프라인을 구축했습니다. 내 컴퓨터(VS Code)에서 터미널 로그를 보며 데이터가 융합되는 과정은 매우 짜릿한 경험입니다. 하지만 실무에 이 시스템을 본격적으로 적용하다 보면, 또 하나의 거대한 운영적 난관에 봉착하게 됩니다. 바로 "내가 퇴근해도, 내 컴퓨터를 꺼도 이 프로그램이 정해진 시간에 알아서 돌아갈 수 있는가?" 의 문제입니다. 파이썬 로컬 코드는 Windows의 작업 스케줄러나 Mac의 크론탭(Crontab)을 통해 특정 시간 예약을 걸어둘 수 있습니다. 그러나 치명적인 전제조건이 있습니다. 그 시간에 내 컴퓨터...

[Data management]#2-1 파이썬: 데이터 핸들링의 자유와 시스템 확장 (Python: Mastering Data Handling and System Scalability)

Image
Moving from Excel to Python: The Data Handling Breakthrough The Scalability Wall: Moving beyond single sheets to processing hundreds of separate files simultaneously without system lags. Precision Targeting: Using Pandas Boolean Indexing to filter specific column criteria—like extracting Column F for 'SMS' records—instantly. The Local Advantage: Why running scripts inside VS Code and tracking real-time terminal logs builds true engineering insight. Ready to unlock infinite expansion? Let’s transition from manual grids to automated pipelines.   1. 엑셀의 한계, 그리고 데이터 핸들링의 새로운 패러다임 업무 자동화를 설계하다 보면 어느 순간 '단일 파일'의 경계를 넘어 수십, 수백 개의 데이터를 동시에 제어해야 하는 시점이 옵니다. 예를 들어, 수많은 분원이나 강사님들이 개별적으로 보낸 성적 데이터나 주소록 엑셀 파일이 폴더 하나에 가득 쌓여 있다고 가정해 봅시다. 이 파일들을 하나하나 열어서 복사(Ctrl+C)하고 마스터 시트에 붙여넣기(Ctrl+V)하는 작업은 단순 반복을 넘어 데이터가 누락되거나 행이 밀리는 '휴먼 에러'의 주범이 됩니다. VBA 매크로로 해결하려고 해도 파일 개수가 수백 개를 넘어가면 시스템이 멈추거나 연산 속도가 기하급수적으로 느려지는 물리적 벽에 부딪히게 됩니다. 파이썬의 핵심 데이터 분석 라이브러리인 Pandas(판다스)를 도입하는 순간, 이러한 수작업 데이터...

[Insight]#1 시스템 모멘텀과 리스크 제어: 흐름(Mastering System Momentum: Risk Control in the Face of the Run)

Image
  "A 'Run' is not something to be analyzed; it is something to be acknowledged and ridden." 1. 카지노가 멀쩡한 딜러를 바꾸는 이유 거대 자본이 움직이는 카지노에서는 흥미로운 장면을 목격할 수 있습니다. 특정 테이블에서 플레이어들의 연승이 이어지며 기세가 정점으로 치달을 때(Hot Run), 카지노 측은 갑자기 딜러를 교체합니다. 수학적으로는 딜러가 바뀐다고 해서 다음 카드가 나올 확률이 변하는 것은 아닙니다. 하지만 카지노는 결코 미신 때문에 이런 행동을 하는 것이 아닙니다. 이것은 시스템이 한 방향으로 과열되는 '심리적·물리적 모멘텀(흐름)'을 강제로 끊어내어 불확실성을 관리 하려는 고도의 리스크 관리 공정입니다. 수학적 확률은 변하지 않을지라도, 플레이어의 기세와 시스템의 과열이라는 '비정형 변수'가 시스템의 통제 범위를 벗어날 수 있음을 인정하고, 물리적인 개입을 통해 판 전체를 리셋하는 것입니다. 2. 투자와 사업: 흐름에 올라탈 것인가, 대항할 것인가? 이 '흐름(Run)'의 원리는 주식, 코인, 그리고 사업 현장에서도 냉혹하게 적용됩니다. 아무리 정교한 시스템을 구축했더라도, 그 시스템이 작동하는 환경인 '흐름'을 역행하면 결과는 파멸적이기 때문입니다. 주식과 코인: 하락장이 거대한 하향 모멘텀을 그리며 쏟아질 때, 단기 지표만 보고 "과매도니까 반등할 것"이라며 역추세 매매를 하는 것은 폭주하는 트럭 앞에 몸을 던지는 것과 같습니다. 시장의 'Run'은 당신의 시스템이 예측한 확률보다 훨씬 더 길고 잔인하게 이어질 수 있습니다. 비즈니스: 잘 설계된 사업 시스템도 시장의 트렌드(Flow)라는 거대한 물줄기를 타야 합니다. 시대의 흐름이 변하고 있는데 "과거의 성공 방식이 맞다"며 고집을 부리는 순간, 15년 공정 노하우로 만든 시스템...

[Data management]#2 파이썬: 데이터 핸들링의 자유와 시스템 확장 (Python: Mastering Data Handling and System Scalability)

Image
Moving from Excel to Python The Scalability Wall: Moving beyond single files to handling hundreds of datasets simultaneously. The AI Revolution: Transitioning from "Learning Syntax" to "Designing Logic" with Generative AI. Local Execution: Why running code in your own environment is the ultimate "Insight Builder." Infinite Expansion: Unlocking the power of Pandas, File I/O Automation, and Real-time Notifications. Ready to level up? Install VS Code from the link below and let’s start the journey! (Full English version is available below.) 1. 엑셀의 벽, 그리고 마주한 난관 지난 포스팅에서 우리는 엑셀 함수와 VBA 매크로를 통해 업무 자동화의 초석을 다졌습니다. 익숙한 도구로 시작하는 자동화는 분명 매력적입니다. 하지만 실무에서 데이터 핸들링의 역량을 키워나가다 보면, 어느 순간 '물리적 한계'라는 벽에 부딪히게 됩니다. 가장 대표적인 케이스가 바로 '확장성(Scalability)'의 문제입니다. 하나의 엑셀 파일 내에서 수십 개의 시트를 다루는 것까지는 VBA로 가능합니다. 하지만 다뤄야 할 엑셀 파일이 수십 개, 수백 개로 늘어나고, 그 파일들이 네트워크 드라이브나 클라우드 곳곳에 흩어져 있다면 어떨까요? VBA로 이 파일들을 하나하나 열고 닫으며 데이터를 수집하는 방식은 속도와 안정성 면에서 심각한 병목 현상을 일으킵니다. ...

[Data management]#1 엑셀: 익숙한 시작 (Excel: The Familiar Starting Point)

Image
The AI Revolution in Excel: From Formulas to Automated Systems   As a process engineer with 15 years of experience, I’ve seen Excel evolve from a simple spreadsheet to a powerful automation engine. In the age of Generative AI, the paradigm has shifted: you no longer need to memorize complex formulas or VBA syntax. This post explores how AI-driven macros can eliminate manual labor and why I eventually transitioned from Excel to Python-based systems to overcome structural bottlenecks. Key Takeaway: Learn how to achieve "1-second automation" by articulating your business logic to AI, rather than struggling with code. (Full English version is at the bottom of this post)  지난 15년간 엔지니어로 근무하며 수많은 툴을 다뤘지만, 가장 오랜 시간 함께한 도구는 단연 엑셀(Excel)이었습니다. 특히 2022년 생성형 AI가 대중화되면서 제가 엑셀을 사용하는 방식은 완전히 바뀌었습니다. 과거에는 복잡한 수식을 외우거나 VBA 문법을 공부해야 했지만, 이제는 AI와의 협업을 통해 기초적인 함수부터 고도화된 매크로까지 너무나 쉽고 빠르게 해결할 수 있게 되었기 때문입니다. 하지만 AI를 통해 엑셀의 한계를 끝까지 밀어붙이다 보니, 역설적으로 엑셀이라는 플랫폼 자체가 가진 근본적인 한계를 마주하게 되었습니다. 대량의 데이터를 정밀하...