빌라 전문 부동산 실거래 데이터를 제공하는 사이트인 '빌라노노'를 구축한 지도 벌써 4달이 지났습니다. 그동안 회사 일이 바빠서 '빌라노노'에 신경을 쓰지 못했네요. 그 사이 최신 데이터가 반영되지 않아, 사이트를 방문한 사람들이 아쉬워하지는 않았을까 걱정되었습니다.
다시 작업을 시작하려고 노트북을 켰습니다. 4달 만에 코드를 보니 너무 난해하게 느껴졌습니다. 최신 데이터를 반영하려고 해도 어디서부터 시작해야 할지 감이 잡히지 않았고, 기존 데이터를 헤치지 않을까 걱정도 되었습니다. 일주일에 한 번씩 '빌라노노' 작업을 하던 시기에는 틈틈이 코드 리팩토링을 많이 했었는데, 지금 보니 최신 데이터를 반영하는데 이렇게 코드 수정을 많이 해야 했나?라는 생각이 들었습니다.
사실 코드 수정은 30분 정도면 할 수 있는 일이었지만, 이 과정이 지속 가능한 방향인지에 대한 고민이 생기기 시작했습니다. 초기에는 제가 했던 작업들이 지속 가능한 것인 줄 알았는데, 생각이 바뀌게 된 순간이었습니다.
그래서 파이프라인을 만들기로 결심했습니다. 많은 분들이 아시겠지만 파이프라인 구축 자체는 그리 어려운 일이 아닙니다. 특히 대용량 파이프라인이나 자동화 파이프라인은 더욱 그렇습니다. 하지만 '빌라노노'에서 필요한 것은 대용량도 아니고, 매일매일 업데이트되는 자동화도 아닙니다.
이제 본격적으로 데이터를 반영하기 위해 고군분투한 이야기들을 풀어보려고 합니다. 7일이라는 짧은 시간 안에 파이프라인을 어떻게 구축했는지, 고민의 과정과 시행착오, 그리고 성공의 순간을 여러분과 나누고자 합니다.
그리고 '빌라노노' 사이트도 한 번 방문해 보세요!
Top comments (0)