import sqlite3 # SQLite 데이터베이스에 연결 conn = sqlite3.connect('example.db') # 커서 생성 cursor = conn.cursor() # 현재 데이터베이스에 있는 테이블 목록 조회 cursor.execute("SELECT name FROM sqlite_master WHERE type='table';") tables = cursor.fetchall() # 테이블 목록 출력 print("현재 데이터베이스에 있는 테이블 목록:") for table in tables: print(table[0]) # 연결 종료 conn.close() 내 DB에 저장되어 있는 table을 출력하고 싶을 때 아래와 같이 코드를 작성하면 된다.

대용량의 데이터를 설계하고, 해당 데이터 접근을 위해 python dictionary 파일을 만들어 데이터에 접근하였다. 그러나 다중 조건의 경우 데이터 접근이 어려웠고, 그 과정에서 SQLite를 찾게 되었다. 그럼 dict와 SQLite 차이점과 장단점은 무엇일까 dict 사용하기: 장점: 데이터에 빠르게 접근 가능: dict는 간단하게 Key를 통해 데이터에 빠르게 접근할 수 있다. 메모리 내 데이터 관리: 작은 규모의 데이터를 간편하게 메모리에 저장할 수 있다. 단점: 영속성 부족: 프로그램이 종료되면 데이터가 소멸되어 영속적인 데이터 저장이 불가능하다. 복잡한 쿼리 불가능: dict는 키 기반의 단순한 데이터 접근만 가능하며, SQL과 같은 복잡한 쿼리 처리는 어렵다. SQLite 사용하기: 장..

Python의 multiprocessing 모듈을 사용하여 파일을 병렬로 처리할 수 있다. 이를 통해 파일 읽기와 데이터베이스 삽입 작업을 동시에 진행하여 전체 작업 시간을 줄일 수 있다. 아래는 multiprocessing을 사용한 간단한 예제 코드이다. 코드에서 process_data 함수는 파일을 읽어서 데이터베이스에 삽입하는 역할을 한다. 이 함수를 여러 프로세스로 병렬 실행한다. import sqlite3 import json import os from multiprocessing import Pool def process_data(json_file): # 각 파일의 처리 작업 with open(os.path.join('json_data', json_file), 'r&#39..

가지고 있는 dict 파일을 이용해서 SQLite로 DB화 하는 법 import sqlite3 import json # 중첩된 딕셔너리 예제 nested_dict = { 'id': 1, 'name': 'John', 'details': { 'age': 25, 'address': '123 Main St' } } # SQLite 데이터베이스에 연결 conn = sqlite3.connect('example.db') # 커서 생성 cursor = conn.cursor() # 테이블 생성 (이미 테이블이 있다면 생략 가능) cursor.execute(''' CREATE TABLE IF NOT EXISTS users ( id INTEGER PRIMARY KEY, data TEXT ) ''') # 중첩된 딕셔너리를 문..

요즘 많은 양의 데이터를 조회하고 관리하다보니, 이를 효율적으로 하고 싶다는 needs가 많이 생겼다. python multiprocessing 관련 - https://jaeha-lee.tistory.com/7 python - multiprocessing, pool, process 키워드 : pool, process, pool.starmap 대용량, 많은 양의 데이터를 옮기고 이동하면서 병렬 프로그래밍의 필요성을 느끼고 얻게 된 내용을 정리하고자 한다. (이론보다는 코드 기반으로...) python은 기본 jaeha-lee.tistory.com 개발 환경 상 서버없이 하는 경우가 필요했는데 SQLite라는 Python에서 제공하는 모듈이 있었다. SQLite는 서버없이 로컬에서 파일로 데이터베이스를 관리..

백엔드에서 flask를 통해서 s3에 있는 이미지 데이터를 읽어서 해당 이미지 데이터를 프론트엔드 react로 보내서 이미지를 보는 방법 Flask 백엔드 설정: Flask 애플리케이션을 구성하고 S3에서 이미지를 읽어오는 엔드포인트(API)를 작성합니다. Flask는 boto3 라이브러리를 사용하여 AWS S3에 액세스할 수 있습니다. from flask import Flask, jsonify import boto3 app = Flask(__name__) @app.route('/get_image', methods=['GET']) def get_image(): # AWS S3 설정 bucket_name = 'your-bucket-name' object_key =..