MongoDB 파일 저장소로 사용하기

MongoDB는 비정형 데이터를 관리하는 데 강점을 가진 NoSQL 데이터베이스로, 파일과 같은 대규모 바이너리 데이터를 손쉽게 저장하고 관리할 수 있는 GridFS 기능을 제공합니다. 이 글에서는 Spring Boot와 Kotlin을 이용하여 파일을 MongoDB에 저장하고 관리하는 방법을 소개합니다. 또한 파일을 MongoDB에 저장하는 것의 장단점과 유의할 점에 대해서도 다룹니다.

1. 프로젝트 설정

Spring Boot와 Kotlin을 사용하여 MongoDB와 연동하기 위해서는 다음과 같은 의존성을 추가해야 합니다.

Gradle 설정 (build.gradle.kts):

dependencies {
    implementation("org.springframework.boot:spring-boot-starter-data-mongodb")
    implementation("org.springframework.boot:spring-boot-starter-web")
    implementation("org.jetbrains.kotlin:kotlin-reflect")
    implementation("org.jetbrains.kotlin:kotlin-stdlib-jdk8")
}

이제 Spring Boot와 MongoDB 연동을 위한 기본 환경이 설정되었습니다.

2. 파일 업로드를 위한 REST API 작성

MongoDB의 GridFS를 사용하여 파일을 저장하는 방법을 구현해보겠습니다.

파일 업로드 및 다운로드를 위한 Controller 작성:

import com.mongodb.client.gridfs.GridFSBuckets
import com.mongodb.client.gridfs.model.GridFSUploadOptions
import org.bson.types.ObjectId
import org.springframework.http.HttpHeaders
import org.springframework.http.MediaType
import org.springframework.http.ResponseEntity
import org.springframework.web.bind.annotation.*
import org.springframework.web.multipart.MultipartFile
import com.mongodb.client.MongoClients
import java.io.ByteArrayOutputStream

@RestController
@RequestMapping("/files")
class FileController {

    private val mongoClient = MongoClients.create("mongodb://localhost:27017")
    private val database = mongoClient.getDatabase("mydatabase")
    private val gridFSBucket = GridFSBuckets.create(database)

    @PostMapping("/upload")
    fun uploadFile(@RequestParam("file") file: MultipartFile): ResponseEntity<String> {
        val options = GridFSUploadOptions()
            .chunkSizeBytes(1024 * 1024)
            .metadata(org.bson.Document("contentType", file.contentType))

        val inputStream = file.inputStream
        val fileId = gridFSBucket.uploadFromStream(file.originalFilename, inputStream, options)
        return ResponseEntity.ok("File uploaded successfully with ID: $fileId")
    }

    @GetMapping("/download/{id}")
    fun downloadFile(@PathVariable id: String): ResponseEntity<ByteArray> {
        val outputStream = ByteArrayOutputStream()
        gridFSBucket.downloadToStream(ObjectId(id), outputStream)
        val fileData = outputStream.toByteArray()

        val metadata = gridFSBucket.find(org.bson.Document("_id", ObjectId(id))).first()?.metadata
        val contentType = metadata?.getString("contentType") ?: MediaType.APPLICATION_OCTET_STREAM_VALUE

        return ResponseEntity.ok()
            .header(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=\"${id}\"")
            .contentType(MediaType.parseMediaType(contentType))
            .body(fileData)
    }
}

위 코드에서는 간단한 파일 업로드 및 다운로드 기능을 제공합니다. uploadFile 메소드는 사용자가 업로드한 파일을 GridFS를 통해 MongoDB에 저장하며, downloadFile 메소드는 저장된 파일을 다운로드할 수 있는 API를 제공합니다.

3. MongoDB를 파일 저장소로 사용시 장단점

장점

1. 단순한 관리: 파일과 관련된 메타데이터를 한 곳에서 관리할 수 있습니다. 데이터베이스에 파일과 메타데이터를 같이 저장하면 파일 접근 및 검색이 용이해집니다.
2. 분산 환경에서 유리: MongoDB는 기본적으로 분산 시스템을 염두에 두고 설계되었기 때문에, 여러 노드에 걸쳐 파일을 저장하고 관리하는 것이 상대적으로 간편합니다.
3. 백업 및 복원 용이: 데이터베이스의 백업 및 복원을 통해 파일까지 함께 관리할 수 있어 운영에 용이합니다.

단점

1. 성능 문제: MongoDB는 파일 저장소로서의 성능이 일반적인 파일 시스템보다 떨어질 수 있습니다. 특히, 대형 파일을 다수 저장하는 경우에는 읽기/쓰기 성능이 문제가 될 수 있습니다.
2. 데이터베이스 크기 증가: 파일을 데이터베이스에 저장하면 데이터베이스의 크기가 급격히 커질 수 있습니다. 이는 백업, 복구 및 복제 시 부담이 될 수 있습니다.
3. 복잡성 증가: 파일과 데이터를 같은 데이터베이스에 저장하는 것이 간단해 보일 수 있지만, 대규모 파일 처리가 필요한 경우 복잡성이 증가할 수 있습니다.

4. 파일 저장 시 유의할 점

1. 파일 크기 관리: MongoDB는 기본적으로 16MB 이상의 문서를 지원하지 않지만, GridFS를 사용하여 큰 파일을 나누어 저장할 수 있습니다. 하지만 대용량 파일을 다룰 때는 적절한 청크 크기와 메타데이터 관리에 유의해야 합니다.
2. 메타데이터 활용: 파일에 대한 메타데이터를 잘 정의하여 저장하면, 파일 검색과 관리가 더 쉬워집니다. 예를 들어, 파일의 콘텐츠 타입, 업로드 날짜 등을 메타데이터로 저장하는 것이 유용합니다.
3. 백업 및 복구 계획: 파일을 MongoDB에 저장하면 데이터베이스의 크기가 커지므로, 정기적인 백업 계획을 세우는 것이 중요합니다. 대규모 데이터를 다룰 때는 증분 백업 등의 전략을 고려해야 합니다.

5. MongoDB 파일 저장 관리의 활용 방안

1. 파일 접근 패턴 최적화: 자주 사용하는 파일에 대해 접근 속도를 높이기 위해 캐싱 레이어를 추가할 수 있습니다. 예를 들어, Redis와 같은 인메모리 캐시를 사용하여 자주 요청되는 파일의 데이터를 캐싱함으로써 접근 시간을 줄일 수 있습니다.
2. 파일 분류 및 라우팅: 파일의 크기나 사용 빈도에 따라 저장소를 다르게 관리하는 것도 좋은 방법입니다. 작은 파일은 MongoDB에 저장하고, 대형 파일은 별도의 클라우드 스토리지(예: AWS S3)와 같은 외부 저장소에 저장하여 효율적으로 관리할 수 있습니다.
3. 메타데이터 기반 검색 기능 강화: 파일과 함께 저장된 메타데이터를 잘 활용하면, 파일 검색 기능을 매우 강력하게 만들 수 있습니다. 예를 들어, 업로드한 사용자, 파일 유형, 날짜 등을 기준으로 파일을 쉽게 검색하고 분류할 수 있도록 설계하면 사용자의 편의성을 크게 높일 수 있습니다.
4. 청크 크기 조정: GridFS는 파일을 청크로 나누어 저장하므로, 파일의 특성에 맞게 청크 크기를 조정하면 성능을 최적화할 수 있습니다. 예를 들어, 대형 파일은 더 큰 청크 크기를 사용하여 저장하고, 작은 파일은 기본 청크 크기를 유지하는 것이 좋습니다.
5. 파일 버전 관리: 파일의 변경 이력을 관리해야 하는 경우, MongoDB의 컬렉션에 파일의 버전을 기록하여 버전별로 파일을 관리하는 방법도 있습니다. 이를 통해 사용자는 이전 버전의 파일을 쉽게 복구하거나 참조할 수 있습니다.

해당 글은 ChatGPT와 함께 작성되었습니다.