Запись SqlFileStream в отдельном потоке не работает

Обучение и тестирование с использованием Sql FILESTREAM для веб-приложения. Клиент загружает большой файл с веб-страницы, что занимает «X» времени, а при полной загрузке показывает, что завершено на 100%. Однако очень большие файлы также требуют времени для записи SqlFileStream в файловую систему, поэтому я хочу выделить поток для завершения этой части. Код, который у меня есть, работает нормально, но данные не попадают в файл файлового потока.

Я оборачиваю начальное создание записи в свою собственную область транзакции и использую отдельную область транзакции в потоке. В многопоточной процедуре у меня есть соответствующие PathName() и TransactionContext, но я предполагаю, что что-то упускаю при использовании потока.

Я закомментировал обычный вызов SqlFileStream, который отлично работает. Ты видишь что-то неправильное в том, что я здесь делаю?

    Public Function StoreFileStream()
        Dim json As New Dictionary(Of String, Object)
        Dim parms As New FileStreamThreadParameters

        If HttpContext.Current.Request.Files.Count > 0 Then
            Dim file As HttpPostedFile = HttpContext.Current.Request.Files(0)

            If "contentType" <> String.Empty Then
                Dim fs As Stream = file.InputStream
                Dim br As New BinaryReader(fs)
                Dim noBytes As New Byte()

                Try
                    Dim filePath As String = ""
                    Dim trxContext As Byte() = {}
                    Dim baseFileId As Integer

                    Using trxScope As New TransactionScope
                        Using dbConn As New SqlConnection(DigsConnStr)
                            Using dbCmd As New SqlCommand("ADD_FileStreamFile", dbConn)
                                dbConn.Open()
                                Using dbRdr As SqlDataReader = dbCmd.ExecuteReader(CommandBehavior.SingleRow)
                                    dbRdr.Read()
                                    If dbRdr.HasRows Then
                                        filePath = dbRdr("Path")
                                        trxContext = dbRdr("TrxContext")
                                        baseFileId = dbRdr("BaseFileID")
                                    End If
                                    dbRdr.Close()
                                End Using

                                ' Code below writes to file, but trying to offload this to a separate thread so user is not waiting
                                'Using dest As New SqlFileStream(filePath, trxContext, FileAccess.Write)
                                '    fs.CopyTo(dest, 4096)
                                '    dest.Close()
                                'End Using
                            End Using
                            dbConn.Close()
                        End Using
                        trxScope.Complete()
                    End Using ' transaction commits here, not in line above

                    parms.baseFileId = baseFileId
                    parms.fs = New MemoryStream
                    fs.CopyTo(parms.fs)

                    Dim fileUpdateThread As New Threading.Thread(Sub()
                                                                     UpdateFileStreamThreaded(parms)
                                                                 End Sub)
                    fileUpdateThread.Start()

                    json.Add("status", "success")
                Catch ex As Exception
                    Elmah.ErrorSignal.FromCurrentContext().Raise(ex)
                    json.Add("status", "failure")
                    json.Add("msg", ex.Message)
                    json.Add("procedure", System.Reflection.MethodBase.GetCurrentMethod.Name)
                End Try
            Else
                json.Add("status", "failure")
                json.Add("msg", "Invalid file type")
                json.Add("procedure", System.Reflection.MethodBase.GetCurrentMethod.Name)
            End If
        End If
        Return json
    End Function

    Public Class FileStreamThreadParameters
        Public Property baseFileId As Integer
        Public fs As Stream
    End Class

    Private Sub UpdateFileStreamThreaded(parms As FileStreamThreadParameters)
        Dim filePath As String = ""
        Dim trxContext As Byte() = {}

        Try
            Using trxScope As New TransactionScope
                Using dbConn As New SqlConnection(DigsConnStr)
                    Using dbCmd As New SqlCommand("SELECT FileBytes.PathName() 'Path', GET_FILESTREAM_TRANSACTION_CONTEXT() 'TrxContext' FROM FileStreamFile WHERE Id = " & parms.baseFileId, dbConn)
                        dbConn.Open()
                        Using dbRdr As SqlDataReader = dbCmd.ExecuteReader(CommandBehavior.SingleRow)
                            dbRdr.Read()
                            If dbRdr.HasRows Then
                                filePath = dbRdr("Path")
                                trxContext = dbRdr("TrxContext")
                            End If
                            dbRdr.Close()

                            Using dest As New SqlFileStream(filePath, trxContext, FileAccess.Write)
                                parms.fs.CopyTo(dest, 4096)
                                dest.Close()
                            End Using
                        End Using
                    End Using
                    dbConn.Close()
                End Using
                trxScope.Complete()
            End Using
        Catch ex As Exception
            'Elmah.ErrorSignal.FromCurrentContext().Raise(ex)
        End Try
    End Sub

person JoelCool    schedule 12.02.2016    source источник


Ответы (1)


Очевидно, что это сложный вопрос. Я действительно заставил его работать с кодом ниже. Однако в конце концов я вообще отказался от использования SQL FILESTREAM из-за слишком большой сложности его настройки.

Это существующее веб-приложение с сервером sql в другом поле. После того, как я запустил потоковую передачу файлов, следующим препятствием стала настройка аутентификации. Для Filestream требуется встроенная безопасность в строке подключения. Даже с проверкой подлинности Windows в нашем приложении для интрасети я не смог заставить веб-приложение использовать учетные данные Windows при подключении к базе данных. Казалось, что всегда использовалось имя компьютера или служба пула приложений. Я пробовал много много примеров, которые я нашел в сети, и здесь безрезультатно. Даже если бы у меня это заработало, я бы хотел использовать группу Active Directory для отдельных входов в систему, что выглядело еще одним препятствием.

Это приложение хранит документы в столбце varbinary, чтобы в какой-то момент можно было включить полнотекстовый поиск. Проблема была с большими файлами, которые обычно представляют собой изображения или видео. Поскольку вы все равно не можете искать текст в них, стратегия теперь заключается в том, чтобы хранить их в файловой системе, а все другие доступные для поиска документы (.docx, .pptx и т. д.) по-прежнему будут храниться в varbinary. Мне на самом деле грустно, что я не смог заставить файловый поток работать, так как это кажется идеальным решением. Я вернусь к этому когда-нибудь, но на самом деле это не должно быть чертовски сложным. :-(

Код, который у меня работает:

                    Dim filePath As String = ""
                    Dim trxContext As Byte() = {}
                    Dim baseFileId As Integer

                    Using trxScope As New TransactionScope
                        Using dbConn As New SqlConnection(DigsFSConnStr)
                            Using dbCmd As New SqlCommand("NEW_FileStreamBaseFile", dbConn)
                                dbCmd.CommandType = CommandType.StoredProcedure
                                dbCmd.Parameters.AddWithValue("@Title", fileDesc)
                                dbCmd.Parameters.AddWithValue("@Summary", summary)
                                dbCmd.Parameters.AddWithValue("@Comments", comments)
                                dbCmd.Parameters.AddWithValue("@FileName", uploadedFileName)
                                dbCmd.Parameters.AddWithValue("@ContentType", contentType)
                                dbCmd.Parameters.AddWithValue("@FileExt", ext)
                                'dbCmd.Parameters.AddWithValue("@FileBytes", noBytes)    ' now that were offloading the file byte storage to a thread
                                dbCmd.Parameters.AddWithValue("@UploadedByResourceID", uploadedByResourceID)
                                dbCmd.Parameters.AddWithValue("@UploadedByShortName", uploadedByShortName)
                                dbCmd.Parameters.AddWithValue("@FileAuthor", fileAuthor)
                                dbCmd.Parameters.AddWithValue("@TagRecID", tagRecID)
                                dbCmd.Parameters.AddWithValue("@UserID", samAccountName)
                                dbCmd.Parameters.AddWithValue("@FileDate", fileDate)
                                dbCmd.Parameters.AddWithValue("@FileType", fileType)
                                dbCmd.Parameters.AddWithValue("@FileTypeRecID", fileTypeRecId)

                                ' Save to file system too for xod conversion
                                file.SaveAs(HttpContext.Current.Server.MapPath("~/files/uploaded/") & uploadedFileName)

                                dbConn.Open()
                                Using dbRdr As SqlDataReader = dbCmd.ExecuteReader(CommandBehavior.SingleRow)
                                    dbRdr.Read()
                                    If dbRdr.HasRows Then
                                        filePath = dbRdr("Path")
                                        trxContext = dbRdr("TrxContext")
                                        json.Add("baseFileId", dbRdr("BaseFileID"))
                                        virtualFileRecId = dbRdr("VirtualFileRecID")
                                        dbStatus = dbRdr("status")
                                        If dbStatus = "failure" Then
                                            json.Add("msg", dbRdr("msg"))
                                        End If
                                    End If
                                    dbRdr.Close()
                                End Using

                                ' Prepare and start Task thread to write the file
                                If dbStatus = "success" Then
                                    bytes = br.ReadBytes(fs.Length)
                                    Dim task As New System.Threading.Tasks.Task(
                                        Sub()
                                            UpdateNewFileStreamBytes(virtualFileRecId, bytes)
                                        End Sub)
                                    task.Start()
                                    json.Add("status", "success")
                                Else
                                    json.Add("status", "failure")
                                End If
                            End Using
                            dbConn.Close()
                        End Using
                        trxScope.Complete()
                    End Using ' transaction commits here, not in line above

С процедурой задачи:

    Private Sub UpdateNewFileStreamBytes(virtualFileRecId As Integer, fileBytes As Byte())
        Dim filePath As String = ""
        Dim trxContext As Byte() = {}

        Try
            Using trxScope As New TransactionScope
                Using dbConn As New SqlConnection(DigsFSConnStr)
                    Using dbCmd As New SqlCommand("UPD_FileStreamBaseFile", dbConn)
                        dbCmd.CommandType = CommandType.StoredProcedure
                        dbCmd.Parameters.AddWithValue("@VirtualFileRecID", virtualFileRecId)

                        dbConn.Open()
                        Using dbRdr As SqlDataReader = dbCmd.ExecuteReader(CommandBehavior.SingleRow)
                            dbRdr.Read()
                            If dbRdr.HasRows Then
                                filePath = dbRdr("Path")
                                trxContext = dbRdr("TrxContext")
                            End If
                            dbRdr.Close()

                            Using dest As New SqlFileStream(filePath, trxContext, FileAccess.Write)
                                dest.Write(fileBytes, 0, fileBytes.Length)
                                dest.Close()
                            End Using
                        End Using
                    End Using
                    dbConn.Close()
                End Using
                trxScope.Complete()
            End Using
        Catch ex As Exception
            Elmah.ErrorSignal.FromCurrentContext().Raise(ex)
        End Try
person JoelCool    schedule 19.02.2016