Fix pg_dump on win32 to properly dump files larger than 2Gb when using
authorMagnus Hagander <magnus@hagander.net>
Mon, 19 Feb 2007 15:05:06 +0000 (15:05 +0000)
committerMagnus Hagander <magnus@hagander.net>
Mon, 19 Feb 2007 15:05:06 +0000 (15:05 +0000)
binary dump formats.

src/bin/pg_dump/pg_backup_archiver.c
src/bin/pg_dump/pg_backup_archiver.h
src/bin/pg_dump/pg_backup_custom.c
src/bin/pg_dump/pg_backup_files.c
src/bin/pg_dump/pg_backup_tar.c
src/bin/pg_dump/pg_dump.h

index c64d68e38029004f1da1e265cabdd0ffbb8cc8ac..3f014d9c62a4a1dd6710ec8e9800b873b1e6589b 100644 (file)
@@ -15,7 +15,7 @@
  *
  *
  * IDENTIFICATION
- *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_archiver.c,v 1.141 2007/02/01 19:10:28 momjian Exp $
+ *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_archiver.c,v 1.142 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -1311,24 +1311,24 @@ TocIDRequired(ArchiveHandle *AH, DumpId id, RestoreOptions *ropt)
 }
 
 size_t
-WriteOffset(ArchiveHandle *AH, off_t o, int wasSet)
+WriteOffset(ArchiveHandle *AH, pgoff_t o, int wasSet)
 {
    int         off;
 
    /* Save the flag */
    (*AH->WriteBytePtr) (AH, wasSet);
 
-   /* Write out off_t smallest byte first, prevents endian mismatch */
-   for (off = 0; off < sizeof(off_t); off++)
+   /* Write out pgoff_t smallest byte first, prevents endian mismatch */
+   for (off = 0; off < sizeof(pgoff_t); off++)
    {
        (*AH->WriteBytePtr) (AH, o & 0xFF);
        o >>= 8;
    }
-   return sizeof(off_t) + 1;
+   return sizeof(pgoff_t) + 1;
 }
 
 int
-ReadOffset(ArchiveHandle *AH, off_t *o)
+ReadOffset(ArchiveHandle *AH, pgoff_t *o)
 {
    int         i;
    int         off;
@@ -1348,8 +1348,8 @@ ReadOffset(ArchiveHandle *AH, off_t *o)
        else if (i == 0)
            return K_OFFSET_NO_DATA;
 
-       /* Cast to off_t because it was written as an int. */
-       *o = (off_t) i;
+       /* Cast to pgoff_t because it was written as an int. */
+       *o = (pgoff_t) i;
        return K_OFFSET_POS_SET;
    }
 
@@ -1379,8 +1379,8 @@ ReadOffset(ArchiveHandle *AH, off_t *o)
     */
    for (off = 0; off < AH->offSize; off++)
    {
-       if (off < sizeof(off_t))
-           *o |= ((off_t) ((*AH->ReadBytePtr) (AH))) << (off * 8);
+       if (off < sizeof(pgoff_t))
+           *o |= ((pgoff_t) ((*AH->ReadBytePtr) (AH))) << (off * 8);
        else
        {
            if ((*AH->ReadBytePtr) (AH) != 0)
@@ -1647,7 +1647,7 @@ _allocAH(const char *FileSpec, const ArchiveFormat fmt,
    AH->createDate = time(NULL);
 
    AH->intSize = sizeof(int);
-   AH->offSize = sizeof(off_t);
+   AH->offSize = sizeof(pgoff_t);
    if (FileSpec)
    {
        AH->fSpec = strdup(FileSpec);
@@ -2768,11 +2768,11 @@ checkSeek(FILE *fp)
 
    if (fseeko(fp, 0, SEEK_CUR) != 0)
        return false;
-   else if (sizeof(off_t) > sizeof(long))
+   else if (sizeof(pgoff_t) > sizeof(long))
 
        /*
-        * At this point, off_t is too large for long, so we return based on
-        * whether an off_t version of fseek is available.
+        * At this point, pgoff_t is too large for long, so we return based on
+        * whether an pgoff_t version of fseek is available.
         */
 #ifdef HAVE_FSEEKO
        return true;
index 4a8cff359873fc6929789d70d3add85634a653d5..9e6e06daa8d9d822c6bb868d44ed425a033f10c1 100644 (file)
@@ -17,7 +17,7 @@
  *
  *
  * IDENTIFICATION
- *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_archiver.h,v 1.74 2007/01/25 03:30:43 momjian Exp $
+ *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_archiver.h,v 1.75 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -199,7 +199,7 @@ typedef struct _archiveHandle
                                 * format */
    size_t      lookaheadSize;  /* Size of allocated buffer */
    size_t      lookaheadLen;   /* Length of data in lookahead */
-   off_t       lookaheadPos;   /* Current read position in lookahead buffer */
+   pgoff_t     lookaheadPos;   /* Current read position in lookahead buffer */
 
    ArchiveEntryPtr ArchiveEntryPtr;    /* Called for each metadata object */
    StartDataPtr StartDataPtr;  /* Called when table data is about to be
@@ -332,8 +332,8 @@ extern int  ReadInt(ArchiveHandle *AH);
 extern char *ReadStr(ArchiveHandle *AH);
 extern size_t WriteStr(ArchiveHandle *AH, const char *s);
 
-int            ReadOffset(ArchiveHandle *, off_t *);
-size_t     WriteOffset(ArchiveHandle *, off_t, int);
+int            ReadOffset(ArchiveHandle *, pgoff_t *);
+size_t     WriteOffset(ArchiveHandle *, pgoff_t, int);
 
 extern void StartRestoreBlobs(ArchiveHandle *AH);
 extern void StartRestoreBlob(ArchiveHandle *AH, Oid oid);
index 8d77af19c9239c29b47ac0af1f3e81dfc8d6aff7..b859b04af94016162b988a64c6b0e7a86c4f6257 100644 (file)
@@ -19,7 +19,7 @@
  *
  *
  * IDENTIFICATION
- *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_custom.c,v 1.36 2006/10/04 00:30:05 momjian Exp $
+ *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_custom.c,v 1.37 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -70,14 +70,14 @@ typedef struct
    char       *zlibIn;
    size_t      inSize;
    int         hasSeek;
-   off_t       filePos;
-   off_t       dataStart;
+   pgoff_t     filePos;
+   pgoff_t     dataStart;
 } lclContext;
 
 typedef struct
 {
    int         dataState;
-   off_t       dataPos;
+   pgoff_t     dataPos;
 } lclTocEntry;
 
 
@@ -88,7 +88,7 @@ typedef struct
 static void _readBlockHeader(ArchiveHandle *AH, int *type, int *id);
 static void _StartDataCompressor(ArchiveHandle *AH, TocEntry *te);
 static void _EndDataCompressor(ArchiveHandle *AH, TocEntry *te);
-static off_t _getFilePos(ArchiveHandle *AH, lclContext *ctx);
+static pgoff_t _getFilePos(ArchiveHandle *AH, lclContext *ctx);
 static int _DoDeflate(ArchiveHandle *AH, lclContext *ctx, int flush);
 
 static char *modulename = gettext_noop("custom archiver");
@@ -791,7 +791,7 @@ static void
 _CloseArchive(ArchiveHandle *AH)
 {
    lclContext *ctx = (lclContext *) AH->formatData;
-   off_t       tpos;
+   pgoff_t     tpos;
 
    if (AH->mode == archModeWrite)
    {
@@ -827,10 +827,10 @@ _CloseArchive(ArchiveHandle *AH)
 /*
  * Get the current position in the archive file.
  */
-static off_t
+static pgoff_t
 _getFilePos(ArchiveHandle *AH, lclContext *ctx)
 {
-   off_t       pos;
+   pgoff_t     pos;
 
    if (ctx->hasSeek)
    {
@@ -841,7 +841,7 @@ _getFilePos(ArchiveHandle *AH, lclContext *ctx)
 
            /*
             * Prior to 1.7 (pg7.3) we relied on the internally maintained
-            * pointer. Now we rely on off_t always. pos = ctx->filePos;
+            * pointer. Now we rely on pgoff_t always. pos = ctx->filePos;
             */
        }
    }
index 72eedac2e43ca6126ef14955db5f7d5223e6f871..f284df4f2b978dc867ba28ec1001d0694827415f 100644 (file)
@@ -20,7 +20,7 @@
  *
  *
  * IDENTIFICATION
- *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_files.c,v 1.30 2007/02/08 11:10:27 petere Exp $
+ *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_files.c,v 1.31 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -51,7 +51,7 @@ static void _EndBlobs(ArchiveHandle *AH, TocEntry *te);
 typedef struct
 {
    int         hasSeek;
-   off_t       filePos;
+   pgoff_t     filePos;
    FILE       *blobToc;
 } lclContext;
 
index 71bf13c52962bb648386ff05fa9ff1a908ceef29..298a2fd0bf2b4653f10aa384e4eef13f0a2eeac0 100644 (file)
@@ -16,7 +16,7 @@
  *
  *
  * IDENTIFICATION
- *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_tar.c,v 1.56 2006/11/01 15:59:26 tgl Exp $
+ *     $PostgreSQL: pgsql/src/bin/pg_dump/pg_backup_tar.c,v 1.57 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -67,30 +67,30 @@ typedef struct
    FILE       *tmpFH;
    char       *targetFile;
    char        mode;
-   off_t       pos;
-   off_t       fileLen;
+   pgoff_t     pos;
+   pgoff_t     fileLen;
    ArchiveHandle *AH;
 } TAR_MEMBER;
 
 /*
  * Maximum file size for a tar member: The limit inherent in the
  * format is 2^33-1 bytes (nearly 8 GB).  But we don't want to exceed
- * what we can represent by an off_t.
+ * what we can represent by an pgoff_t.
  */
 #ifdef INT64_IS_BUSTED
 #define MAX_TAR_MEMBER_FILELEN INT_MAX
 #else
-#define MAX_TAR_MEMBER_FILELEN (((int64) 1 << Min(33, sizeof(off_t)*8 - 1)) - 1)
+#define MAX_TAR_MEMBER_FILELEN (((int64) 1 << Min(33, sizeof(pgoff_t)*8 - 1)) - 1)
 #endif
 
 typedef struct
 {
    int         hasSeek;
-   off_t       filePos;
+   pgoff_t     filePos;
    TAR_MEMBER *blobToc;
    FILE       *tarFH;
-   off_t       tarFHpos;
-   off_t       tarNextMember;
+   pgoff_t     tarFHpos;
+   pgoff_t     tarNextMember;
    TAR_MEMBER *FH;
    int         isSpecialScript;
    TAR_MEMBER *scriptTH;
@@ -1048,7 +1048,7 @@ _tarAddFile(ArchiveHandle *AH, TAR_MEMBER *th)
    FILE       *tmp = th->tmpFH;    /* Grab it for convenience */
    char        buf[32768];
    size_t      cnt;
-   off_t       len = 0;
+   pgoff_t     len = 0;
    size_t      res;
    size_t      i,
                pad;
@@ -1061,7 +1061,7 @@ _tarAddFile(ArchiveHandle *AH, TAR_MEMBER *th)
 
    /*
     * Some compilers with throw a warning knowing this test can never be true
-    * because off_t can't exceed the compared maximum.
+    * because pgoff_t can't exceed the compared maximum.
     */
    if (th->fileLen > MAX_TAR_MEMBER_FILELEN)
        die_horribly(AH, modulename, "archive member too large for tar format\n");
@@ -1197,7 +1197,7 @@ _tarGetHeader(ArchiveHandle *AH, TAR_MEMBER *th)
                chk;
    size_t      len;
    unsigned long ullen;
-   off_t       hPos;
+   pgoff_t     hPos;
    bool        gotBlock = false;
 
    while (!gotBlock)
index 9ba74aa98eefd1f7881ca1d25bd2e4cf5eeaec6c..b584ab1fe017ef9c88a4d7f442966d1428ef0c67 100644 (file)
@@ -6,7 +6,7 @@
  * Portions Copyright (c) 1996-2007, PostgreSQL Global Development Group
  * Portions Copyright (c) 1994, Regents of the University of California
  *
- * $PostgreSQL: pgsql/src/bin/pg_dump/pg_dump.h,v 1.132 2007/01/23 17:54:50 tgl Exp $
+ * $PostgreSQL: pgsql/src/bin/pg_dump/pg_dump.h,v 1.133 2007/02/19 15:05:06 mha Exp $
  *
  *-------------------------------------------------------------------------
  */
 
 #include "postgres_fe.h"
 
+/*
+ * WIN32 does not provide 64-bit off_t, but does provide the functions operating
+ * with 64-bit offsets.
+ */
+#ifdef WIN32
+#define pgoff_t __int64
+#undef fseeko
+#undef ftello
+#ifdef WIN32_ONLY_COMPILER
+#define fseeko(stream, offset, origin) _fseeki64(stream, offset, origin)
+#define ftello(stream) _ftelli64(stream)
+#else
+#define fseeko(stream, offset, origin) fseeko64(stream, offset, origin)
+#define ftello(stream) ftello64(stream)
+#endif
+#else
+#define pgoff_t off_t
+#endif
 
 /*
  * pg_dump uses two different mechanisms for identifying database objects: