Vendor feedparser 5.2.1

We're going to need to make small modifications, and the new 6.x release
isn't ready and doesn't appear to be close.

Fix spelling error

Unicode fixes in old migrations

Missed to update the migrations in the py3 update

Encode URL

Flask responses need to be bytestrings, not real strings

Seems if a string is returned, flask just turns it into an empty
response (rather than converting it to utf8 as expected). These are
trivial hardcoded strings though, so just use bytestrings.

Band-aid fix for feed as well

Band-aid fix for broken html tidy parsing

Replace old version of Tidy with new one

Fix integer division for python 3

Update redirector to python 3

Import latest version of community auth plugin

Proeperly use requests to format URL parameters

Switch to using requests for varnish calls

Ensure list is printed as list in python 3

Fix has_key accesses for python 3

Fix unicode and printing for python 3

Update exception handling for python 3

Fix imports for python 3

Update links to planet policy

The policy lives on the main website these days, not the wiki.

Fix result variable name

Properly include hostname to twitter api when posting

Update twitter poster to use new API as well

Update twitter sync code to use requests_oauthlib

This simplifies the code a lot, and also adds the functionality to not
get stuck in a cron-loop when somebody specifies a non-public twitter
account as their twitter account. Instead when that happens just remove
the twitter account from the feed (storing it in a new field,
oldtwitteraccount, just to be on the safe side in case twitter does evil
things to us at some point)

Code mostly stolen from the pgeu website code.

Make sort by name the default behaviour for teams

Fix incorrect string formatting specifier

Fix template loaders for django 1.11

Seems django 1.11 automatically enables caching template loader, which
of course breaks the ability to make any changes to the pages of a
website without restarting it. And there is no way to turn it off other
than to explicitly configure individual loders (the logic to turn it on
in non-debug configurations is hardcoded and cannot be changed).

Detect excessive blog fetches

If a single fetch from a blog grabs more than <n> entries (the default
being 4), this usually indicates a misconfigured blog and it will end up
spamming the outgoing feed and twitter, even if later corrected. For
that reason, when this happens, mark all the newly fetched entries as
hidden, and send a notification as such. In the event that they are
actually correct, the user can go in and manually unhide those entries,
which will make them show up again.

Fix tracing messages

Shouldn't use print directly, since it doesn't respect the verbosity
setting.

Automatically follow http->https redirects

We only follow the redirect if the URL is *exactly* the same except it
has https intead of http in it. But this is a very common scenario these
days, so let's simplify that one.

In particular, it makes no sense to re-moderate a blog after that change
has been made.

Treat  and https:// guid as being the same when fetching

This means that if the same blog post shows up both under http:// and
https:// (for example when somebody changes their URL from http to
https, but it still contains the old posts), we will treat them as being
the same and not fetch a second copy of it.

We handle both http->https (common) and https->http (would probably
indicate a misconfiguration) scenarios.

Remove old leftover debugging code

Replace render_to_response with render

Required in newer django, and still works in the old one.

Update URL configurations for newer django

Remove app not used

Update template configuration for newer django

Don't just delete successful logs

MOst of what we end up keeping aren't..

Add command to purge old logs

Add missing import

Properly format email headers with non-ascii

When sending an email to non-ascii names, the actual email address
should not be part of the encoded section. It should have a separate
section that's not encoded.

Ported over from the pgeu install

Update listsync script to sync with pglister instead of mj2

Encode URLs to handle even worse formatted twitter links

Validate twitter accounts when submitting a new blog

Do this by connecting to the twitter API and actually validate both that
the account exists, and that it's not protected. Protected accounts will
cause the follower-sync script to keep trying over and over again for
following, and there's not any point in promoting those anyway.

This adds a dependency on requests_oauthlib, but that's already used in
other pgweb projects so shouldn't be a problem.

Don't crash when feedurl is not given

Instead, give a proper error message as intended.

When redirecting, ignore querystring part (after ?) of URL

This can sometimes be added by some broken trackers, but we can safely
ignore it completely.

Reported by Stefan Kaltenbrunner

Update blogurls from the contents of the feeds

If somebodys blog url changes in the feed, pick it up and store the new
one. Also send an email to the person letting them know it happened, as
well as a notice to moderators. But don't require new moderation when it
happens, just do manual post-moderation in the event that something goes
wrong.

Decode emails in the queue

Makes it easier to do debugging. Patch copied over from the pgeu
repository.

Nicer handling of images and smileys

Allow images to go up to 300px, and explicitly make wordpress smileys
(since we have lot of wordpress blogs) normal size and inline instead of
overriding them.

Petr Jelinek

Planet postgresql is now https

Wiki and twitter links should be https

Use https for postgr.es

Don't re-approve a blog that was already approved

This will cause extra emails to be sent, which isn't very user-friendly.

Serve planet layout images from the local webserver

It's kind of silly to pull them down from www.postgresql.org each time.
And with the switch to https-only there, it will also lead to a bunch of
extra redirects which will slow things down.

Set a default socket timeout of 10 seconds

Any feed that doesn't complete the socket operation in 10 seconds
will fail - we'll still retry it on the next run of course.

Cap blog entries at todays date

This avoids cases where a blog entry might be unintentionally (or intentionally)
set with a date in the future in the incoming RSS feed and as such stays at the
frontpage of planet until that date is reached.

Instead, whenever something is parsed to be in the future, set the post date to
the time of the parsing (because it clearly exists at this time).

Fix indentation that caused logic error

We updatet he newest entry date in other ways as well, but this code
clearly didn't run.

Fix typo

Reported by David Rowley, though Alvaro

Don't put a space before P in shortlinks

Sideeffect of some re-indenting, any short URL that had a P
in it would get %20P instead, making it not work. Oops.

Don't synchronize twitter users for unapproved feeds

Source header images locally

Previously these were loaded from www.postgresql.org, which caused a mixed-content
warning when using the registration interface.

Reference correct variable in error msg

Remove templates no longer used

Log is not a separate page anymore, so fix links

Also add an anchor on the edit page to deal with it

Set title fields for forms and pages

Link to moderation admin view

Don't encourage using the django admin view.

Don't synchronize users who only have archived blogs

Fix accidentaly reversed condition

Blogs would display as error in list and warning on the details page,
and the other way around. Oops.

Add specific team admin to list more details in admin view

Remove leftover debugging code

Add managers to teams

This is a single user that's in charge of a team. The manager will get an
email whenever somebody tries to join a team. The team will also show up
on the managers /register/ page with the ability to remove people from it.

Don't try to store status updates for fake blog entries

We create fake entries when scanning for saved blogs, and they should
never be saved to the db.

This was broken by baefbd4de052774e75c52e7830ba396b4c8b3664 which pushed
the save into the aggregator. Now, make it optional.

Add search fields to admin

Better admin for aggregator log

Implement log sender for new planet admin

Instead of sending an email to the planet list, send individual emails to the
blog authors and ask them to fix their  blogs if more than a certain number
of fetches have failed. Now that we can archive blogs, this makes more sense,
and as the planet team doesn't actually do anything with the emails there anyway,
there is no point to keep sending them.

Fix query for list sync

Oops, include the name of the feed in the title on outgoing RSS

Fix accidentally broken error pages

Save feed status directly instead of at end of processing

Since processing can take a long time with slow blogs, store the
date before that happens.

This will prevent from conflicting with the web UI and overwriting
the settings from that one.

Not used any more

Don't crash in feed for items with no existing shortlink

This can happen on old items (but not new)

Don't crash hard when there are no visible items

Oops in purge header

Add support for archiving blogs

An archived blog is one that is no longer polled for new data, but we
keep the posts around. Sometime in the future we might want to do statistics
or searches across them...

Send email to feed owner when entries are aggregated

Remove redundant code

This is now handled in the "proper" moderation interface, so no need
to send extra moderation notices.

Make the user a proper Foreign Key in the database

Instead of storing the username as a string and doing lookups all the time when it
goes out of sync.

The database has to be cleaned before running this one, by simply moving all blogs
with invalid users to some "collector account".

These shorterners haven't been supported for years

A brand new planet manager and runtime

Completely restructure the planet postgresql code -- it was definitely
getting old.

A new registration interface makes it much more friendly, and gives the
user a chance to see what's going on.

A new moderation interface allows for a better view of what's happening
with the feeds that are pending, as well as the ability to give a message
to the subscriber when rejecting a blog.

Aggregation uses the same framework, but now runs as a django management
command, and also supports async parallelism when fetching the blogs to
make it much faster (since most of them time out on http).

Planet itself is now rendered in django, and expects a Varnish sitting in
front of it, to which it will generate purges properly. Makes any changes
made in the interface more or less instant, instead of having to wait for
15 minutes.

Import bootstrap CSS

To be used by the new moderation interface

List more info about posts in admin display

Import mailqueue app from pgeu

Don't crash on NULL team information

Script requires bash

Support for automatically activating virtualenv for cronjob

No need to set path in script

The /usr/local part was for old FreeBSD system.

Use REQUEST_URI to get the URL for redirector

This one works  both under a local dev webserver and importantly also
on the production server...

Add initial schema migration for django 1.8

Update sample local_settings.py for new settings format

Remove horribly out-of-date documentation

Move all tables to public schema

Since django still does not properly support multiple schemas, it creates a
lot of pain to maintain the tables in different schemas. And the planet database
has a very simple schema with few tables anyway, so there is arguably no actual
gain from keeping them separate.

When deploying, run SQL manually to move existing tables over:
ALTER TABLE admin.auditlog SET SCHEMA public;
ALTER TABLE admin.auth_group SET SCHEMA public;
ALTER TABLE admin.auth_group_permissions SET SCHEMA public;
ALTER TABLE admin.auth_message SET SCHEMA public;
ALTER TABLE admin.auth_permission SET SCHEMA public;
ALTER TABLE admin.auth_user SET SCHEMA public;
ALTER TABLE admin.auth_user_groups SET SCHEMA public;
ALTER TABLE admin.auth_user_user_permissions SET SCHEMA public;
ALTER TABLE admin.django_admin_log SET SCHEMA public;
ALTER TABLE admin.django_content_type SET SCHEMA public;
ALTER TABLE admin.django_session SET SCHEMA public;
ALTER TABLE admin.django_site SET SCHEMA public;
ALTER TABLE planet.aggregatorlog SET SCHEMA public;
ALTER TABLE planet.feeds SET SCHEMA public;
ALTER TABLE planet.posts SET SCHEMA public;
ALTER TABLE planet.teams SET SCHEMA public;
DROP SCHEMA admin;
DROP SCHEMA planet;

and if there is a planetadmin user, also run
ALTER USER planetadmin RESET search_path;

Update redirector to run as uwsgi app

Since we use uwsgi for the django interfaces as of 1.8, doing the same
for the redirector just makes things easier.