Use jemalloc by default on Linux

We seem to run into trouble with regular glibc malloc on Linux, so use
jemalloc instead of glibc's malloc.

This can be disabled using --disable-jemalloc

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3216 d4fa192b-c00b-0410-8231-f00ffab90ce4

Import jemalloc

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3215 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update man page a bit

* Directors
* Probing and backend health
* vcl_hash
* Updates for 2.0 (backend.host => .host; insert => deliver)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3214 d4fa192b-c00b-0410-8231-f00ffab90ce4

Supposedly the fix for #324:  An oversight in r3188

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3213 d4fa192b-c00b-0410-8231-f00ffab90ce4

Lost on the big director shuffle:

Link client side log records to backend side log records with the "Backend"
record.

Content is:
Fd# of backend connection
VCL name of director
VCL name of chosen backend.

Spotted by: sky

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3212 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use 127.0.0.1 instead of localhost to test the ports argument, localhost
may not resolve.

Remind me to change this when IPv4 goes away :-)

Fixes #327

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3211 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the feature requested in #266:  ignore non-esi tags entirely.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3210 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate a pointless local variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3209 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix #326:  Don't emit zerolength verbatim strings before esi:include

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3208 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a "resp.bodylen" variable we can expect on, so we can test the
length of a reply in chunked encoding

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3207 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement correct handling of the Expect: header.

Fixes #309

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3206 d4fa192b-c00b-0410-8231-f00ffab90ce4

Strip trailing whitespace on header lines from the stored result.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3205 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we always close the client connection if we pass through
vcl_error{}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3204 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't crash if the backend sends only "HTTP/1.1 200" with no reason string.

Fixes #325

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3203 d4fa192b-c00b-0410-8231-f00ffab90ce4

Really fix TCL build dependency

Make sure we never fail even if tclsh is not installed, and make sure
to emit a message if the .c and .h files should be rebuilt.

Fixes: #323
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3202 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure to set TCLSH to an invocation of missing when it is not found.  Fix for the commit in #3196

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3201 d4fa192b-c00b-0410-8231-f00ffab90ce4

varnishtest does not need ncurses

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3200 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix typo in error message

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3199 d4fa192b-c00b-0410-8231-f00ffab90ce4

More fixups for regeneration of generated .c and .h files

vcc_fixed_token.c and vcc_token_defs.h depend on various files in
include/, not only the .tcl file.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3198 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add string representation of backend

This takes the name from the name assigned in the VCL.

Partially fixes #294.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3197 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regenerate generated .c files if we have tclsh installed

As well as the above, add .tcl files to EXTRA_DIST so we can
regenerate them and make distcheck works.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3196 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get sense of boolean test right way in second try

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3195 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't bail if the client has closed the TCP connection.

Fixes #284

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3194 d4fa192b-c00b-0410-8231-f00ffab90ce4

ESI processing should ignore responses with no body.

Fixes #318

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3193 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed pidfile issues in redhat package

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3192 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix typo; makes this compile again

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3191 d4fa192b-c00b-0410-8231-f00ffab90ce4

Doc fixes

esi_syntax is a bitmap, not a restart.

max_esi_includes is a number of includes, not a number of restarts
(and remove some bit of doc accidentially copied from max_restarts)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3190 d4fa192b-c00b-0410-8231-f00ffab90ce4

We are not a GNU project; make that clear in configure.ac

autoreconf complains if we don't specify "foreign" in the options to
AM_INIT_AUTOMAKE, so do that.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3189 d4fa192b-c00b-0410-8231-f00ffab90ce4

Always update stats in wrk_decimate_flock

Make sure to update the stats even if we don't kill off any excess
threads.

Fixes #308

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3188 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dynamically field widths in varnishtop

Set the second column field width in varnishtop based on the longest
field in VSL_tags rather than hard-coding a value.

Fixes: #303
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3187 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put comments in the default VCL to make people stop frobbing stuff
we don't support yet.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3186 d4fa192b-c00b-0410-8231-f00ffab90ce4

default logfile for varnishncsa on redhat/fedora is /var/log/varnish/varnishncsa.log

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3185 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Fri Sep 12 2008 Ingvar Hagelund <ingvar@linpro.no> - 2.0-0.8.20080912svn3184
- Added varnisnsca init script (Colin Hill)
- Corrected varnishlog init script (Colin Hill)
Fixes #223

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3184 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't allocate space for a %u and then stick a %d in it.

Tripped by: anordby

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3183 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix #315:

Rename worker->used to worker->lastused and make it an optimization to
set it from a convenient timestamp along the way.

If it is not set when the thread goes on the unemployment queue, expend
a timestamp on setting it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3182 d4fa192b-c00b-0410-8231-f00ffab90ce4

Initialize obj->entered to NAN so our asserts will detect if it is not
properly set.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3181 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that we have obj->entered before we calculate TTL using it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3180 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the obj->entered timestamp when inserting into the expiry structures.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3179 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix Typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3178 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add more asserts on worker->used

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3177 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the size of the workerthreads local shmlog workspace a paramter.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3176 d4fa192b-c00b-0410-8231-f00ffab90ce4

Hack for Fedora to get 32- and 64-bits tests run concurrently on the same build machine

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3175 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an off-by-one error in the random director, which made it unable to
use the single remaining healthy backend.

Add regression test.

Fixes: ticket #306
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3174 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -bodylen which creates a synthetic body of the specified length.

The generated body is the classic drum-printer test pattern:

!"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_\n
"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`\n
#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`a\n
$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`ab\n

The last char is always a \n

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3173 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add PTHREAD_LIBS for OpenBSD compat.

Ticket #314

Submitted by: bonetruck2

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3172 d4fa192b-c00b-0410-8231-f00ffab90ce4

On platforms with multibyte sa_family and big endian, the compiled
ACLs would not work, as evidenced by #311.

Add a log message for unknown sa_families, and use memmove to extract
the sa_family member of the sockaddr into a suitably sized variable.

Diagnosed by: Mithrandir
Fixes: #311

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3171 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VRT_memmove() to the VRT API.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3170 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename backend.health to req.backend.health and add test

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3169 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regenerate vcc_fixed_token.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3168 d4fa192b-c00b-0410-8231-f00ffab90ce4

Revert commit 3163, fix in VRT_purge instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3167 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add obj.hits VRT variable which counts how many *previous* hits
this object has seen.

Idea for prefetching being used as workaround for #310

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3166 d4fa192b-c00b-0410-8231-f00ffab90ce4

Hrmpf!

A "unsigned *" is not the same as a "unsigned"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3165 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make backend.healthy available to VCL (Fixes: #312)

It'll typically be used in a manner similar to:

    if (! backend.healthy) {
        error 500 "Backend sick!";
    }

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3164 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't segfault on purge.hash() with NULL string.  Fixes #307.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3163 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an explicit "allow everybody else" entry in the negative ACL.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3162 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cater for even more INET6 API stupidity.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3161 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the correct buffer size for IPv6 addresses.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3160 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add <unistd.h> so heritage.h is happy on macosx.

fixes #305

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3159 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pull in pthreads library for openbsd (ticket #304)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3158 d4fa192b-c00b-0410-8231-f00ffab90ce4

Repeat after me: test after fixing.

Try to nail r297 again

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3157 d4fa192b-c00b-0410-8231-f00ffab90ce4

Attempt to close #297 again:  shutdown() can also return ENOTCONN error
on redhat.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3156 d4fa192b-c00b-0410-8231-f00ffab90ce4

If you attach gdb to a running varnish child, then when you tell it to continue it will abort if assertions are enabled due to poll returning with EINTR.

This just re-enters the loop.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3155 d4fa192b-c00b-0410-8231-f00ffab90ce4

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3154 d4fa192b-c00b-0410-8231-f00ffab90ce4

vcl changes from 1.x to 2.0 documented for Red Hat

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3153 d4fa192b-c00b-0410-8231-f00ffab90ce4

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3152 d4fa192b-c00b-0410-8231-f00ffab90ce4

(Commented) option for corefile limit for redhat/fedora sysconfig

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3151 d4fa192b-c00b-0410-8231-f00ffab90ce4

Red Hat init scripts: Fix previous fix. Makes rpmlint happy.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3150 d4fa192b-c00b-0410-8231-f00ffab90ce4

Red Hat initscript: Removed a superfluous lockfile definiton

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3149 d4fa192b-c00b-0410-8231-f00ffab90ce4

specfile changes
- Added the LICENSE file to the libs-devel package
- Moved make check to its proper place

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3148 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make setup quiet in specfile => one less warning from rpmlint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3147 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added a missing directory to the libs-devel package (Michael Schwendt)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3146 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to get core dumps on Linux too

When starting as root and then setuid-ing, we need to set the dumpable
bit to get core dumps on Linux.  Do so.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3145 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bumped version numbers and source url for first beta release

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3144 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set release back to trunk in configure.ac

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3143 d4fa192b-c00b-0410-8231-f00ffab90ce4

Release 2.0-beta1

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3141 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bump SONAME

We're not binary compatible, so bump soname.  Closes: #293

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3140 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add _.ok to the list of files we clean on make distclean

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3139 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to configure the number of retries the random director
will make at getting a backend connection.  By default it tries as many
times as it has members.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3138 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add runtime check that parsing of timestamps actually work.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3137 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed up init script for varnishlog

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3136 d4fa192b-c00b-0410-8231-f00ffab90ce4

Varnish 2.0 bonus feature #1:  backend->max_connections

        backend default {
                .host = "127.0.0.1";
                .port = "9080";
                .max_connections = 100;
        }

will limit the simultaneous TCP connections to this backend to 100.

Stats counter backend_busy == "Backend connections too many" tells
how often we have hit this limit for a backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3135 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the random and round-robin directors avoid backends which are
polled as unhealty.

This technically makes Varnish 2.0 "feature complete", but some further
polishing is to be expected.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3134 d4fa192b-c00b-0410-8231-f00ffab90ce4

make check now runs without races

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3133 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tada!

First step in activating backend polling:  Do not attempt to open
connections to a unhealthy backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3132 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mark all nonprobed backends healty

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3131 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed an error in the argument passing from the init script. Added some more info text to the stop action.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3130 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give sessions a backend connection instead of a backend and
have the directors provide that.

Entirely a no-op, apart from a bugfix that just would screw
you even more (than "totally") if socket(2) should ever fail.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3129 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correctly quote backend data in default vcl example.

Submitted by: ingvar
Fixes: #298

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3128 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use TCP_close() to properly ignore the "canonical" TCP legal errno values
consistently.

Fixes #297

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3127 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the tcp.c file to libvarnish, we need the primitives in varnishtest
also.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3126 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added a missing changelog item from Fedora

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3125 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixing up init script according to newer Fedora standards

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3124 d4fa192b-c00b-0410-8231-f00ffab90ce4

correct pidfile option to daemon and killproc functions

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3123 d4fa192b-c00b-0410-8231-f00ffab90ce4

Patched up Red Hat init script to comply with newer Fedora standards

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3122 d4fa192b-c00b-0410-8231-f00ffab90ce4

A typo, and newline at the end

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3121 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the directors another method which returns not the backend to
connect to, but a connection to a backend, this makes it possible
for the directors to choose another backend, if connection to the
first backend fails.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3120 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the director opaque outside the backend code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3119 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move selection of backend and creation of default Host: header until
we actually need to get a filedescriptor to the backend.

This also makes it evident for vcl_pass{}, vcl_pipe{} and vcl_miss{}
if the client sent a Host: header or not.  Previously these functions
saw the default Host: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3118 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3117 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use invalid address in binding test

IANA has reserved the 198.18.0.0/24 network for Network Interconnect Device
Benchmark Testing which vaguely fits what we are doing.  Use that
instead of 127.0.0.2 since the latter works fine to bind to on Linux
(at least).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3116 d4fa192b-c00b-0410-8231-f00ffab90ce4