You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-27 - 05:44

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot4s.osadl.org (updated Wed Aug 27, 2025 00:44:05)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3905557993431,2cyclictest3890387-21kworker/u8:1+events_unbound19:15:180
3905561993225,5cyclictest3754036-21systemd-journal19:35:011
3905561993225,4cyclictest4108136-21/usr/sbin/munin22:25:161
3905563993126,3cyclictest4139300-21latency_hist22:55:002
3905557993025,2cyclictest3872779-21kworker/u8:2+events_unbound20:40:170
3905567992923,4cyclictest4102709-21latency_hist22:20:013
3905567992923,4cyclictest4014212-21/usr/sbin/munin20:55:153
3905557992926,2cyclictest3998487-21kworker/u8:4+events_unbound20:50:150
3905557992923,4cyclictest4165356-21/usr/sbin/munin23:20:200
3905567992820,7cyclictest3977568-21gpgv20:20:013
3905557992825,2cyclictest4076847-21kworker/u8:4+events_unbound22:00:020
3905567992722,3cyclictest38157-21latency_hist00:25:023
3905567992621,4cyclictest4076194-21latency_hist21:55:013
3905563992622,3cyclictest4102942-21kworker/u8:1+flush-259:022:20:202
3905563992620,4cyclictest48555-21latency_hist00:35:012
3905563992620,4cyclictest27886-21latency_hist00:15:012
3905563992619,5cyclictest4013977-21latency_hist20:55:002
3905557992623,2cyclictest4013993-21kworker/u8:2+events_unbound21:32:330
3905557992623,2cyclictest3967197-21kworker/u8:1+events_unbound20:45:280
3905557992622,3cyclictest4149872-21apt-get23:05:150
3905557992522,2cyclictest3977193-21kworker/u8:0+events_unbound20:20:390
3905557992522,2cyclictest3967197-21kworker/u8:1+events_unbound21:45:130
3905563992420,3cyclictest3754036-21systemd-journal20:57:282
3905561992418,4cyclictest6326-21ntpq23:50:231
3905561992418,4cyclictest3967414-21/usr/sbin/munin20:10:241
3905557992421,2cyclictest4128747-21kworker/u8:3+events_unbound23:30:190
3905557992421,2cyclictest4128747-21kworker/u8:3+events_unbound22:55:270
3905557992421,2cyclictest4076847-21kworker/u8:4+flush-259:022:30:390
3905557992320,2cyclictest3931262-21kworker/u8:3+events_unbound19:40:380
3905557992320,2cyclictest27925-21kworker/u8:0+events_unbound00:35:140
3905557992320,2cyclictest2041-21kworker/u8:2+events_unbound00:02:450
3905567992216,4cyclictest4133692-21apt-get22:50:013
3905563992216,4cyclictest4153881-21ntpq23:05:242
3905561992218,2cyclictest17585-21turbostat.cron00:05:001
3905561992217,3cyclictest3921225-21apt-get19:25:121
3905557992219,2cyclictest4128747-21kworker/u8:3+events_unbound23:00:270
3905557992219,2cyclictest4076847-21kworker/u8:4+events_unbound22:07:380
3905557992219,2cyclictest4060788-21kworker/u8:3+events_unbound21:40:270
3905557992219,2cyclictest3967197-21kworker/u8:1+events_unbound21:10:170
3905557992219,2cyclictest3967197-21kworker/u8:1+events_unbound21:10:160
3905557992219,2cyclictest3872779-21kworker/u8:2+events_unbound19:32:180
3905557992218,3cyclictest3872779-21kworker/u8:2+events_unbound20:15:280
3905567992116,4cyclictest3000063-21rs:main3
3905557992119,2cyclictest3872779-21kworker/u8:2+events_unbound19:20:380
3905557992118,2cyclictest7423-21kworker/u8:3+events_unbound00:11:390
3905557992118,2cyclictest4149646-21kworker/u8:1+events_unbound23:13:370
3905557992118,2cyclictest4102942-21kworker/u8:1+events_unbound22:23:380
3905557992118,2cyclictest4076847-21kworker/u8:4+events_unbound22:54:380
3905557992118,2cyclictest4013993-21kworker/u8:2+events_unbound21:35:250
3905557992118,2cyclictest3998487-21kworker/u8:4+events_unbound21:20:270
3905557992118,2cyclictest3998487-21kworker/u8:4+events_unbound21:17:320
3905557992118,2cyclictest3998487-21kworker/u8:4+events_unbound21:00:300
3905557992118,2cyclictest3977193-21kworker/u8:0+events_unbound20:32:380
3905557992118,2cyclictest3967197-21kworker/u8:1+events_unbound21:55:220
3905557992118,2cyclictest3872779-21kworker/u8:2+events_unbound19:49:390
3905567992015,3cyclictest3872779-21kworker/u8:2+flush-259:020:25:153
3905567992011,6cyclictest4065897-21latency_hist21:45:003
3905561992017,2cyclictest4144485-21idleruntime-cro23:00:001
3905561992016,2cyclictest4102942-21kworker/u8:1-ext4-rsv-conversion22:44:591
3905561992014,4cyclictest3941755-21/usr/sbin/munin19:45:181
3905561992012,5cyclictest2015-21latency_hist23:50:011
3905557992018,2cyclictest4175380-21kworker/u8:1+events_unbound23:47:380
3905557992017,2cyclictest4086894-21kworker/u8:0+events_unbound22:25:280
3905557992017,2cyclictest3998487-21kworker/u8:4+events_unbound21:07:400
3905557992017,2cyclictest3977193-21kworker/u8:0+events_unbound20:55:280
3905557992017,2cyclictest3890387-21kworker/u8:1+events_unbound19:29:560
3905557992017,2cyclictest3872779-21kworker/u8:2+events_unbound20:14:390
3905567991916,2cyclictest4045278-21sh21:25:003
3905567991916,2cyclictest3890387-21kworker/u8:1+flush-259:019:15:193
3905567991916,2cyclictest3002-21cron23:30:003
3905567991914,4cyclictest4050428-21cron21:29:593
3905567991914,3cyclictest1152-21ntpq23:45:283
3905567991912,5cyclictest4123363-21latency_hist22:40:003
3905563991915,3cyclictest3754036-21systemd-journal00:04:372
3905561991916,2cyclictest4045956-21irqcore21:25:181
3905561991915,3cyclictest4050705-21apt-get21:30:121
3905561991914,3cyclictest3872779-21kworker/u8:2+events_unbound19:35:201
3905561991912,5cyclictest3977193-21kworker/u8:0+flush-259:020:55:171
3905557991917,2cyclictest3872779-21kworker/u8:2+events_unbound19:12:160
3905557991916,2cyclictest27925-21kworker/u8:0+events_unbound00:16:370
3905557991915,3cyclictest4102942-21kworker/u8:1+flush-259:022:45:250
3905567991815,2cyclictest3977193-21kworker/u8:0+flush-259:021:09:593
390556399183,8cyclictest3997688-21/usr/sbin/munin20:35:282
390556399183,5cyclictest3949964-21tr19:50:202
3905563991814,3cyclictest4050445-21latency_hist21:30:002
3905563991812,4cyclictest37304-21ntpq00:20:222
3905561991815,1cyclictest0-21swapper/119:55:001
3905561991814,3cyclictest4190822-21turbostat.cron23:45:001
3905561991814,3cyclictest4076847-21kworker/u8:4+flush-259:022:50:181
3905561991812,4cyclictest4085948-21ntpq22:00:231
3905557991816,2cyclictest4076847-21kworker/u8:4+events_unbound22:42:390
3905557991816,2cyclictest4013993-21kworker/u8:2+events_unbound21:26:390
3905557991815,2cyclictest7423-21kworker/u8:3+events_unbound23:55:370
3905557991815,2cyclictest4175380-21kworker/u8:1+events_unbound23:54:570
3905557991813,3cyclictest3988131-21latency_hist20:30:010
3905567991714,2cyclictest40727-21kthreadcore00:25:193
3905567991713,3cyclictest3754036-21systemd-journal23:42:423
3905567991711,4cyclictest4113023-21latency_hist22:30:013
3905567991711,4cyclictest28306-21diskstats00:15:143
390556399172,4cyclictest52831-21ld00:35:212
390556399171,6cyclictest4028575-21ld21:05:232
3905563991714,2cyclictest3988148-21kworker/u8:3+flush-259:020:30:002
3905563991714,1cyclictest0-21swapper/220:00:002
3905563991713,3cyclictest3754036-21systemd-journal23:21:372
390556199179,6cyclictest3754036-21systemd-journal00:30:001
3905561991713,3cyclictest4128747-21kworker/u8:3+flush-259:023:30:171
390555799177,3cyclictest16-21ksoftirqd/023:30:000
390555799177,1cyclictest191rcu_preempt00:05:130
3905557991715,1cyclictest4060788-21kworker/u8:3+events_unbound21:51:390
3905557991714,2cyclictest0-21swapper/022:15:010
3905557991713,3cyclictest3754036-21systemd-journal20:01:370
3905557991711,4cyclictest47685-21ntpq00:30:230
3905567991612,3cyclictest4128506-21idleruntime-cro22:45:003
3905567991610,4cyclictest4056056-21diskstats21:35:183
390556399164,2cyclictest0-21swapper/219:20:232
390556399163,7cyclictest4019700-21hddtemp_smartct21:00:182
390556399163,5cyclictest3992451-21ntpq20:30:212
390556399162,7cyclictest1152-21ntpq23:45:282
390556399161,5cyclictest4075375-21ntpq21:50:262
390556399161,4cyclictest42484-21ldconfig00:25:232
3905563991614,1cyclictest0-21swapper/221:15:002
3905563991614,1cyclictest0-21swapper/221:14:592
3905561991613,2cyclictest4092683-21irqcore22:10:171
3905561991612,3cyclictest3872779-21kworker/u8:2+flush-259:019:10:151
3905561991612,3cyclictest21859-21ntp_kernel_pll_00:05:231
390555799168,1cyclictest191rcu_preempt22:35:230
390555799166,2cyclictest16-21ksoftirqd/020:35:280
3905557991614,1cyclictest60650irq/133-enp0s29f1:rx-023:37:130
3905557991613,2cyclictest3941537-21kworker/u8:0+events_unbound20:06:380
390556799159,4cyclictest53765-21latency_hist00:40:013
390556799159,4cyclictest4164244-21ntpq23:15:263
3905567991512,2cyclictest4096220-21ntp_kernel_err22:10:213
3905567991512,2cyclictest3998487-21kworker/u8:4+flush-259:020:39:593
3905567991511,3cyclictest4103237-21fschecks_time22:20:183
3905567991511,3cyclictest4039944-21store21:20:013
3905567991511,3cyclictest3872779-21kworker/u8:2+flush-259:020:40:173
3905567991511,2cyclictest0-21swapper/319:35:003
3905567991510,4cyclictest3754036-21systemd-journal00:00:013
390556399153,4cyclictest4054737-21ntpq21:30:212
390556399153,4cyclictest3914873-21gcc19:15:222
390556399153,2cyclictest3961197-21ntpq20:00:232
390556399152,7cyclictest3925298-21ntpq19:25:222
390556399152,2cyclictest4038795-21ntpq21:15:252
390556399152,2cyclictest4002781-21ntpq20:40:222
390556399151,7cyclictest3936825-21diskstats19:40:142
390556399151,5cyclictest4127683-21ntpq22:40:282
390556399151,4cyclictest4007975-21ntpq20:45:272
390556399151,3cyclictest4045062-21modprobe21:22:322
3905563991512,2cyclictest4063323-21kthreadcore21:40:232
3905563991512,2cyclictest0-21swapper/220:15:002
390556199159,4cyclictest3962053-21latency_hist20:05:011
3905561991512,2cyclictest4071041-21cron21:50:001
3905561991511,3cyclictest43603-21apt-get00:30:141
3905561991511,3cyclictest3920089-21ntp_kernel_pll_19:20:231
3905557991514,1cyclictest60650irq/133-enp0s29f1:rx-019:50:240
3905557991513,2cyclictest27925-21kworker/u8:0+events_unbound00:25:010
3905557991513,1cyclictest60650irq/133-enp0s29f1:rx-023:15:190
3905557991513,1cyclictest60650irq/133-enp0s29f1:rx-022:15:240
3905557991512,2cyclictest3941537-21kworker/u8:0+events_unbound19:57:220
390556799149,4cyclictest3754036-21systemd-journal21:05:003
390556399143,6cyclictest0-21swapper/220:15:222
390556399143,2cyclictest0-21swapper/223:45:002
390556399143,2cyclictest0-21swapper/222:00:242
390556399142,9cyclictest12371-21latency_hist00:00:012
390556399142,7cyclictest41-21ksoftirqd/222:10:222
390556399142,6cyclictest4128942-21diskstats22:45:152
390556399142,6cyclictest4077169-21fw_forwarded_lo21:55:172
390556399142,3cyclictest4059843-21ntpq21:35:242
390556399142,2cyclictest6277-21ntpq23:50:232
390556399142,2cyclictest21857-21modprobe00:05:222
390556399141,7cyclictest4179696-21ntp_states23:30:232
3905563991411,2cyclictest32586-21unixbench_singl00:15:252
390556399141,11cyclictest492-21dbus-daemon22:10:012
390556399140,4cyclictest3982302-21sensors20:20:252
390556199148,5cyclictest3000063-21rs:main1
390556199148,3cyclictest4170232-21awk23:25:001
3905561991411,2cyclictest4113515-21fschecks_time22:30:181
3905561991411,2cyclictest3977477-21true20:20:011
3905561991410,3cyclictest4128747-21kworker/u8:3+flush-259:023:05:201
3905561991410,3cyclictest4087395-21fschecks_time22:05:161
3905561991410,3cyclictest4077697-21irqcore21:55:191
3905561991410,2cyclictest0-21swapper/123:00:171
390555799144,2cyclictest0-21swapper/019:10:010
390555799142,1cyclictest191rcu_preempt23:40:190
390556799139,3cyclictest4128747-21kworker/u8:3+flush-259:022:59:433
390556799139,3cyclictest3000063-21rs:main3
390556799138,3cyclictest3978073-21cat20:20:023
390556799136,5cyclictest3966257-21ntpq20:05:233
3905567991311,1cyclictest4589-21kthreadcore23:50:193
3905567991310,1cyclictest0-21swapper/322:00:203
390556399132,2cyclictest4185463-21modprobe23:37:412
390556399131,6cyclictest4139713-21df_inode22:55:132
390556399131,6cyclictest3962482-21diskstats20:05:172
390556399131,3cyclictest3926362-21/usr/sbin/munin19:30:172
3905563991310,2cyclictest4076847-21kworker/u8:4+flush-259:022:30:212
390556199139,3cyclictest4060788-21kworker/u8:3+flush-259:021:45:001
3905561991311,1cyclictest0-21swapper/120:00:001
390555799130,4cyclictest3934836-21kthreadcore19:35:200
390556799129,2cyclictest3971926-21unixbench_singl20:10:293
390556799128,3cyclictest7423-21kworker/u8:3+flush-259:023:55:183
390556799128,3cyclictest3967197-21kworker/u8:1+flush-259:021:55:213
390556799121,2cyclictest4092003-21awk22:09:593
3905567991210,1cyclictest0-21swapper/319:40:013
390556399129,2cyclictest4155216-21cpuspeed_turbos23:10:192
390556399129,2cyclictest3931676-21fschecks_count19:35:162
390556399126,4cyclictest4144989-21tune2fs23:00:152
390556399124,1cyclictest191rcu_preempt19:45:242
390556399122,6cyclictest4118477-21apt-get22:35:132
390556399122,2cyclictest4066444-21fw_forwarded_lo21:45:152
390556399121,6cyclictest4170667-21diskstats23:25:182
390556399121,2cyclictest4108321-21diskstats22:25:162
390556199129,2cyclictest4174916-21unixbench_singl23:25:291
390556199129,2cyclictest33024-21cron00:20:011
390556199128,3cyclictest3977193-21kworker/u8:0+events_unbound21:05:211
390556199127,4cyclictest3754036-21systemd-journal23:40:011
3905561991210,1cyclictest3941537-21kworker/u8:0+flush-259:020:05:251
3905561991210,1cyclictest0-21swapper/121:20:011
390556799119,1cyclictest0-21swapper/320:50:003
390556799118,2cyclictest4113358-21cpuspeed_turbos22:30:173
390556799118,2cyclictest4029788-21cpuspeed_turbos21:10:143
390556799118,2cyclictest4029788-21cpuspeed_turbos21:10:143
390556799118,2cyclictest4009141-21cpuspeed_turbos20:50:143
390556799118,1cyclictest0-21swapper/323:20:313
390556799117,3cyclictest3931262-21kworker/u8:3+flush-259:019:45:263
390556799117,2cyclictest0-21swapper/300:10:013
390556799110,4cyclictest4133680-21cron22:50:003
390556399111,3cyclictest4164204-21ntpq23:15:252
390556399110,7cyclictest41-21ksoftirqd/219:10:152
390556199119,1cyclictest0-21swapper/121:10:221
390556199119,1cyclictest0-21swapper/121:10:211
390556199118,2cyclictest4098251-21irqcore22:15:171
390556199118,2cyclictest0-21swapper/122:35:161
390556199116,3cyclictest4013993-21kworker/u8:2+flush-259:021:04:591
390556199116,2cyclictest4132645-21sed22:45:201
390556199111,8cyclictest4076193-21apt21:55:001
390556199110,3cyclictest3998457-21basename20:39:591
390556799106,2cyclictest0-21swapper/300:35:003
390556799105,4cyclictest3941537-21kworker/u8:0+flush-259:020:02:083
390556199108,1cyclictest0-21swapper/120:40:181
390556199108,1cyclictest0-21swapper/120:25:141
390556199107,2cyclictest4006133-21kthreadcore20:45:221
390556199107,2cyclictest3890387-21kworker/u8:1+flush-259:019:20:011
390556199106,2cyclictest4156664-21kthreadcore23:10:231
390556199105,3cyclictest4045281-21awk21:25:001
390556199104,4cyclictest7423-21kworker/u8:3+flush-259:000:10:161
39055679996,2cyclictest0-21swapper/319:25:153
39055619997,1cyclictest0-21swapper/120:20:191
39055619995,2cyclictest4107002-21ntpq22:20:241
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional