You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-18 - 01:52

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackcslot7s.osadl.org (updated Thu Sep 17, 2026 12:44:47)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
278508621370,4sleep02785056-21check-new-relea10:08:280
274719421330,3sleep13056-21PK-Backend08:20:131
279632421280,24sleep013-21ksoftirqd/010:10:330
272229221240,2sleep10-21swapper/107:10:171
139099860,74rtkit-daemon0-21swapper/307:07:213
272113427141,25sleep00-21swapper/007:06:590
272103126444,13sleep10-21swapper/107:05:401
272077326444,14sleep20-21swapper/207:05:242
27639682570,4sleep33056-21PK-Backend09:05:233
28130212420,2sleep10-21swapper/110:55:011
27752872380,5sleep02721532-21cyclictest09:40:130
27634092380,2sleep10-21swapper/109:05:161
2721537993212,6cyclictest2772302-21ntp_states09:30:180
139099310,5rtkit-daemon1389-21rtkit-daemon11:25:110
2721543993015,12cyclictest883-21dbus-daemon10:09:092
27577102290,4sleep13056-21PK-Backend08:50:141
2721547992918,10cyclictest42-21ksoftirqd/310:09:303
2721539992912,12cyclictest883-21dbus-daemon10:09:591
2721543992824,3cyclictest34-21ksoftirqd/210:10:242
272154799272,2cyclictest141rcu_preempt10:10:243
139099260,4rtkit-daemon1389-21rtkit-daemon11:10:270
139099260,4rtkit-daemon1389-21rtkit-daemon10:46:190
27278272250,4chrt3056-21PK-Backend07:25:120
2721543992510,13cyclictest2848615-21unin-run12:35:002
2721537992519,4cyclictest2778888-21hddtemp_smartct09:50:140
139099250,4rtkit-daemon1389-21rtkit-daemon10:56:400
139099250,4rtkit-daemon1389-21rtkit-daemon09:28:080
272154799240,21cyclictest3056-21PK-Backend11:55:193
2721539992419,3cyclictest2844507-21python312:20:201
27787562230,3chrt0-21swapper/109:50:131
2721543992321,1cyclictest0-21swapper/207:39:452
2721543992317,4cyclictest2750230-21cron08:30:012
2721543992315,6cyclictest2758910-21/usr/sbin/munin08:55:002
2721543992314,6cyclictest436-20systemd-journal11:40:002
2721543992312,9cyclictest883-21dbus-daemon07:15:012
272153999238,11cyclictest2795636-21cat10:10:241
272153799230,3cyclictest2841673-21munin-run12:15:010
272153799230,3cyclictest2156-21gnome-shell10:39:090
2721547992215,5cyclictest2727350-21sshd07:24:393
2721543992220,1cyclictest0-21swapper/211:47:172
2721543992220,1cyclictest0-21swapper/211:23:122
2721543992220,1cyclictest0-21swapper/207:53:512
2721543992220,1cyclictest0-21swapper/207:13:152
2721543992219,2cyclictest0-21swapper/208:06:352
272154399220,21cyclictest0-21swapper/212:29:432
272154399220,21cyclictest0-21swapper/212:02:052
272154399220,21cyclictest0-21swapper/209:42:202
272154399220,21cyclictest0-21swapper/208:56:172
2721539992220,1cyclictest0-21swapper/112:25:341
2721539992220,1cyclictest0-21swapper/111:16:531
272153999220,21cyclictest3056-21PK-Backend07:44:211
272153999220,20cyclictest3056-21PK-Backend10:32:451
2721537992220,1cyclictest0-21swapper/012:20:280
2721537992220,1cyclictest0-21swapper/008:13:080
272153799220,21cyclictest0-21swapper/007:43:210
28079732210,2sleep30-21swapper/310:40:103
272154799211,18cyclictest2814049-21python310:55:213
2721547992110,9cyclictest2806201-21grep10:35:153
272154799210,20cyclictest3056-21PK-Backend09:21:343
272154799210,20cyclictest3056-21PK-Backend07:54:083
272154799210,19cyclictest3056-21PK-Backend12:09:383
2721543992119,1cyclictest0-21swapper/212:36:332
2721543992119,1cyclictest0-21swapper/211:01:562
2721543992119,1cyclictest0-21swapper/210:59:052
2721543992119,1cyclictest0-21swapper/210:18:232
2721543992119,1cyclictest0-21swapper/209:59:512
2721543992119,1cyclictest0-21swapper/209:34:562
2721543992119,1cyclictest0-21swapper/209:03:402
2721543992119,1cyclictest0-21swapper/208:24:402
2721543992119,1cyclictest0-21swapper/207:47:422
2721543992119,1cyclictest0-21swapper/207:47:412
272154399210,8cyclictest27634132cat09:05:172
272154399210,20cyclictest0-21swapper/210:04:162
2721539992119,1cyclictest3056-21PK-Backend08:42:481
2721539992119,1cyclictest3056-21PK-Backend08:42:471
2721539992119,1cyclictest3056-21PK-Backend07:33:471
2721539992119,1cyclictest0-21swapper/112:04:121
2721539992119,1cyclictest0-21swapper/111:27:481
2721539992119,1cyclictest0-21swapper/110:01:571
2721539992119,1cyclictest0-21swapper/107:51:521
2721539992119,1cyclictest0-21swapper/107:25:491
2721539992118,2cyclictest3056-21PK-Backend11:31:261
2721539992113,6cyclictest883-21dbus-daemon09:05:001
2721539992113,6cyclictest2725398-21apt-get07:20:001
272153999210,20cyclictest3056-21PK-Backend10:15:501
272153999210,20cyclictest0-21swapper/107:45:091
272153999210,20cyclictest0-21swapper/107:45:091
272153999210,19cyclictest3056-21PK-Backend11:49:381
272153999210,19cyclictest3056-21PK-Backend11:42:221
272153999210,19cyclictest3056-21PK-Backend11:42:221
2721537992119,1cyclictest0-21swapper/012:08:450
2721537992119,1cyclictest0-21swapper/011:59:400
2721537992119,1cyclictest0-21swapper/011:40:200
2721537992119,1cyclictest0-21swapper/011:40:190
2721537992119,1cyclictest0-21swapper/011:37:430
2721537992119,1cyclictest0-21swapper/011:17:210
2721537992119,1cyclictest0-21swapper/011:00:590
2721537992119,1cyclictest0-21swapper/010:52:410
2721537992119,1cyclictest0-21swapper/009:47:370
2721537992119,1cyclictest0-21swapper/009:18:240
2721537992119,1cyclictest0-21swapper/008:51:410
2721537992119,1cyclictest0-21swapper/008:42:010
2721537992119,1cyclictest0-21swapper/008:42:010
2721537992119,1cyclictest0-21swapper/008:33:090
2721537992113,6cyclictest2722679-21sed07:10:200
28462882200,4sleep00-21swapper/012:25:220
28177342200,4sleep23056-21PK-Backend11:05:202
27547172200,2sleep20-21swapper/208:40:202
27547172200,2sleep20-21swapper/208:40:202
2721547992018,1cyclictest3056-21PK-Backend10:47:453
2721547992018,1cyclictest3056-21PK-Backend09:36:423
2721547992018,1cyclictest0-21swapper/311:39:453
272154799201,7cyclictest2753106-21python308:35:233
2721547992017,2cyclictest3056-21PK-Backend11:53:303
2721547992013,5cyclictest436-20systemd-journal08:06:393
2721547992013,5cyclictest1-21systemd07:15:003
272154799201,17cyclictest2750482-21/usr/sbin/munin08:30:133
272154799200,1cyclictest3056-21PK-Backend10:51:253
272154799200,1cyclictest3056-21PK-Backend09:42:163
272154799200,19cyclictest3056-21PK-Backend12:15:543
272154799200,19cyclictest3056-21PK-Backend11:16:043
272154799200,19cyclictest3056-21PK-Backend08:59:173
272154799200,19cyclictest3056-21PK-Backend08:02:393
272154799200,19cyclictest0-21swapper/312:25:343
272154799200,19cyclictest0-21swapper/312:20:203
272154799200,19cyclictest0-21swapper/310:26:313
272154799200,19cyclictest0-21swapper/308:17:133
272154799200,19cyclictest0-21swapper/307:40:143
2721543992018,1cyclictest0-21swapper/211:13:052
2721543992018,1cyclictest0-21swapper/210:32:082
2721543992018,1cyclictest0-21swapper/209:10:162
2721543992018,1cyclictest0-21swapper/207:56:142
2721543992017,2cyclictest0-21swapper/211:33:192
272154399200,1cyclictest0-21swapper/212:07:332
272154399200,19cyclictest0-21swapper/212:11:102
272154399200,19cyclictest0-21swapper/210:45:062
272154399200,19cyclictest0-21swapper/208:30:482
272154399200,19cyclictest0-21swapper/207:42:222
272154399200,19cyclictest0-21swapper/207:30:322
272153999204,11cyclictest2836083-40unattended-upgr11:55:451
2721539992018,1cyclictest3056-21PK-Backend08:45:121
2721539992018,1cyclictest3056-21PK-Backend08:25:591
2721539992018,1cyclictest0-21swapper/112:12:161
2721539992018,1cyclictest0-21swapper/111:12:141
2721539992018,1cyclictest0-21swapper/111:08:341
2721539992018,1cyclictest0-21swapper/110:58:281
2721539992017,2cyclictest3056-21PK-Backend10:26:311
2721539992013,5cyclictest883-21dbus-daemon09:44:591
2721539992013,5cyclictest2849227-21diskstats12:35:141
2721539992011,7cyclictest2774005-21ntp_kernel_pll_09:35:181
272153999200,1cyclictest3056-21PK-Backend10:43:411
272153999200,19cyclictest3056-21PK-Backend09:56:431
272153999200,19cyclictest3056-21PK-Backend09:12:151
272153999200,19cyclictest0-21swapper/112:34:341
272153999200,19cyclictest0-21swapper/111:53:171
272153999200,18cyclictest3056-21PK-Backend08:15:311
2721537992018,1cyclictest0-21swapper/012:34:400
2721537992018,1cyclictest0-21swapper/011:47:090
2721537992018,1cyclictest0-21swapper/010:42:460
2721537992018,1cyclictest0-21swapper/009:24:330
2721537992018,1cyclictest0-21swapper/007:52:330
2721537992013,5cyclictest2725932-21apt07:20:110
2721537992012,6cyclictest2822501-21cat11:20:110
2721537992012,6cyclictest2724509-21load07:15:170
272153799200,19cyclictest0-21swapper/011:54:120
272153799200,19cyclictest0-21swapper/007:56:190
27382432190,9sleep126-21ksoftirqd/107:55:121
2721547991917,1cyclictest3056-21PK-Backend12:34:333
2721547991917,1cyclictest3056-21PK-Backend11:21:333
2721547991917,1cyclictest3056-21PK-Backend11:03:213
2721547991917,1cyclictest0-21swapper/308:28:283
2721547991917,1cyclictest0-21swapper/307:55:433
2721547991917,1cyclictest0-21swapper/307:36:513
2721547991916,2cyclictest3056-21PK-Backend09:47:173
2721547991914,3cyclictest2766357-21apt09:15:113
2721547991914,3cyclictest2757979-21latency08:50:173
2721547991912,6cyclictest2730109-21ntpq07:30:183
2721547991912,5cyclictest2757385-21date08:50:013
2721547991912,5cyclictest2744683-21sshd08:10:403
272154799190,1cyclictest3056-21PK-Backend12:11:283
272154799190,1cyclictest3056-21PK-Backend09:54:053
272154799190,1cyclictest3056-21PK-Backend07:19:063
272154799190,1cyclictest0-21swapper/311:46:133
272154799190,1cyclictest0-21swapper/311:31:263
272154799190,1cyclictest0-21swapper/310:15:483
272154799190,1cyclictest0-21swapper/309:56:433
272154799190,1cyclictest0-21swapper/309:10:403
272154799190,18cyclictest3056-21PK-Backend12:03:243
272154799190,18cyclictest3056-21PK-Backend11:12:273
272154799190,18cyclictest3056-21PK-Backend11:07:003
272154799190,18cyclictest3056-21PK-Backend10:01:573
272154799190,18cyclictest0-21swapper/311:27:483
2721543991917,1cyclictest3056-21PK-Backend09:50:112
2721543991917,1cyclictest0-21swapper/212:22:062
2721543991917,1cyclictest0-21swapper/212:16:382
2721543991917,1cyclictest0-21swapper/211:51:572
2721543991916,2cyclictest0-21swapper/210:20:122
2721543991910,7cyclictest2836443-21perf12:00:002
272154399190,1cyclictest0-21swapper/211:28:382
272154399190,1cyclictest0-21swapper/210:27:282
272154399190,1cyclictest0-21swapper/209:49:092
272154399190,1cyclictest0-21swapper/209:19:352
272154399190,18cyclictest0-21swapper/210:40:272
2721539991917,1cyclictest3056-21PK-Backend11:36:541
2721539991917,1cyclictest0-21swapper/112:18:311
2721539991917,1cyclictest0-21swapper/111:22:211
2721539991917,1cyclictest0-21swapper/107:23:261
2721539991916,2cyclictest3056-21PK-Backend07:39:351
2721539991913,4cyclictest2741963-21grep08:05:111
272153999190,1cyclictest3056-21PK-Backend08:38:501
272153999190,1cyclictest3056-21PK-Backend08:32:411
272153999190,1cyclictest0-21swapper/112:06:011
272153999190,1cyclictest0-21swapper/110:49:091
272153999190,18cyclictest0-21swapper/109:19:121
2721537991918,1cyclictest0-21swapper/008:36:070
2721537991917,1cyclictest0-21swapper/010:03:400
2721537991917,1cyclictest0-21swapper/008:47:560
2721537991913,4cyclictest2843396-21basename12:20:010
2721537991912,6cyclictest2780506-21expr09:55:130
2721537991912,5cyclictest13-21ksoftirqd/012:35:110
2721537991910,7cyclictest883-21dbus-daemon11:05:590
272153799190,18cyclictest3056-21PK-Backend07:30:160
272153799190,18cyclictest0-21swapper/011:31:410
2721547991816,1cyclictest0-21swapper/308:24:433
2721547991816,1cyclictest0-21swapper/307:49:353
2721547991816,1cyclictest0-21swapper/307:49:353
2721547991812,4cyclictest2831045-21cut11:45:003
2721547991812,4cyclictest2831045-21cut11:45:003
2721547991811,5cyclictest2805382-21cat10:30:233
272154399188,7cyclictest1-21systemd08:50:002
2721543991816,1cyclictest0-21swapper/211:15:552
2721543991814,3cyclictest978-21snmpd09:28:082
272154399181,15cyclictest2811603-21tr10:50:122
272154399181,13cyclictest2744439-21python308:10:212
272154399181,12cyclictest2745307-21apt08:15:122
2721543991810,6cyclictest2741304-21apt-get08:05:002
2721539991812,4cyclictest2028-21upowerd11:04:111
2721539991811,5cyclictest2806710-21grep10:35:201
2721539991811,5cyclictest2778350-21sed09:50:011
2721539991811,5cyclictest2768269-21expr09:20:111
2721537991816,1cyclictest0-21swapper/009:01:010
2721537991815,2cyclictest3056-21PK-Backend08:05:380
2721537991814,3cyclictest2746763-21cron08:20:000
2721537991810,6cyclictest2773346-21awk09:35:110
27259732170,3sleep23056-21PK-Backend07:20:112
2721547991715,1cyclictest3056-21PK-Backend12:39:323
272154799171,3cyclictest2754348-21diskstats08:40:153
272154799171,3cyclictest2754348-21diskstats08:40:153
272154799170,5cyclictest2727840-21expr07:25:123
272154399173,13cyclictest1095-21runrttasks07:26:322
2721543991710,5cyclictest2752795-21cat08:35:162
2721539991715,1cyclictest0-21swapper/110:21:031
2721539991712,3cyclictest2740752-21switchtime08:00:201
2721539991710,5cyclictest2772319-21seq09:30:191
272153799178,6cyclictest2740229-21cat08:00:120
2721537991715,1cyclictest0-21swapper/012:00:400
2721537991715,1cyclictest0-21swapper/007:37:110
2721537991712,3cyclictest2748920-21cpuspeed_turbos08:25:110
2721537991711,5cyclictest2765681-21sed09:10:230
2721537991710,5cyclictest2763456-21cat09:05:170
2721537991710,5cyclictest2761108-21cut09:00:010
272154799169,5cyclictest2800974-21find10:20:103
2721547991610,4cyclictest2770311-21cut09:25:163
2721543991611,4cyclictest2774751-21cron09:40:002
2721543991610,4cyclictest2807658-21munin-run10:40:002
2721543991610,4cyclictest1095-21runrttasks11:45:002
2721543991610,4cyclictest1095-21runrttasks11:45:002
272153799160,15cyclictest0-21swapper/010:21:040
27624292150,4chrt3056-21PK-Backend09:02:393
2721547991510,3cyclictest2772174-21grep09:30:163
272153999158,5cyclictest2770025-21expr09:25:121
2721539991513,1cyclictest3056-21PK-Backend08:10:441
2721539991510,3cyclictest2760892-21latency_hist09:00:011
2721537991511,3cyclictest2804645-21tr10:30:130
2721537991510,4cyclictest2747538-21sed08:20:180
272154399147,5cyclictest2768829-21ntpq09:20:182
272153799149,3cyclictest2799336-21cpuspeed10:15:120
2721537991412,1cyclictest0-21swapper/010:27:200
2721537991311,1cyclictest3056-21PK-Backend07:45:300
2721537991311,1cyclictest3056-21PK-Backend07:45:300
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional