You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-17 - 18:44

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #5, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack5slot3s.osadl.org (updated Fri Apr 17, 2026 12:44:30)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
90762238162,24sleep10-21swapper/107:09:461
88642238164,23sleep20-21swapper/207:07:002
90582202165,24sleep30-21swapper/307:09:323
88572201164,25sleep00-21swapper/007:06:550
785221380,5sleep1918199cyclictest10:45:111
9187991167,107cyclictest0-21swapper/211:01:012
9187991091,106cyclictest0-21swapper/208:08:312
91879910097,2cyclictest0-21swapper/207:10:472
9187999693,2cyclictest0-21swapper/208:33:462
327452750,16sleep30-21swapper/309:15:113
275422540,5sleep127541-21latency10:15:181
9187995046,3cyclictest0-21swapper/210:43:362
303662480,4sleep339-21rcuc/311:35:183
35092430,1sleep10-21swapper/109:20:201
197972360,1sleep119798-21head12:25:161
919499340,22cyclictest0-21swapper/311:33:543
9172993410,12cyclictest5724-21idleruntime-cro11:55:010
9187993330,2cyclictest0-21swapper/210:18:292
917299336,13cyclictest14243-21munin-run07:20:020
917299325,13cyclictest29291-21basename11:35:010
917299316,12cyclictest8877-21munin-run09:35:020
918199301,23cyclictest0-21swapper/110:39:521
918199301,23cyclictest0-21swapper/109:36:221
229242300,4sleep011-21rcuc/008:50:210
919499291,21cyclictest0-21swapper/311:52:363
918199298,12cyclictest0-21swapper/111:37:421
918199291,22cyclictest0-21swapper/112:38:511
9181992822,3cyclictest1985-21cpuspeed_turbos08:05:111
917299286,10cyclictest16112-21awk11:05:010
919499274,16cyclictest22031-21kworker/u8:010:08:483
918799277,11cyclictest0-21swapper/211:24:562
918799277,11cyclictest0-21swapper/211:24:562
917299279,15cyclictest6065-21munin-run08:15:010
917299277,17cyclictest17674-21munin-run09:55:000
919499261,18cyclictest0-21swapper/312:25:053
919499261,18cyclictest0-21swapper/311:22:543
919499261,18cyclictest0-21swapper/311:22:543
919499261,18cyclictest0-21swapper/310:39:063
919499261,18cyclictest0-21swapper/310:01:563
919499261,18cyclictest0-21swapper/309:54:173
918199262,16cyclictest0-21swapper/110:05:301
918199261,9cyclictest0-21swapper/109:56:171
918199261,20cyclictest0-21swapper/110:43:001
918199261,19cyclictest0-21swapper/111:42:001
918199261,12cyclictest9556-21ntp_states08:20:211
918199260,9cyclictest0-21swapper/112:08:301
917299267,16cyclictest19871-21munin-run10:00:000
917299262,11cyclictest7893-21kworker/0:208:26:250
919499252,15cyclictest0-21swapper/312:03:513
919499251,18cyclictest0-21swapper/311:00:113
919499251,18cyclictest0-21swapper/309:47:113
919499251,18cyclictest0-21swapper/309:31:053
919499251,18cyclictest0-21swapper/309:20:453
919499251,17cyclictest30250-21perf09:10:013
919499251,17cyclictest0-21swapper/310:45:353
918799251,5cyclictest0-21swapper/211:40:242
9181992519,3cyclictest28049-21munin-run09:05:011
9181992519,3cyclictest28049-21munin-run09:05:011
918199251,17cyclictest0-21swapper/110:10:491
918199251,17cyclictest0-21swapper/110:10:491
918199251,17cyclictest0-21swapper/107:20:131
918199251,16cyclictest0-21swapper/111:15:201
918199251,16cyclictest0-21swapper/110:26:271
93762240,1sleep20-21swapper/212:00:212
919499243,15cyclictest0-21swapper/310:30:533
919499242,16cyclictest0-21swapper/310:20:083
9194992418,4cyclictest0-21swapper/312:30:123
9194992418,4cyclictest0-21swapper/312:30:123
919499241,17cyclictest0-21swapper/311:19:213
919499241,17cyclictest0-21swapper/311:09:333
919499241,17cyclictest0-21swapper/310:12:063
919499241,17cyclictest0-21swapper/310:12:063
919499241,17cyclictest0-21swapper/309:36:093
919499241,15cyclictest0-21swapper/310:17:123
919499241,15cyclictest0-21swapper/309:59:213
919499241,11cyclictest6239-21missed_timers10:40:193
919499241,11cyclictest18040-21pmu-power12:20:213
919499241,11cyclictest10071-21diskstats10:50:153
919499240,8cyclictest0-21swapper/312:39:063
918799241,9cyclictest0-21swapper/209:56:172
918199249,9cyclictest0-21swapper/108:53:201
918199248,9cyclictest0-21swapper/109:16:421
9181992420,2cyclictest0-21swapper/107:14:561
9181992419,3cyclictest2895-21latency_hist10:35:011
9181992418,3cyclictest1672-21munin-run08:05:011
918199241,5cyclictest87550irq/128-enp1s0-11:20:211
918199241,5cyclictest87550irq/128-enp1s0-11:20:211
918199241,17cyclictest0-21swapper/110:03:121
918199241,16cyclictest0-21swapper/111:11:401
918199241,16cyclictest0-21swapper/109:53:481
918199241,16cyclictest0-21swapper/109:34:591
918199241,16cyclictest0-21swapper/109:26:541
918199241,15cyclictest0-21swapper/111:54:341
918199240,16cyclictest0-21swapper/112:02:501
917299241,15cyclictest808-21snmpd10:02:420
919499235,4cyclictest12050irq/123-ahci[0008:25:013
919499232,16cyclictest0-21swapper/311:13:383
919499231,17cyclictest0-21swapper/312:05:443
919499231,17cyclictest0-21swapper/309:29:063
919499231,16cyclictest0-21swapper/311:49:523
919499231,15cyclictest0-21swapper/312:11:263
919499231,15cyclictest0-21swapper/311:43:293
919499231,11cyclictest14468-21/usr/sbin/munin07:20:123
918799231,16cyclictest0-21swapper/210:10:202
918799231,16cyclictest0-21swapper/210:10:202
918199233,6cyclictest221ktimersoftd/110:55:161
9181992319,3cyclictest0-21swapper/108:12:561
9181992318,3cyclictest0-21swapper/107:41:011
9181992316,4cyclictest13276-21munin-run09:45:021
918199231,19cyclictest19780-21memory07:30:171
9181992311,6cyclictest20778-21kworker/u8:012:33:521
9181992311,6cyclictest20778-21kworker/u8:012:33:521
918199231,16cyclictest0-21swapper/112:22:051
918199231,16cyclictest0-21swapper/112:18:191
918199231,15cyclictest0-21swapper/112:12:361
918199231,14cyclictest0-21swapper/110:50:401
918199231,10cyclictest6907-21missed_timers11:55:181
918199231,10cyclictest12951-21hddtemp_smartct07:15:161
9172992319,3cyclictest0-21swapper/008:40:210
919499227,9cyclictest0-21swapper/309:41:513
919499225,6cyclictest810-21sshd11:29:113
919499223,13cyclictest0-21swapper/312:19:133
919499221,9cyclictest0-21swapper/308:03:213
919499221,7cyclictest28042-21latency_hist09:05:023
919499221,7cyclictest28042-21latency_hist09:05:023
919499221,13cyclictest0-21swapper/310:25:503
919499221,12cyclictest16151-21ntp_states08:35:223
918799226,8cyclictest87350irq/126-enp1s0-08:50:012
9187992219,2cyclictest0-21swapper/212:25:322
9187992215,4cyclictest10997-21sed12:05:152
918199229,2cyclictest14641-21grep09:45:221
918199222,18cyclictest0-21swapper/110:20:071
9181992218,3cyclictest0-21swapper/108:57:141
9181992218,3cyclictest0-21swapper/107:47:321
9181992216,1cyclictest0-21swapper/108:49:161
918199221,4cyclictest0-21swapper/111:05:211
9181992213,3cyclictest0-21swapper/111:32:071
918199221,10cyclictest7066-21cat08:15:171
918199220,16cyclictest0-21swapper/108:30:021
917299228,3cyclictest32380-21sshd09:14:210
9172992216,4cyclictest32766-21chrt11:40:200
917299221,19cyclictest0-21swapper/009:15:240
917299221,19cyclictest0-21swapper/008:00:190
917299221,10cyclictest0-21swapper/012:15:180
240282221,2sleep324078-21kernelversion07:40:183
919499215,8cyclictest12050irq/123-ahci[0007:40:013
919499211,9cyclictest0-21swapper/307:46:453
918799219,4cyclictest87350irq/126-enp1s0-07:50:112
918799219,3cyclictest12050irq/123-ahci[0007:30:012
918799219,3cyclictest0-21swapper/212:38:262
918799215,8cyclictest87350irq/126-enp1s0-09:20:192
918799215,3cyclictest10487-21latency_hist08:25:012
918799214,4cyclictest579-21systemd-journal11:55:012
918799213,6cyclictest909-21sssd_nss09:15:232
918799212,6cyclictest28369-21ntp_states11:30:212
918799212,3cyclictest909-21sssd_nss12:30:252
918799212,3cyclictest909-21sssd_nss12:30:242
918799211,8cyclictest0-21swapper/211:05:172
918799211,7cyclictest10797-21ntp_states10:50:232
918199213,17cyclictest0-21swapper/108:30:261
918199212,7cyclictest14120-21/usr/sbin/munin11:00:181
918199212,17cyclictest0-21swapper/107:56:141
918199212,10cyclictest0-21swapper/108:36:561
918199211,5cyclictest0-21swapper/111:49:411
918199211,12cyclictest25399-21expr11:25:131
918199211,10cyclictest0-21swapper/109:10:201
918199210,10cyclictest0-21swapper/107:50:211
917299217,3cyclictest26637-21sshd07:45:210
9172992119,1cyclictest0-21swapper/009:20:230
9172992114,4cyclictest11357-21munin-run07:15:010
917299211,10cyclictest808-21snmpd07:41:240
9172992110,3cyclictest13948-21ntp_states08:30:220
123572211,2sleep3579-21systemd-journal08:26:213
919499201,6cyclictest3356-21taskset08:05:243
919499201,13cyclictest0-21swapper/310:59:423
919499201,11cyclictest4089-21/usr/sbin/munin08:10:123
918799209,3cyclictest87650irq/129-enp1s0-10:05:252
918799209,2cyclictest12050irq/123-ahci[0007:50:012
918799208,3cyclictest0-21swapper/207:36:432
918799203,14cyclictest24494-21find07:40:232
918799202,8cyclictest12050irq/123-ahci[0012:15:012
918799202,6cyclictest7514-21/usr/sbin/munin10:45:162
918799201,10cyclictest29502-21/usr/sbin/munin11:35:252
918799201,10cyclictest0-21swapper/210:22:222
918799201,10cyclictest0-21swapper/210:03:032
9181992016,3cyclictest0-21swapper/108:41:111
918199201,10cyclictest0-21swapper/107:37:321
918199200,15cyclictest0-21swapper/109:05:491
918199200,10cyclictest0-21swapper/107:25:141
917299206,3cyclictest4381-21sshd10:35:210
917299206,3cyclictest22289-21missed_timers12:30:200
917299206,3cyclictest22289-21missed_timers12:30:200
917299205,4cyclictest30248-21diskmemload11:23:520
917299205,4cyclictest30248-21diskmemload11:23:520
917299205,3cyclictest579-21systemd-journal12:05:020
917299204,3cyclictest694-21sed10:30:020
917299203,3cyclictest0-21swapper/011:05:110
917299202,6cyclictest28714-21ntp_states07:50:210
917299201,9cyclictest3645-21sshd08:07:220
917299201,6cyclictest29511-21gltestperf10:20:150
9172992014,4cyclictest11211-21grep10:50:260
917299201,17cyclictest0-21swapper/009:45:180
917299201,12cyclictest0-21swapper/010:18:350
917299200,18cyclictest0-21swapper/011:15:150
243922200,5sleep011-21rcuc/012:35:190
919499194,3cyclictest9380-21/usr/sbin/munin07:10:153
919499191,9cyclictest0-21swapper/311:56:113
919499191,5cyclictest20006-21pmu-power07:30:213
9194991912,4cyclictest19259-21idleruntime-cro08:45:013
919499191,11cyclictest839-21lldpd08:54:583
919499190,9cyclictest0-21swapper/307:55:213
918799197,2cyclictest30-21rcuc/212:19:562
918799197,2cyclictest30-21rcuc/211:45:192
918799195,4cyclictest30-21rcuc/209:32:142
918799195,3cyclictest87350irq/126-enp1s0-09:40:152
918799195,3cyclictest714-21latency_hist10:30:022
918799195,3cyclictest5750irq/9-acpi08:15:212
918799194,3cyclictest0-21swapper/209:52:052
918799192,5cyclictest0-21swapper/209:39:122
918799191,9cyclictest0-21swapper/208:52:382
918799191,6cyclictest5934-21/usr/sbin/munin11:55:192
918799191,6cyclictest17275-21/usr/sbin/munin08:40:242
918799191,6cyclictest11921-21/usr/sbin/munin10:55:102
918799191,6cyclictest0-21swapper/211:13:342
918799191,5cyclictest22728-21cat11:20:012
9187991914,3cyclictest16058-21needreboot08:35:192
9187991913,3cyclictest32412-21grep08:00:142
917299194,3cyclictest15142-21grep08:35:130
917299192,6cyclictest0-21swapper/012:05:120
917299192,15cyclictest10477-21perf08:25:020
917299191,6cyclictest0-21swapper/012:20:230
917299191,5cyclictest30767-21smart_sda11:35:230
917299191,16cyclictest0-21swapper/010:10:140
917299191,16cyclictest0-21swapper/010:10:140
917299191,16cyclictest0-21swapper/009:05:220
917299191,10cyclictest11298-21/usr/sbin/munin09:40:220
917299190,9cyclictest0-21swapper/010:46:210
65622190,2sleep20-21swapper/209:28:452
919499188,3cyclictest808-21snmpd08:16:243
919499187,3cyclictest16667-21/usr/sbin/munin07:25:153
919499186,2cyclictest32638-21cut09:15:023
919499184,3cyclictest87650irq/129-enp1s0-07:17:103
919499184,3cyclictest87350irq/126-enp1s0-08:30:233
919499181,7cyclictest0-21swapper/308:55:393
919499181,6cyclictest20284-21irqstats08:45:173
918799187,3cyclictest5750irq/9-acpi08:26:552
918799185,4cyclictest1901-21sed10:30:192
918799184,3cyclictest87650irq/129-enp1s0-07:20:212
918799183,4cyclictest23878-21/usr/sbin/munin08:55:122
918799181,5cyclictest26067-21/usr/sbin/munin09:00:172
918799181,5cyclictest26067-21/usr/sbin/munin09:00:172
918799181,5cyclictest16933-21/usr/sbin/munin12:20:162
918799181,5cyclictest13501-21/usr/sbin/munin09:45:192
918799181,5cyclictest0-21swapper/209:10:322
9187991813,3cyclictest12693-21grep07:15:152
918799181,10cyclictest0-21swapper/211:25:222
918799181,10cyclictest0-21swapper/210:35:472
9187991810,4cyclictest31000-21pmu-power07:55:232
918799180,9cyclictest0-21swapper/208:13:092
918799180,6cyclictest20205-21threads07:30:232
917299185,3cyclictest87350irq/126-enp1s0-08:45:120
917299182,5cyclictest29849-21/usr/sbin/munin07:55:200
917299182,4cyclictest30248-21diskmemload11:49:050
917299181,7cyclictest0-21swapper/011:55:030
917299181,6cyclictest20842-21awk07:35:010
917299181,5cyclictest4793-21ls09:25:130
917299181,5cyclictest23563-21smart_sda10:05:230
917299181,5cyclictest20499-21timerandwakeup12:25:260
917299181,5cyclictest16667-21/usr/sbin/munin07:25:210
9172991812,3cyclictest23871-21/usr/sbin/munin08:55:260
9172991812,3cyclictest15277-21irqstats07:20:160
917299181,15cyclictest11921-21/usr/sbin/munin10:55:140
918799170,9cyclictest0-21swapper/209:05:472
917299172,4cyclictest13717-21ps12:10:220
917299172,3cyclictest26176-21ntp_states11:25:220
917299171,4cyclictest893-21/usr/sbin/munin10:30:170
9172991712,3cyclictest9096-21/usr/sbin/munin09:35:160
917299171,15cyclictest0-21swapper/010:42:510
917299171,14cyclictest0-21swapper/009:00:130
917299171,14cyclictest0-21swapper/009:00:130
917299171,14cyclictest0-21swapper/008:15:140
917299171,14cyclictest0-21swapper/007:35:110
917299170,6cyclictest0-21swapper/011:10:210
9194991611,3cyclictest27770-21cpuspeed_turbos07:50:123
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional