You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-07 - 21:54

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Fri Nov 07, 2025 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
435721860,2sleep30-21swapper/307:05:463
435721860,2sleep30-21swapper/307:05:463
1337721020,2sleep20-21swapper/211:25:572
121342860,2sleep30-21swapper/309:50:533
594599783,62cyclictest0-21swapper/007:10:310
240622750,5sleep0594599cyclictest08:00:440
5945996863,3cyclictest0-21swapper/012:01:240
5945996762,3cyclictest0-21swapper/010:01:120
5945996762,3cyclictest0-21swapper/010:01:120
594599671,55cyclictest1996-21wget11:10:470
260252660,1sleep30-21swapper/312:30:443
594599651,52cyclictest0-21swapper/010:40:560
61482630,1sleep20-21swapper/209:41:502
594599631,41cyclictest25771-21latency_hist12:30:290
594599631,37cyclictest1933-21grep11:56:000
5946996212,30cyclictest0-21swapper/107:10:301
594599624,47cyclictest16624-1kworker/u9:212:20:400
594599622,45cyclictest13446-21grep11:25:580
5945996136,4cyclictest0-21swapper/012:20:300
594599606,51cyclictest101ktimersoftd/010:50:280
5945996020,20cyclictest23777-21munin-plugin-st08:00:280
5945995942,6cyclictest852-21latency_hist09:35:290
5945995935,13cyclictest24956-21unixbench_multi10:55:590
594599591,50cyclictest0-21swapper/010:30:500
594599591,41cyclictest30084-21latency_hist09:30:300
594599586,49cyclictest101ktimersoftd/008:45:580
5945995845,3cyclictest0-21swapper/007:35:420
594599583,45cyclictest0-21swapper/011:35:510
5945995827,13cyclictest101ktimersoftd/010:00:290
594599581,54cyclictest101ktimersoftd/010:05:590
594599581,46cyclictest0-21swapper/009:05:440
594599573,5cyclictest0-21swapper/008:35:290
594599572,47cyclictest14485-21aten_rbpower_cu12:15:430
594599571,42cyclictest0-21swapper/011:50:580
59162570,12sleep15716-21wc07:10:301
69292560,2sleep30-21swapper/311:16:563
5945995624,23cyclictest101ktimersoftd/011:20:580
594599562,38cyclictest0-21swapper/012:10:280
594599561,48cyclictest27197-21timerandwakeup11:45:580
594599561,47cyclictest0-21swapper/009:40:510
5945995611,28cyclictest4262-21latency_hist09:40:280
594599557,45cyclictest0-21swapper/009:10:410
5945995542,5cyclictest101ktimersoftd/011:07:080
5945995534,11cyclictest3236-21ssh10:25:520
594599552,41cyclictest25203-21fschecks_time10:10:450
594599552,39cyclictest0-21swapper/012:34:210
594599551,46cyclictest0-21swapper/010:50:460
594599551,45cyclictest13229-21cut07:30:440
594599547,8cyclictest0-21swapper/008:10:410
5945995446,5cyclictest101ktimersoftd/010:25:280
5945995439,7cyclictest101ktimersoftd/008:54:120
5945995437,9cyclictest4257-21/usr/sbin/munin08:35:470
594599543,34cyclictest0-21swapper/007:15:400
594599541,50cyclictest2049150rm09:15:410
594599536,21cyclictest16867-21diskmemload09:45:410
594599532,40cyclictest13-21rcuc/012:35:540
594899527,13cyclictest7850irq/56-dwc_otg08:10:413
594599527,34cyclictest13-21rcuc/008:40:440
594599523,35cyclictest0-21swapper/008:26:190
5945995233,12cyclictest101ktimersoftd/011:43:380
5945995230,9cyclictest17896-21grep07:40:570
594599521,44cyclictest0-21swapper/007:53:540
594599521,44cyclictest0-21swapper/007:53:540
594799512,10cyclictest7850irq/56-dwc_otg10:30:422
594599517,33cyclictest9-21ksoftirqd/009:22:020
594599514,39cyclictest9-21ksoftirqd/010:35:490
5945995023,15cyclictest8050irq/56-dwc_otg_11:35:280
5945995016,5cyclictest0-21swapper/007:45:390
594599501,44cyclictest30521-21grep08:15:560
594599501,33cyclictest28332-21/usr/sbin/munin10:15:550
5945994932,10cyclictest27343-21munin-node11:00:410
594599491,40cyclictest0-21swapper/011:19:510
594599491,37cyclictest0-21swapper/012:10:530
594599491,36cyclictest0-21swapper/008:10:290
5945994911,25cyclictest0-21swapper/008:20:360
53562492,14sleep00-21swapper/007:06:290
53562492,14sleep00-21swapper/007:06:290
594899482,5cyclictest0-21swapper/311:00:413
594899481,9cyclictest8050irq/56-dwc_otg_12:25:403
5946994822,4cyclictest23903-21aten_rbpower_vo10:55:451
594599481,37cyclictest0-21swapper/009:00:310
594599481,37cyclictest0-21swapper/009:00:310
594599481,35cyclictest0-21swapper/007:23:550
594799479,20cyclictest0-21swapper/207:10:312
594599473,37cyclictest0-21swapper/009:51:230
594699461,18cyclictest0-21swapper/110:40:401
49232460,2sleep3381ktimersoftd/312:00:573
594699451,16cyclictest8050irq/56-dwc_otg_09:05:281
594699451,16cyclictest8050irq/56-dwc_otg_09:05:281
5945994525,5cyclictest12163-21wc08:55:510
25982450,2sleep12597-21acpi10:25:411
594899444,5cyclictest7950irq/56-dwc_otg_08:55:423
594699443,9cyclictest7950irq/56-dwc_otg_10:30:421
5946994426,5cyclictest1511450wget07:35:431
5946994416,12cyclictest31307-21aten_rbpower_po08:20:431
594699434,5cyclictest0-21swapper/111:35:491
5946994315,5cyclictest9827-21fschecks_count07:20:461
7212411,36sleep2740-21apt-get11:55:412
594899418,17cyclictest381ktimersoftd/310:50:293
5947994120,4cyclictest27153-21latency_hist11:00:292
280602410,1sleep10-21swapper/109:25:591
594899402,4cyclictest8050irq/56-dwc_otg_08:35:423
5948994012,4cyclictest845-21latency_hist12:40:293
5947994023,4cyclictest19612-21grep12:20:572
594699405,3cyclictest0-21swapper/112:35:431
594699405,2cyclictest0-21swapper/108:25:431
5946994018,12cyclictest23047-21sh09:19:441
5946994014,15cyclictest1287-21latency11:55:511
594899398,17cyclictest37-21rcuc/310:19:573
594899397,11cyclictest12864-21modprobe10:40:293
5948993914,4cyclictest7850irq/56-dwc_otg10:25:283
5948993910,6cyclictest7850irq/56-dwc_otg07:30:483
5947993930,6cyclictest301ktimersoftd/212:15:402
5947993930,6cyclictest301ktimersoftd/212:15:402
5947993919,4cyclictest22264-21basename07:55:442
5947993917,5cyclictest15696-21/usr/sbin/munin11:30:482
5947993914,14cyclictest301ktimersoftd/211:46:462
594699393,4cyclictest23-21ksoftirqd/111:45:541
594699391,7cyclictest22272-21grep07:55:441
5946993916,11cyclictest7950irq/56-dwc_otg_08:30:561
5946993916,11cyclictest29262-21sh11:02:241
5946993915,16cyclictest221ktimersoftd/109:25:131
5946993913,15cyclictest11772-21/usr/sbin/munin12:10:551
5945993928,4cyclictest12144-21proc_pri07:25:570
5946993818,10cyclictest18324-21/usr/sbin/munin12:20:531
594699381,26cyclictest8393-21ls09:45:461
5946993812,5cyclictest0-21swapper/109:50:421
5946993812,4cyclictest22301-21missed_timers10:05:521
594699381,15cyclictest18915-21fschecks_time07:45:481
594899377,26cyclictest0-21swapper/307:45:403
594899374,10cyclictest0-21swapper/311:10:593
5948993727,7cyclictest17735-21apt-key10:00:293
5948993717,5cyclictest9653-21aten_rbpower_en07:20:433
5948993715,9cyclictest381ktimersoftd/309:10:503
5948993715,5cyclictest37-21rcuc/307:35:553
5948993714,14cyclictest37-21rcuc/312:18:393
5948993714,14cyclictest37-21rcuc/312:18:393
594899371,24cyclictest21291-21ls07:50:543
594899371,24cyclictest21291-21ls07:50:543
5947993721,9cyclictest13353-21latency_hist09:00:292
5947993719,11cyclictest32448-21seq08:21:052
594799371,7cyclictest13228-21grep07:30:442
594799371,4cyclictest0-21swapper/207:40:482
5947993712,16cyclictest301ktimersoftd/211:24:002
594799371,19cyclictest7850irq/56-dwc_otg11:15:522
5947993711,13cyclictest7950irq/56-dwc_otg_11:40:572
5947993710,16cyclictest27482-21aten_rbpower_vo11:00:452
594699374,24cyclictest7850irq/56-dwc_otg12:30:591
5946993717,9cyclictest32651-21sh09:33:591
5946993717,5cyclictest7850irq/56-dwc_otg11:10:531
5946993716,9cyclictest10209-21sh11:21:241
5946993716,10cyclictest8050irq/56-dwc_otg_09:55:521
594899364,4cyclictest7850irq/56-dwc_otg12:12:533
594899364,18cyclictest39-21ksoftirqd/310:58:423
5948993615,4cyclictest2724-21aten_rbpower_vo10:25:453
5948993615,14cyclictest16867-21diskmemload10:05:293
5948993615,14cyclictest16867-21diskmemload10:05:293
5948993614,9cyclictest381ktimersoftd/309:35:503
5948993614,5cyclictest16786-21/usr/sbin/munin07:40:513
5948993614,13cyclictest14598-21ssh11:28:333
5948993613,4cyclictest13773-21fschecks_count09:00:473
5948993613,4cyclictest13773-21fschecks_count09:00:473
5948993612,4cyclictest7148-21unixbench-2d08:40:563
594899361,18cyclictest39-21ksoftirqd/312:08:443
594699368,3cyclictest0-21swapper/109:40:411
594699368,18cyclictest8050irq/56-dwc_otg_11:40:541
594699365,3cyclictest7950irq/56-dwc_otg_08:45:511
5946993616,6cyclictest0-21swapper/108:15:501
5946993615,5cyclictest17229-21idleruntime10:45:481
258392360,3sleep325835-21switchtime10:10:543
594899356,24cyclictest0-21swapper/308:00:443
594899356,18cyclictest8050irq/56-dwc_otg_11:57:383
594899354,16cyclictest381ktimersoftd/311:21:053
5948993510,11cyclictest0-21swapper/310:50:543
5947993520,5cyclictest18031-21ssh10:00:332
5947993520,5cyclictest18031-21ssh10:00:332
5947993517,11cyclictest4320-21sh11:13:572
5947993514,6cyclictest18910-21fschecks_time07:45:482
5947993512,6cyclictest17188-21tune2fs10:45:472
5947993512,12cyclictest31-21ksoftirqd/212:10:552
5947993511,14cyclictest16867-21diskmemload09:49:332
594699359,5cyclictest4390-21cpu08:35:441
594699358,3cyclictest0-21swapper/111:33:541
594699357,13cyclictest0-21swapper/111:27:521
594699353,17cyclictest31059-21ssh11:05:461
594699351,7cyclictest15472-21ssh12:15:561
594699351,7cyclictest15472-21ssh12:15:561
594699351,6cyclictest10105-21ssh10:35:501
594699351,4cyclictest0-21swapper/107:30:451
5946993513,4cyclictest7950irq/56-dwc_otg_10:25:281
5946993512,11cyclictest23-21ksoftirqd/107:40:561
5946993511,4cyclictest0-21swapper/109:10:561
594899349,10cyclictest381ktimersoftd/309:30:193
594899348,15cyclictest0-21swapper/310:05:423
594899347,24cyclictest0-21swapper/308:20:433
594899347,23cyclictest0-21swapper/312:20:353
594899346,23cyclictest0-21swapper/307:15:423
594899346,15cyclictest8050irq/56-dwc_otg_08:35:293
594899343,5cyclictest7950irq/56-dwc_otg_07:55:413
5948993415,5cyclictest23096-21fschecks_time11:40:463
594899341,4cyclictest20499-21ssh09:15:423
594899341,23cyclictest29596-21ls11:50:293
594899341,22cyclictest1531-21ls08:25:573
594799349,13cyclictest0-21swapper/212:06:532
594799349,10cyclictest0-21swapper/210:25:302
5947993418,6cyclictest27014-21sh10:13:042
5947993412,6cyclictest30970-21ssh09:30:532
594699346,4cyclictest7850irq/56-dwc_otg08:40:561
594699344,7cyclictest25757-21latency_hist08:05:291
594699343,13cyclictest8050irq/56-dwc_otg_10:15:541
594699341,7cyclictest1889-21ps09:35:551
594699341,4cyclictest20753-21ssh10:50:471
5946993414,5cyclictest10040-21fschecks_count08:50:461
5946993413,13cyclictest273622chrt08:10:241
5946993410,4cyclictest0-21swapper/112:06:401
5946993410,14cyclictest0-21swapper/112:28:071
594899337,7cyclictest4487-21ssh09:40:423
594899336,5cyclictest7950irq/56-dwc_otg_09:45:453
594899333,15cyclictest8050irq/56-dwc_otg_11:09:563
594899333,13cyclictest0-21swapper/307:10:313
594899331,8cyclictest37-21rcuc/311:40:293
5948993314,4cyclictest17134-21sh11:31:183
5948993312,4cyclictest30875-21timerwakeupswit11:50:583
5948993311,5cyclictest14183-21timerandwakeup10:40:563
594799338,4cyclictest5679-21kworker/u8:407:25:282
594799336,14cyclictest0-21swapper/210:05:532
5947993319,7cyclictest8050irq/56-dwc_otg_12:38:422
5947993315,5cyclictest26122-21aten_rbpower_vo12:30:452
5947993312,9cyclictest16867-21diskmemload09:56:582
594799331,18cyclictest30300-21switchtime08:15:542
594699335,6cyclictest0-21swapper/111:50:531
594699335,14cyclictest8050irq/56-dwc_otg_07:50:531
594699335,14cyclictest8050irq/56-dwc_otg_07:50:531
5946993317,4cyclictest11613-21aten_rbpower_cu08:55:431
594699331,5cyclictest28761-21grep08:10:561
594699331,21cyclictest16867-21diskmemload10:10:541
594899328,9cyclictest7850irq/56-dwc_otg10:31:023
594899328,4cyclictest8050irq/56-dwc_otg_09:20:393
594899327,22cyclictest0-21swapper/308:45:333
5948993212,4cyclictest30858-21missed_timers09:30:503
594799327,11cyclictest8050irq/56-dwc_otg_10:35:532
594799322,20cyclictest11765-21latency09:50:482
594799321,5cyclictest23476-21ssh09:20:292
5947993215,4cyclictest3199550wget10:20:452
5947993213,5cyclictest27716-21aten_rbpower_vo08:10:432
5947993212,5cyclictest26140-21fschecks_time08:05:482
594699329,5cyclictest4543-21expr12:00:531
594699326,9cyclictest7850irq/56-dwc_otg10:00:541
594699326,9cyclictest7850irq/56-dwc_otg10:00:541
594699326,15cyclictest5528-21ssh11:15:481
594699323,7cyclictest11673-21fschecks_count07:25:501
594699322,7cyclictest0-21swapper/107:20:141
594799318,5cyclictest7950irq/56-dwc_otg_09:35:542
5947993121,7cyclictest22436-21fschecks_count12:25:472
594799311,4cyclictest0-21swapper/211:05:482
5947993112,12cyclictest25220-21taskset08:01:092
594799311,18cyclictest29006-21ls10:15:502
594699316,15cyclictest0-21swapper/109:05:431
594899301,10cyclictest0-21swapper/308:05:563
5948993010,5cyclictest1111-21runrttasks07:28:443
594799309,12cyclictest31-21ksoftirqd/207:35:422
594799308,13cyclictest29509-21ssh09:29:282
594799306,14cyclictest0-21swapper/209:05:432
594799305,7cyclictest6834-21proc_pri08:40:532
594799305,5cyclictest7950irq/56-dwc_otg_10:40:522
594799301,7cyclictest20796-21fschecks_time10:50:472
594799301,7cyclictest18560-21ssh09:11:082
5947993012,11cyclictest1111-21runrttasks11:38:382
5947993012,10cyclictest140-21systemd-journal09:25:282
5947993010,6cyclictest29750-21/usr/sbin/munin11:50:482
594899292,5cyclictest8050irq/56-dwc_otg_09:05:523
594799298,14cyclictest301ktimersoftd/207:50:502
594799298,14cyclictest301ktimersoftd/207:50:502
594799298,14cyclictest0-21swapper/212:00:432
594799291,5cyclictest7950irq/56-dwc_otg_09:00:442
594799291,5cyclictest7950irq/56-dwc_otg_09:00:442
594799291,5cyclictest7950irq/56-dwc_otg_08:35:292
5947992913,9cyclictest1111-21runrttasks08:25:392
5947992912,5cyclictest8318-21fschecks_time08:45:482
594899272,5cyclictest7850irq/56-dwc_otg08:50:553
594899271,3cyclictest8050irq/56-dwc_otg_08:18:453
594799279,8cyclictest7950irq/56-dwc_otg_07:19:492
594799271,4cyclictest0-21swapper/208:35:412
55332273,15sleep10-21swapper/107:08:411
48302276,10sleep20-21swapper/207:05:542
48302276,10sleep20-21swapper/207:05:542
594799265,14cyclictest301ktimersoftd/208:50:462
594799261,9cyclictest7850irq/56-dwc_otg07:25:512
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional