You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-04 - 08:02

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Thu Dec 04, 2025 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
312969910232,55cyclictest17635-21aten_rbpower_po23:25:260
312969910229,52cyclictest29354-21grep22:15:440
312969910025,58cyclictest30348-21idleruntime-cro23:00:120
31296999627,56cyclictest16502-21unixbench_singl22:40:410
31296999627,56cyclictest16502-21unixbench_singl22:40:410
31296999627,52cyclictest5403-21ps23:50:380
31296999520,59cyclictest10009-21aten_rbpower_vo19:40:260
31296999426,51cyclictest6255-21ls00:35:380
31296999326,49cyclictest0-21swapper/021:15:250
31296999315,64cyclictest0-21swapper/022:04:510
31296999124,41cyclictest18234-21fschecks_time21:20:320
118812910,2sleep111883-21rm00:00:101
118812910,2sleep111883-21rm00:00:101
31296999029,48cyclictest0-21swapper/000:30:240
31296999027,60cyclictest250050ssh23:05:320
31296999022,56cyclictest3013-21egrep20:50:280
261642900,5sleep33129999cyclictest23:35:403
261642900,5sleep33129999cyclictest23:35:403
31296998926,43cyclictest0-21swapper/022:35:130
31296998925,44cyclictest27033-21chrt23:36:380
31296998925,44cyclictest27033-21chrt23:36:380
31296998727,46cyclictest11734-21fschecks_time22:35:310
31296998633,31cyclictest27337-21ssh21:31:320
31296998632,34cyclictest15506-21seq00:04:440
31296998628,41cyclictest10003-21ssh23:56:170
31296998628,41cyclictest10003-21ssh23:56:170
31296998526,44cyclictest0-21swapper/022:10:260
31296998526,35cyclictest23238-21rm21:26:030
31296998525,48cyclictest0-21swapper/023:25:130
31296998524,44cyclictest22670-21apt20:15:220
31296998422,12cyclictest448-21dbus-daemon19:16:220
31296998327,43cyclictest31470-21ssh23:00:380
31296998325,44cyclictest13171-21sshd23:19:520
31296998228,39cyclictest16880-21taskset19:59:140
31296998227,42cyclictest9012-21ssh21:50:320
31296998224,43cyclictest20909-21timerwakeupswit00:10:430
31296998222,42cyclictest0-21swapper/022:29:360
31296998220,51cyclictest140-21systemd-journal23:46:280
271752820,1sleep20-21swapper/222:14:032
31296998130,14cyclictest25604-21unixbench_multi20:20:430
31296998126,41cyclictest5531-21ssh21:45:360
31296998125,44cyclictest1546-21sh00:30:010
31296998125,44cyclictest1546-21sh00:30:010
31296998125,43cyclictest24426-21rm23:34:120
31296998124,49cyclictest18294-21ssh00:07:370
31296998124,46cyclictest24818-21ssh00:15:570
31296998123,44cyclictest0-21swapper/021:56:010
31296998123,42cyclictest2434-21taskset20:47:460
31296998121,49cyclictest0-21swapper/021:37:210
31296998025,42cyclictest28863-21ssh00:21:540
31296998025,38cyclictest22451-21rm22:07:170
31296998024,44cyclictest1076-21ssh22:21:120
31296998022,46cyclictest0-21swapper/020:58:380
31296998018,50cyclictest0-21swapper/019:37:470
31296997933,27cyclictest13617-21ssh21:15:040
31296997925,40cyclictest14732-21seq19:51:100
31296997922,46cyclictest0-21swapper/019:24:240
31296997922,46cyclictest0-21swapper/019:24:240
3129699786,25cyclictest0-21swapper/020:30:260
31296997828,37cyclictest26199-21rm22:54:360
31296997817,49cyclictest0-21swapper/020:25:240
31296997722,41cyclictest20560-21taskset20:10:000
31296997722,39cyclictest0-21swapper/021:06:510
31296997628,36cyclictest31257-21sh23:42:180
31296997530,28cyclictest20598-21ssh22:45:580
31296997426,33cyclictest7606-21ssh23:11:300
31296997426,33cyclictest7606-21ssh23:11:300
31296997425,42cyclictest13150-21runrttasks19:48:550
31296997421,44cyclictest0-21swapper/021:42:130
31296997325,36cyclictest18541-21chrt20:02:210
31296997325,36cyclictest18541-21chrt20:02:210
31296997227,29cyclictest31203-21seq20:36:590
201172720,2sleep20-21swapper/221:22:342
31296997120,38cyclictest0-21swapper/019:35:060
3129999704,6cyclictest0-21swapper/300:30:243
31296997028,28cyclictest7743-21chrt21:01:220
31296997026,31cyclictest22204-21taskset20:13:030
31296997019,38cyclictest0-21swapper/020:42:410
9132690,1sleep30-21swapper/322:20:523
3129799699,8cyclictest0-21swapper/100:35:271
31296996929,28cyclictest5784-21taskset19:27:260
31296996821,36cyclictest32541-21chrt19:11:010
110482670,10sleep111050-21grep23:15:411
3129799642,6cyclictest0-21swapper/123:25:301
31299996311,7cyclictest7950irq/56-dwc_otg_22:15:283
3129799633,9cyclictest0-21swapper/120:40:251
3129799627,14cyclictest0-21swapper/120:10:121
3129799622,7cyclictest10977-21sed19:40:391
3129799621,5cyclictest20204-21chrt00:10:331
31297996212,6cyclictest26689-21latency_hist22:55:131
122462620,2sleep10-21swapper/119:45:321
3129899609,22cyclictest0-21swapper/220:40:252
3129799602,8cyclictest12251-21ssh00:00:261
3129799601,5cyclictest1676-21modprobe00:30:131
3129799601,5cyclictest1676-21modprobe00:30:131
3129799591,16cyclictest7950irq/56-dwc_otg_21:48:131
31298995821,16cyclictest6627-21ls00:35:442
3129799586,5cyclictest7750irq/56-dwc_otg21:15:351
3129799585,20cyclictest30684-21ssh23:00:271
3129799571,5cyclictest4065-21systemd-cgroups19:23:511
3129799571,5cyclictest4065-21systemd-cgroups19:23:511
3129799571,5cyclictest24872-21memory22:10:361
3129799571,3cyclictest0-21swapper/122:00:391
3129799571,12cyclictest2686-21sh00:30:351
3129799564,7cyclictest16389-1kworker/1:0H22:30:241
3129799563,6cyclictest7950irq/56-dwc_otg_20:40:131
3129799563,12cyclictest0-21swapper/121:05:241
3129799561,11cyclictest7750irq/56-dwc_otg19:35:371
294582563,42sleep00-21swapper/019:05:160
3129799553,10cyclictest0-21swapper/123:48:421
3129799551,6cyclictest3810-21grep20:50:401
3129799544,10cyclictest7950irq/56-dwc_otg_23:50:511
3129799543,6cyclictest2459-21perl23:05:311
3129799543,3cyclictest0-21swapper/122:45:111
3129799543,3cyclictest0-21swapper/122:45:111
3129799543,13cyclictest7950irq/56-dwc_otg_21:31:431
3129799542,11cyclictest7950irq/56-dwc_otg_23:20:261
3129799541,5cyclictest9880-21diskmemload21:58:391
3129799541,5cyclictest8553-21ssh23:13:241
3129799541,5cyclictest8553-21ssh23:13:241
3129799541,3cyclictest0-21swapper/123:42:261
3129999537,31cyclictest0-21swapper/321:45:273
31298995315,9cyclictest7850irq/56-dwc_otg_21:40:252
3129799536,4cyclictest0-21swapper/122:09:451
3129799533,3cyclictest7750irq/56-dwc_otg22:45:261
3129799532,4cyclictest7850irq/56-dwc_otg_23:36:521
3129799532,4cyclictest7850irq/56-dwc_otg_23:36:521
31297995314,7cyclictest31331-21snmpd19:15:401
3129799531,12cyclictest7850irq/56-dwc_otg_22:27:001
3129999527,18cyclictest0-21swapper/319:15:273
3129799529,4cyclictest0-21swapper/122:15:161
3129799521,8cyclictest10161-21ssh21:10:201
31297995217,4cyclictest23271-21sh23:31:531
31297995210,6cyclictest0-21swapper/122:40:121
3129999515,4cyclictest0-21swapper/322:05:283
3129999513,3cyclictest0-21swapper/321:00:263
3129899511,14cyclictest0-21swapper/200:10:272
3129799514,13cyclictest0-21swapper/121:29:191
3129799512,4cyclictest0-21swapper/122:20:251
3129799511,5cyclictest7850irq/56-dwc_otg_00:24:361
3129799511,5cyclictest0-21swapper/100:06:111
3129999506,30cyclictest9861-21kworker/u8:023:00:243
31298995019,24cyclictest0-21swapper/222:20:242
31298995015,13cyclictest28853-21ssh22:15:382
31298995014,19cyclictest10198-21taskset21:51:122
3129799503,9cyclictest7950irq/56-dwc_otg_20:10:321
31297995013,28cyclictest8648-21ssh21:50:251
3129799501,10cyclictest7750irq/56-dwc_otg20:45:361
31298994924,8cyclictest22673-21apt-get20:15:232
3129799498,4cyclictest0-21swapper/121:22:551
3129999481,6cyclictest7950irq/56-dwc_otg_19:25:223
3129899482,9cyclictest7950irq/56-dwc_otg_22:25:262
31298994814,14cyclictest8090-21apt-get19:35:242
31298994811,25cyclictest6072-21ssh23:51:072
3129799486,12cyclictest7750irq/56-dwc_otg21:35:241
3129799481,5cyclictest28747-21ssh22:56:561
31298994716,12cyclictest9537-21chrt22:32:232
3129899471,5cyclictest7850irq/56-dwc_otg_23:40:272
31298994714,12cyclictest286002ls20:30:322
3129799471,4cyclictest7750irq/56-dwc_otg19:57:061
302032470,3sleep2301ktimersoftd/222:59:562
31298994617,9cyclictest12326-21ssh22:35:402
3129799462,12cyclictest0-21swapper/121:42:591
3129899456,25cyclictest0-21swapper/219:20:262
3129899456,25cyclictest0-21swapper/219:20:262
3129799454,5cyclictest18067-1kworker/u9:200:16:591
3129999442,25cyclictest7750irq/56-dwc_otg19:30:253
3129899447,23cyclictest0-21swapper/223:45:172
3129899446,23cyclictest0-21swapper/220:45:252
3129899445,11cyclictest11854-21modprobe23:17:122
31298994415,21cyclictest24116-21date22:10:132
31298994415,11cyclictest10126-21/usr/sbin/munin19:40:292
31298994413,19cyclictest7850irq/56-dwc_otg_00:30:292
31298994411,20cyclictest7850irq/56-dwc_otg_21:45:432
3129899437,10cyclictest0-21swapper/200:05:362
31298994314,21cyclictest20607-21basename20:10:122
31298994312,13cyclictest32706-21ssh00:27:112
31298994312,13cyclictest32706-21ssh00:27:112
31298994310,17cyclictest16815-21ssh23:24:252
3129799433,8cyclictest7950irq/56-dwc_otg_20:20:271
296992430,2sleep30-21swapper/319:05:303
25932430,3sleep39880-21diskmemload23:05:333
231122430,1sleep30-21swapper/300:15:103
3129899428,13cyclictest18294-21ssh23:25:352
3129899427,23cyclictest0-21swapper/220:20:292
31298994229,11cyclictest4874-21ssh23:08:482
31298994215,14cyclictest26737-21idleruntime-cro00:20:122
31298994214,5cyclictest8776-21fschecks_time23:55:312
31298994214,5cyclictest8776-21fschecks_time23:55:312
31298994214,19cyclictest27526-21seq20:26:122
31298994214,19cyclictest13853-21ssh21:55:472
54762410,2sleep30-21swapper/300:35:153
3129999418,25cyclictest0-21swapper/300:20:273
3129999417,25cyclictest0-21swapper/322:00:183
3129999417,23cyclictest0-21swapper/322:45:253
3129999417,23cyclictest0-21swapper/319:40:253
3129999417,22cyclictest0-21swapper/320:35:273
3129999417,22cyclictest0-21swapper/319:55:173
3129899419,11cyclictest7864-21awk19:35:122
31298994115,18cyclictest301ktimersoftd/219:16:232
31298994111,11cyclictest19006-21rm22:03:082
31298994111,11cyclictest14307-21grep21:15:322
31298994110,11cyclictest704-21ssh23:03:052
121522410,2sleep20-21swapper/200:00:152
3129999407,24cyclictest0-21swapper/321:15:273
3129999406,23cyclictest0-21swapper/323:45:253
3129999404,7cyclictest7850irq/56-dwc_otg_20:05:323
31299994016,13cyclictest15924-21latency_hist00:05:133
31299994014,4cyclictest7850irq/56-dwc_otg_21:10:303
3129899407,23cyclictest0-21swapper/219:10:252
3129899405,23cyclictest15274-21ssh22:40:252
3129899405,23cyclictest15274-21ssh22:40:252
31298994014,11cyclictest31634-21ssh21:37:232
31298994013,11cyclictest24747-21ssh21:29:082
31298994012,11cyclictest7777-21sh23:11:502
31298994012,11cyclictest7777-21sh23:11:502
205082400,2sleep20-21swapper/222:45:472
3129999395,18cyclictest7950irq/56-dwc_otg_00:05:263
3129899398,23cyclictest0-21swapper/220:13:512
3129899396,23cyclictest0-21swapper/219:45:252
3129899396,21cyclictest0-21swapper/220:55:272
31298993919,7cyclictest3102-21df_inode20:50:292
31298993912,14cyclictest12312-21ssh21:12:212
31298993911,11cyclictest28846-21ssh21:34:372
267802390,3sleep229-21rcuc/223:36:082
267802390,3sleep229-21rcuc/223:36:082
3129999386,29cyclictest7309-21ssh22:30:183
3129999386,13cyclictest7950irq/56-dwc_otg_23:50:273
3129999385,19cyclictest5920-21ssh23:10:263
3129999385,19cyclictest5920-21ssh23:10:263
3129999384,17cyclictest7850irq/56-dwc_otg_21:50:353
3129999383,3cyclictest7950irq/56-dwc_otg_20:25:283
3129899383,22cyclictest0-21swapper/219:55:272
3129899382,21cyclictest0-21swapper/200:20:262
31298993811,11cyclictest24869-21ssh22:51:502
3129999377,15cyclictest0-21swapper/320:50:273
3129999376,5cyclictest3780-21fschecks_time22:25:313
31299993715,4cyclictest26930-21aten_rbpower_po22:55:283
3129999371,13cyclictest7850irq/56-dwc_otg_22:40:333
3129999371,13cyclictest7850irq/56-dwc_otg_22:40:333
31298993713,11cyclictest14978-21taskset19:54:192
31298993711,16cyclictest31209-21runrttasks20:37:032
3129799377,6cyclictest7750irq/56-dwc_otg19:25:381
3129999367,14cyclictest0-21swapper/320:00:273
3129999367,14cyclictest0-21swapper/320:00:273
3129899361,22cyclictest0-21swapper/221:00:262
3129899361,11cyclictest7750irq/56-dwc_otg23:31:122
3129799366,13cyclictest7950irq/56-dwc_otg_19:10:391
3129999351,21cyclictest32588-21switchtime20:40:393
3129999351,20cyclictest21982-21ls21:25:283
31299993511,13cyclictest23993-21sort22:50:393
3129799354,5cyclictest17449-21fschecks_count20:00:301
3129799354,5cyclictest17449-21fschecks_count20:00:301
3129799352,17cyclictest28342-21fschecks_count20:30:291
3129999349,5cyclictest7750irq/56-dwc_otg23:30:273
3129999346,8cyclictest29785-21cut21:35:313
3129999342,24cyclictest10733-21switchtime23:15:393
3129999341,25cyclictest23804-21cut00:15:333
3129999341,13cyclictest7750irq/56-dwc_otg23:55:333
3129999341,13cyclictest7750irq/56-dwc_otg23:55:333
3129899349,10cyclictest0-21swapper/220:05:032
3129899349,10cyclictest0-21swapper/220:05:032
3129899348,16cyclictest0-21swapper/219:25:222
3129799344,17cyclictest0-21swapper/120:15:241
3129999338,15cyclictest0-21swapper/323:25:253
3129999334,5cyclictest7850irq/56-dwc_otg_19:45:393
3129999334,12cyclictest7950irq/56-dwc_otg_20:20:353
31299993314,5cyclictest27897-21latency_hist22:15:133
31299993314,4cyclictest27123-1kworker/u9:023:40:153
3129999331,14cyclictest7850irq/56-dwc_otg_19:50:293
3129799336,5cyclictest7950irq/56-dwc_otg_21:00:301
3129999329,4cyclictest7950irq/56-dwc_otg_20:15:123
3129999327,6cyclictest7950irq/56-dwc_otg_21:05:333
3129999327,22cyclictest0-21swapper/320:15:253
3129999327,13cyclictest0-21swapper/323:20:403
3129999325,5cyclictest7950irq/56-dwc_otg_20:45:253
3129999321,15cyclictest7950irq/56-dwc_otg_00:30:133
3129999321,15cyclictest7950irq/56-dwc_otg_00:30:133
3129999321,14cyclictest7850irq/56-dwc_otg_19:35:273
31299993211,4cyclictest1832-21sensors21:40:383
3129799325,12cyclictest7950irq/56-dwc_otg_19:30:281
3129799321,6cyclictest7750irq/56-dwc_otg20:25:381
3129999317,8cyclictest7950irq/56-dwc_otg_21:35:123
3129999315,5cyclictest7850irq/56-dwc_otg_22:35:303
3129999313,15cyclictest7950irq/56-dwc_otg_19:20:263
3129999313,15cyclictest7950irq/56-dwc_otg_19:20:263
3129999312,6cyclictest7950irq/56-dwc_otg_21:55:253
3129799312,4cyclictest7750irq/56-dwc_otg20:55:331
3129999302,19cyclictest0-21swapper/321:23:593
3129999302,13cyclictest7950irq/56-dwc_otg_20:56:163
3129899306,14cyclictest7850irq/56-dwc_otg_21:09:412
308442302,21sleep20-21swapper/219:07:572
3129999297,11cyclictest7950irq/56-dwc_otg_20:30:383
3129799292,5cyclictest15083-21http19:55:121
310032290,23sleep10-21swapper/119:09:541
3129999273,13cyclictest0-21swapper/319:11:393
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional